- 公開日
指示を工夫しても回答が直らないときは、文言を増やす前に、必要な資料が届いているか、利用者に読む権限があるか、処理できる機能があるかを確かめます。条件が揃っていれば、依頼の解釈やモデルの処理を比べます。誤答だけで原因を決めず、取得記録や入力をたどって改善先を選びます。
指示で変えることと、環境で用意すること
プロンプトで指定できるのは、与えられた材料の使い方、回答の形式、判断に必要な確認、分からない場合の扱いなどです。「対象の日付を先に確認する」「根拠の条項を添える」といった指示は、求める作業を具体化します。ただし、指定したことが実際に守られたかは出力と記録で確かめます。
これに対し、社内の最新規程が入力にも検索先にもない状態で「最新情報で答えて」と書いても、規程そのものを供給したことにはなりません。「必要な文書を読んで」と頼むことと、文書を取得できる接続・利用権限を持つことも別です。利用者が画面で開ける資料を、AIの接続にも同じ条件で渡せるとは限りません。
機能の対応も確認対象です。例えばOpenAI Agents SDKのModelsは、接続先によるAPIや構造化出力などの対応差を説明しています。これは個別の接続方式の例ですが、指示文を変える前に、使う機能が実際の構成で利用できるかを見る理由になります。接続できたという事実だけで、必要な全機能が使えるとは判断しません。
誤った社内回答を、四つの候補に分ける
以下は架空の社内規程案内です。実在の会社規程ではなく、モデルでの試験も行っていません。総務担当者が「研修の交通費はいくらまで出ますか」とAIに尋ね、AIが「上限は一万円です」と答えたとします。
説明用の原資料は二つです。旧版には「研修交通費は一万円を上限とする」、2026年10月1日施行の新版には「国内研修の交通費は一万五千円を上限とする。海外研修は個別承認」とあります。質問者が知りたいのは、同年10月15日に参加する国内研修です。利用者には新版の閲覧権限がある一方、AI側の接続で取得できるかはまだ確認していません。
この一つの誤答に対して、次の順で調べます。表は原因の断定ではなく、調査の入口です。
| 原因候補 | まず見るもの | 最初の対処 |
|---|---|---|
| 依頼の曖昧さ | 研修日と国内・海外の区分が依頼にあるか | 対象日と区分を明記する。不明なら確認する |
| 資料不足・版違い | AIへ実際に渡った規程の版、該当条項 | 文書管理担当へ新版を確認し、認められた経路で供給する |
| 権限・取得経路の問題 | 接続先、実行主体、取得結果、拒否や障害の記録 | 管理者がアクセス条件を確認する。拒否を指示で回避しない |
| モデルの処理の問題 | 新版の該当箇所が入力にあるのに、旧上限や海外条件を選ぶか | 同じ資料で抽出と条件適用を分けて比較する |
複数の原因が重なることもあります。質問が曖昧で、検索対象も旧版だけという状態なら、依頼文の修正だけでは不足が残ります。逆に、旧版しか取得していない段階で高性能とされるモデルへ変えても、新版の根拠を確保できたことにはなりません。
まず、同じ資料で依頼の違いを確かめる
元の依頼は「研修の交通費はいくらまで出ますか」です。改善案は次のようにします。
「2026年10月15日の国内研修について、適用される規程の版と上限額を確認してください。取得できた資料の施行日と該当条項を示し、適用する版を確認できない場合は金額を確定せず、不足する資料を挙げてください。支払いや承認の操作は依頼していません。」
この変更は、対象と日付、確認すべき根拠、不足時の返し方を明確にするものです。研修日や区分は案件ごとに差し替えます。新版を勝手に探し当てたことにしたり、閲覧権限を与えたりする効果はありません。依頼を目的・材料・制約・出力の条件へ分ける考え方は「プロンプトを作業条件として設計する――入力・制約・出力のつなぎ方」で扱っています。
比較では、モデル、設定、取得済み資料を同じにして、依頼だけを変えます。旧版しか渡っていないなら、期待するのは「手元の規程は旧版で、対象日に適用される版は未確認です」という保留です。一万五千円を当てられたとしても、根拠を取得していなければ、この用途では確認済みの回答にしません。
新版の該当条項が届いている条件なら、「国内研修の上限は一万五千円。根拠は10月1日施行版の該当条項」という回答が期待されます。ただし、これは上限の案内です。個別の支払額や申請の承認を確定するには、別途その案件に必要な条件が揃わなければなりません。回答後は、金額だけでなく対象日、区分、施行日、引用内容を原資料へ照合します。
資料が届かない理由を、取得記録で確かめる
検索結果が空でも、資料が存在しないとすぐには言えません。検索対象に未登録、更新の反映待ち、検索語の不一致、認可の失敗、接続障害などを分けます。利用者へ詳細を見せられない場合でも、管理者が確認できる範囲で記録を残し、「見つからない」と「アクセスを確認できない」を混ぜないようにします。
調査には、照会時刻、検索対象に含めた文書の範囲、取得した文書の版、取得状態などを残します。原因調査のために保護対象の本文や認証情報を無制限に保存する必要はありません。記録自体の閲覧者と保持条件も決めます。
検索した資料を回答へ渡す仕組みをRAG（検索拡張生成）と呼びます。OWASPのRAG Security Cheat Sheetは、取得時の認可や出典の来歴を扱い、取得・認可の失敗をモデルの内部知識で埋めてしまわない設計を勧めています。ここから本例では、新版を取得できなかった場合に、一般知識で会社の上限額を推定しない運用を採ります。
利用者自身に読む権限がない場合は、AIにも見せればよいという対処にはしません。許可される公開範囲の案内を使うか、権限を持つ担当者へ問い合わせます。権限の変更が必要なら業務上の理由と承認を別に確認します。OWASPのLLM06:2025 Excessive Agencyも、ツールの権限を必要な範囲に絞り、下流システムで認可を検証することを勧めています。
資料が揃ってから、処理の限界を調べる
依頼と取得条件が揃っても誤るなら、モデルへ渡す直前の入力を確かめます。原本が正しくても、文書からの文字抽出で金額が欠けたり、長い資料を渡す工程で該当箇所が落ちたりしていれば、モデルだけの問題とは言えません。原本、抽出結果、実際の入力を段階ごとに対応させます。
必要な条項が入力にあると確認できたら、最初に「該当条項を取り出す」、次に「研修日と区分へ当てはめる」と処理を分けます。抽出は合っているのに適用を誤るのか、原文の読取りから違うのかを見ます。小さく分けた課題で改善しても、元の長い入力全体で同じ品質になるとは限らないため、実際の利用条件へ戻して確かめます。
モデル変更も対処候補ですが、一回の正答だけで選びません。同じ資料と合格基準で、旧版が混ざる場合、海外研修、適用日が不明な場合も比較します。期待する保留ができるか、人が直す箇所、確認にかかる時間を記録します。ここでは比較結果を持っていないため、特定モデルが優れるとは結論しません。
改善先と、再び使い始める条件を残す
診断の結果は、誰が何を直すかまで結びます。新版の供給なら文書管理担当、検索範囲なら連携の管理者、許可の判断なら情報管理担当、入力の欠落やモデル比較なら開発・運用担当が引き取る、という分担が考えられます。小さなチームで兼任する場合も、確認する事項は分けておきます。
本例なら「旧版だけが取得されていた。新版の登録と取得経路を確認し、国内・海外・日付不明の回答を照合してから案内を再開する」と記録します。原因が絞れない間は、調べた範囲と残る候補を担当者へ渡します。重要な案内は人が規程を確認する手順へ戻し、未確認の金額を配布しません。
資料整備や評価には更新・保守の手間がかかります。利用頻度が低ければ、人が根拠を確認してAIには文章整理だけを任せる方法もあります。資料の参照や操作の委任まで含めた方式の選び方は「普通のプロンプト・RAG・Fine-tuning・Agentをどう使い分けるか」で扱っています。再開の判断は、指示を書き換えたことではなく、問題が起きた条件でも根拠と回答を照合できたかで行います。
モデルが進化してもプロンプト設計が必要な理由は「モデルが進化すればプロンプト設計は不要になるのか」、業務に必要な制御を選び、条件を詰め込みすぎない方法は「プロンプトに条件を詰め込みすぎない――40層の整理から業務に必要な制御を選ぶ」で解説しています。
