- 公開日
RAGを導入しても、必要な資料が届かなければ回答の根拠は不足し、資料が届いても条件の読み違いや根拠外の補足は起こり得ます。まず、今回使える根拠がモデルへ届いたかを確認し、次に回答の各主張をその箇所と照合します。足りない部分は推測で埋めず、限定回答か保留へ回す経路を用意します。
RAGが補うものと、別に確かめるもの
RAGは、質問に関係する外部資料を検索し、生成モデルの入力へ加える仕組みです。原研究は、モデル内の知識と検索可能な外部の知識を組み合わせる構成を提案しました。その研究条件での成果を、すべての資料や現在の全システムにおける誤答ゼロへ広げることはできません。Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
ハルシネーションという語は、ここでは根拠のない内容を事実のように答える問題として使います。ただし、誤答をすべてこの一語で済ませると、直す場所が見えなくなります。例えば、旧規程に忠実な回答でも、現在の申請へ適用すれば間違いです。その回答は、取得資料との一致と、質問への正しさで判定が分かれます。
RAGAsの研究は、必要な文脈を取得する能力、生成側が文脈に忠実に答える能力、生成内容の品質を別の評価側面として扱っています。この分け方は原因調査にも役立ちますが、自動採点が現実の真偽を保証するという意味ではありません。RAGAs: Automated Evaluation of Retrieval Augmented Generation
根拠が届くまでと、届いた後を分ける
最初に、質問の対象、基準時点、利用者の権限を固定します。その上で、文書庫に必要資料があるか、検索候補に入ったか、候補からモデル入力へ残ったかを順に見ます。候補へ入った資料でも、分割によって注記が離れたり、入力の長さ調整で切り落とされたりすれば、生成側は必要な条件を受け取れていません。
| 区別する状態 | 確認する証拠 | 主な修正先 |
|---|---|---|
| 必要な根拠を取得できていない | 文書の登録状況、候補ID、実際のモデル入力 | 未投入、索引反映、検索条件、文脈の切り詰めを調べる |
| 文書は取れたが適用版・対象が違う | 版、適用期間、対象部署・利用者と質問の条件 | 適用条件を保持し、今回使える資料の選択を直す |
| 適用できる根拠を渡したが使い方を誤った | 原文の条件・例外と回答の主張の対応 | 生成指示と出力確認を直し、誤った一般化を差し戻す |
| 原文にない条件・数値・出典を補った | 主張を支える箇所の有無、引用先の実在 | 補足を外し、不足情報の照会か限定回答へ回す |
四つは、必ず一つだけを選ぶ排他的な分類ではありません。検索失敗に加えて、生成側が不足を隠して数値を作ることもあります。その場合は両方に問題を記録します。検索が失敗したから生成の捏造を免責することも、生成が保留できたから検索が成功したと数えることもしません。
検索スコアや上位表示だけでは、質問の適用時点や権限、引用箇所との一致を確定できません。高い順位の候補が旧版であることも想定し、資料の条件を読む工程を残します。特定のスコア値を全方式共通の合格線にする設計にはしません。
同じ規程質問で、検索条件だけを変えてみる
ここからは、実行していない架空の比較設計です。資料も質問も回答例も説明用で、モデルの実際の出力や改善率を示していません。架空の社内FAQで、社員が次の質問をしたとします。
「10月の外部研修は、全員が事前承認なしで受講料2万円まで申請できますか。受講後30日以内に申請すればよいですか。」
質問と資料の対象年は2026年で固定します。比較用の原資料には、10月1日以降の受講に適用する「研修費規程第3版」を用意します。第5条は次の内容だと仮定します。
「対象者は正社員とする。受講前に上長の承認を得た外部研修の受講料について、一人一年度につき2万円を上限とする。申請期限は別細則に定める。」
第2版は9月30日までの受講に適用し、上限は一回3万円だったとします。別細則の本文は、今回の比較では用意していません。したがって、期限の正解を30日と置くことも、期限が存在しないと決めることもできません。期待される対応は、期限を未確認として照会することです。
固定するのは、質問、利用者の閲覧権限、規程の適用基準が受講日であること、生成モデル・設定・指示、入力枠、採点基準です。検索側は次の三条件だけを切り替える計画とします。比較の際に指示文まで同時に改善して、検索変更の効果と混ぜないようにします。
| 比較条件 | 生成側へ渡す根拠 | 検索・文脈側の判定 | 求める対応 |
|---|---|---|---|
| A：規程チャンクを取得できない条件 | 関係のない研修案内のみ | 必要根拠は未取得 | 支給条件を断定せず、規程を確認できないと案内する |
| B：適用期間を使わず旧版だけが選ばれる条件 | 第2版の一回3万円の箇所 | 取得あり、ただし今回の適用版は不適合 | 旧版の額で答えず、第3版の取得へ戻す |
| C：対象時点に合う第3版を選ぶ条件 | 第5条の対象・承認・年上限・別細則参照を含む全文 | 支給条件の根拠あり。期限の根拠は依然不足 | 条件付きで答え、期限だけを未確認にする |
Cでも、回答が根拠に沿うかは別に点検します。A・B・Cは未取得と版不適合を分けるための条件であり、三条件を並べただけで一つの改善策の効果を測ったことにはなりません。比較を実施するなら、必要な箇所が実入力まで届いたかを先に確かめ、どの変更を評価したかを記録します。
同じ根拠から生じ得る二種類の生成誤り
Cで第5条を正しく渡せたとしても、回答の点検は残ります。以下は同じ根拠に対する誤答の作例です。検索条件をさらに変えた結果でも、実測したモデルの挙動でもありません。
一つ目は、「全員が一回2万円まで、承認なしで申請できます」という回答です。2万円という数値は原文にありますが、対象者、事前承認、一人一年度という条件が変わっています。根拠を取得したことだけでは、この誤りは見つかりません。原文と回答を、誰が、何を条件に、どの期間・単位で、という項目で照合します。
二つ目は、「受講後30日以内に申請してください。根拠は第3版第5条です」という回答です。質問者が提示した30日を、根拠にある事実として取り込んでいます。第5条は別細則への参照しか示さないため、この引用は期限の裏付けになりません。期限に関する原資料を取得するまで、その断定を外します。
出典名の表示は、主張と根拠が対応して初めて確認の入口になります。引用先が実在しても、金額だけを支える条項で期限まで証明したことにはできません。OWASPのRAG向けガイダンスも、出所の追跡と出力の検証を別に扱っています。回答にリンクを付ける処理と、そのリンク先が主張を支えるかの照合を分けて実装する考え方です。RAG Security Cheat Sheet、Source Attribution and Provenance・Output Validation and Enforcement
この架空例で期待する限定回答は、「全員・事前承認なしという条件ではありません。第3版第5条では、正社員が受講前に上長承認を得た外部研修を対象に、一人一年度2万円が上限です。申請期限は別細則に定めるとあり、今回その本文を確認できていないため、30日以内かは未確認です。人事部の別細則を確認してください」です。
この回答も、質問者本人の支給可否を確定してはいません。雇用区分、承認状況、その年度の利用額が分からないためです。一般条件を説明できることと、個人の申請を承認できることは分けておきます。
検索と生成を別々に採点する
原因を分けるための記録は、検索側と回答側で分けます。検索側には必要箇所の到達、適用版、条件と例外の保持、期限資料の不足を書きます。回答側には、対象者・承認・上限額と単位・期限の各主張について、根拠との一致、不一致、裏付けなし、判定不能を記します。
例えばCの二つ目の誤答なら、「支給条件の検索は適合、期限資料は不足、30日という回答には裏付けなし」と残せます。期限を正しく保留した回答であっても、期限資料の取得不足まで成功へ変えません。反対に、期限を確認できないことを明示した限定回答は、根拠外の断定をしないという出力基準では評価できます。
実際に比較する場合は、回答全文と採用根拠の対応を、閲覧権限のある担当者が確認します。必要な根拠が何かを事前に用意できない問いは、取得の良否そのものが判定不能になり得ます。その件数を正解に混ぜず、判定できた範囲と未確認を分けます。担当者間で判定が分かれたら、同じ主張と原文箇所を見て、不足する資料や条件を特定します。
情報不足と障害では、止め方を変える
正常に検索でき、許可された第3版の条件だけが確認できるなら、答えられる部分を限定して示せます。不足が別細則だけと分かれば、その取得や担当部署への確認へ進めます。保留文には「何が不足しているか」「何は分かっているか」「次に何を確認するか」を入れます。
一方、検索サービス自体の障害や認可確認の失敗では、部分結果を安全に使える前提も崩れます。OWASPのガイダンスは、検索が失敗したときにモデルの内部知識だけで答えないこと、アクセス制御の確認に失敗したときは絞り込んだ一部の結果でなく何も返さないことを推奨しています。この場合は業務回答を止め、利用できない工程と再確認の必要を案内します。RAG Security Cheat Sheet、Fail-Closed Design
追加検索を行う場合も、何が不足しているかを限定し、許可された情報源を使います。似た資料が増えただけなら不足が解消したとは扱いません。版と根拠箇所を確認できた時点で再判定し、解消しなければ保留を残します。回答を出せるまで検索を繰り返す運用ではなく、裏付けを確認できた範囲に回答を収める運用が必要です。
検索スコアが低いときに回答を止める基準は「検索スコアが低いとき回答生成を止める閾値設計」、検索語の書き換えでユーザーの意図を変えない方法は「Query Rewritingでユーザーの意図を変質させない」で解説しています。
