定義
AIが根拠のない情報や誤った事実を、もっともらしく生成する現象。出典・数値・固有名詞・URL・判例等で起きやすく、Web検索やRAGを使っても完全には防げないため、重要事項は原典で確認する。
詳しい説明
AIが、根拠のない情報や誤った事実を、もっともらしい文章で作り出すことです。出典、数値、人名、URL、判例などで起きやすく、文章が自然なため気づきにくいのが特徴です。OpenAIは2025年9月の論文で、正答率だけで採点する評価では「分からない」と答えるより推測したほうが点が上がるため、モデルが推測するようになることが原因の一つだと説明しています。
具体例
社内規程について尋ねたところ、存在しない条文番号と、それらしい文言を示した場合です。検索やRAGを使っていても、取り出した資料に答えがないときに、資料にない内容で補うことがあります。
業務での判断例
架空の例として、AIの回答を業務に使う前に、内容ごとの確かめ方を決めます。
| 内容 | 起きやすさ | 確かめ方 |
|---|---|---|
| 出典・URL・条文番号 | 高い | リンクを開き、該当する箇所を原文で確かめる |
| 数値・日付・人名・型番 | 高い | 元の資料と1つずつ照合する |
| 一般的な説明・言い換え | 比較的低い | 結論を左右する箇所だけ、原典で確かめる |
似た用語との違い
- Knowledge Cutoff：知識がどの時点までかの上限です。期限より後のことを尋ねたときに推測で答えると、ハルシネーションになります。
- Hallucination Rate：回答のうち、ハルシネーションを含む割合を測る評価指標です。何をハルシネーションと判定するかの基準を先に決めます。
実務での注意点
- 「正確に答えて」と指示するだけでは防げません。「分からない場合は不明と書く」など、答えなくてよい道を用意します。
- 検索やRAGを使っても、完全には防げません。回答の根拠になった箇所を示させ、原文と照合します。
- 重要な数値や出典は、出力の直前に照合する手順を決めておきます。
