- 公開日
根拠が足りないときは、答え全体を埋めようとせず、確認できた事実、根拠からの推定、まだ確かめられない事項を分けて返します。不明な欄があっても、独立して確認できる部分は答えられます。ただし、不明点が結論の前提なら、その結論は保留します。欠けた条件を前回と同じ値や一般的な値で補い、完成した案内に見せることは避けてください。
不確実性を扱う目的は、文章をすべて弱い表現にすることではありません。読み手が、何を使って判断でき、何を追加で確認しなければならないかを区別できるようにすることです。
この記事は、根拠が足りないときの答え方（確認できた範囲・推定・未確認の分け方）を扱います。追加で調べるか、結論を保留するかの判断基準は「検索結果が十分でないとき、結論を保留する「証拠充足」の考え方」で扱います。
確認できた範囲を具体的に示す
ここでいう「確定」は、対象と条件を限定し、根拠と照合した事項を指します。将来変わらないことや、あらゆる状況で正しいことの保証ではありません。「開催要項の第2版では定員が30人と記載されている」と「当日は30人まで必ず参加できる」では、主張の範囲が違います。会場の変更や受付の条件が未確認なら、後者までは言えません。
「推定」は、確認できた材料から導く結論です。何を根拠に、どの仮定を置いたのかを添えます。資料の欠落を埋めるために作った値を、推定というラベルだけで採用するものではありません。「未確認」は、必要な照合が済んでいない状態です。公開資料に記載がないことも、調べる手段が使えないこともありますが、それだけで制度や手段が存在しないとは判断できません。
NISTIR 8312「Four Principles of Explainable Artificial Intelligence」§2.4は、知識の限界（Knowledge Limits）を説明の原則の一つとしています。設計や承認の範囲外の入力を受けた場合と、範囲内でも信頼できる答えを出せない場合に、そのことを示すという考え方です。同文書では、鳥の種類を分類するシステムが、ぼやけた画像では鳥だとは認識できても種類までは特定できないと示す例を挙げています。これは説明の原則であって、AIが自動的に自分の限界を正しく検出できることを保証しません。実際の回答では、資料との照合や人の確認を組み合わせます。
参加方法の一部が分からない研修案内
架空の会社で、社内の情報管理研修の案内文をAIに作らせる場面を考えます。提示された開催要項では、日時、会場、定員、対象者は確認できたとします。一方、オンライン参加の可否を書いた配信担当の資料は、まだ入手していません。以下の値は説明用の仮定で、実在の研修の情報ではありません。
| 項目 | 資料の記載 | 案内に使える範囲 |
|---|---|---|
| 日時 | 11月10日 14:00〜16:00 | そのまま案内できる |
| 会場と定員 | 本社5階会議室、定員30人 | そのまま案内できる |
| オンライン参加 | 開催要項に記載なし。配信担当の資料は未取得 | 参加できるかは未確認 |
| 録画視聴での修了扱い | 人事部の受講規程との照合が未了 | 修了扱いになるかは未確定 |
問題のある回答は、「研修は11月10日14時から本社5階で行います。オンラインでも参加でき、録画を見れば受講したことになります」です。日時と会場は資料と一致しますが、オンライン参加と録画の扱いには根拠がありません。表のオンライン参加の欄を「可」にするだけでも、同じ誤りが表の中へ隠れます。
修正するなら、「研修は11月10日14:00〜16:00、本社5階会議室で行い、定員は30人です。オンライン参加の可否は、配信担当の資料を入手できておらず未確認です。オンラインや録画で受講した場合に修了扱いとなるかは、人事部の受講規程との照合が済むまで保留します」と答えます。
この回答は案内の作成を全面的に拒否していません。日時・会場・定員は残し、それだけでは決められない参加方法を保留しています。会場参加の記載があることも、対象者以外の社員まで参加できるという結論へ広げません。対象者の条件や定員の扱いが別に関係するからです。
欠けた項目がどの判断に影響するかを見る
部分回答の範囲は、項目ごとに決めると整理できます。日時や会場を書き写す作業なら、オンライン参加の可否が不明でも記載済みの事項を整理できます。社内の仮の告知であれば、不明欄を残したまま案内を回すこともできます。一方、遠隔の拠点で働く社員が参加方法を決める案内では、その欄を確認するまで参加方法を決められません。
同じ不明点でも、読み手が変わると必要な確認が変わります。本社で働く対象者への案内と、遠隔の拠点や在宅勤務の対象者への案内では、オンライン参加の可否が持つ重みが違います。ただし、本社勤務なら誰でも会場に来られると決めず、対象者と定員の条件を確認する前提は残します。
軽微な未指定なら、仮定を置いて作業を進められる場合があります。たとえば案内に書く項目の順番が未指定なら、日時・会場・定員の順で作ると短く添えれば十分なことがあります。反対に、オンライン参加の可否や修了扱いのように参加方法を変える情報を、項目の順番と同じ扱いで仮定してはいけません。仮定が誤ったときの影響と、後で直せる範囲を見ます。
追加確認の負担も考えます。すべての項目に長い留保を付ければ、どれが参加の判断に影響するのか読みにくくなります。この例なら、日時・会場・定員の確認範囲を短く示し、オンライン参加と修了扱いに説明を集めます。不明点を消すための調査より、どの判断を進めるために何が必要かを先に定めます。
数字の確率で不明を飾らない
「オンラインで参加できる可能性は80％です」と付け足しても、資料が増えたわけではありません。その80％が何を対象に、どの方法で評価された数字か分からなければ、読み手は確かさを判断できません。AIの強い言い方や自己申告の自信を、そのまま一回答の測定済み正答確率として扱わないようにします。
確信度の校正とは、同程度の確信度を示した回答の集合について、実際の正答とどれだけ対応するかを調べる考え方です。TianらのEMNLP 2023論文では、特定のモデルと課題で、言語化された確信度が有用だった条件も報告されています。したがって、自己申告がすべて無価値という結論でもありません。対象と評価条件を確認せず、今回のオンライン参加の可否へ数字を移してはいけないということです。
この場面では、確率を作る代わりに「オンライン参加の可否は未確認。配信担当の案内、または改訂された開催要項が必要」と示す方が、次の作業につながります。「おそらく」「多分」を付けて推測を残すだけでは、どの資料が欠けているのか伝わりません。
確認済み・未確認・確認先の3欄で返す
不明点を本文の中で説明するだけでは、どの値を使えて、誰に何を確かめればよいかを読み手が拾いにくいことがあります。項目ごとに「確認済みの事項」「未確認の事項」「確認先・必要資料」の3欄へ分けると、使える範囲と次の作業を一度に示せます。
研修案内とは別の例で考えます。架空の提案書P-12に「機器本体：200,000円、税抜」「設置作業費：別途見積り」「本体発送：受注後約四週間が目安」とあり、設置日の記載はないとします。実在する機器の価格や納期ではありません。顧客向けに導入費用と利用開始日をまとめる依頼で「導入総額は200,000円、四週間後に利用開始できます」と返すと、別途費用をゼロと扱い、発送の目安を利用開始の確約へ変えてしまいます。
| 項目 | 確認済みの事項 | 未確認の事項 | 確認先・必要資料 |
|---|---|---|---|
| 本体価格 | P-12に税抜200,000円と記載 | 今回の条件に適用される正式価格か | 販売担当へ対象構成・見積り版を確認 |
| 導入総額 | 設置費は別途見積りと記載 | 設置費と、総額に含める他の項目 | 見積り担当から対象範囲の明細を取得 |
| 本体発送 | 受注後約四週間という目安 | 受注日、今回の発送予定 | 販売担当へ受注条件と最新予定を確認 |
| 利用開始日 | 提示資料には記載なし | 配送・設置の予定と利用開始条件 | 設置担当の工程表と販売担当の回答を照合 |
ここでの確認済みとは、提示資料との照合が済んだ範囲を指し、契約条件を確定したという意味ではありません。顧客向けの文は、「本体価格は資料上、税抜200,000円です。設置費は別途見積りのため、導入総額は確認中です。利用開始日は設置予定を確認してからご案内します」のように、確認済みの値と確認中の項目を分けて書けます。
AIへは、たとえば次のように依頼できます。
「添付資料を基に、確認済みの事項、未確認の事項、確認先を分けて回答してください。確認済みには資料名と該当箇所を付け、根拠がない値は未確認としてください。目安・予定・確約を区別し、別途費用を0円で補わないでください。仮定を置く場合は、仮定とその回答を使える範囲を示してください。」
差し替えるのは、資料、知りたい項目、利用目的、回答先です。資料が添付されていないのに「添付資料によると」と書かせたり、分からない担当者名を作らせたりしないようにします。担当部署までしか分からなければ、「見積りを管理する担当者の特定が必要」と残せます。また、AIが「確認済み」と付けたことだけで照合を省かず、資料名や該当箇所を人が確かめます。
仮定を置いて進める場合も、その仮定を確定事項へ混ぜません。社内で導入手順のたたき台を作るために設置期間を一週間と仮置きしても、その期間から計算した日付を、顧客へ約束する日付に転記しないようにします。
不明の表示を次の確認につなげる
配信担当の資料が届いたら、対象の研修、開催日、資料の版、適用時点が今回の案内に合うかを照合します。前回の研修で配信があったという情報が見つかっただけでは、不明欄は解消しません。資料が今回の条件を支えると確認できたときに表を更新し、参加方法に依存していた案内を見直します。
更新時は、「配信担当の資料を入手した」という出来事と、「今回の研修でオンライン参加できると確認した」という判断を区別します。前者だけで案内を確定しないよう、元の未確認欄がどの資料によって変わったかを残します。以前の案内が社内に配られているなら、変更箇所と案内の版も示すと誤解を減らせます。
AIへ「分からないことは分からないと言って」と指示することは入口になりますが、資料取得、主張と根拠の照合、案内を配る権限と承認の確認は別の役割です。根拠が足りない回答の表示を整えても、必要資料を取得したことや案内の配信を承認されたことにはなりません。
まずは、一つの回答の中で、確認できる文と、推定に依存する文と、未確認の文を分けてみてください。事実には対象と資料を、推定には仮定を、不明点には確認先と判断の保留範囲を添えます。読み手がその回答をどこまで使えるかを判断できる形で、確認済みの情報と残る不明点を渡します。
AIの確信度を信用しすぎないための考え方は「AIの「自信あり」を信用しすぎない確信度校正の考え方」で解説しています。
基本から確認する：この記事の前提になる考え方は、「プロンプトの書き方ガイド（依頼文の基本6項目と例文）」にまとめています。
