- 公開日
AIが提案を「割安」「分かりやすい」「優れている」と評価したときは、何を重視し、何と比べ、どの資料を根拠にしたのかを確かめます。価格が十万円という記載と、その価格が割安だという判断は別です。基準が分かれば評価を検討できますが、理由がない評価を客観的な事実として使うことはできません。
ここで扱う「AIの評価」は、回答文に現れる良し悪しや推奨の判断です。AIが人と同じ個人的な好みを持つと仮定する必要はありません。出力された評価を、読者が確かめられる条件と根拠へ分解して扱います。
一つの文に事実と評価が混ざる
架空の会社が、社内研修の提案Aを検討するとします。提案書には「研修1回、受講者20人まで、講師と教材を含む、価格10万円、税別」と書かれています。交通費の扱いは記載されていません。社内予算は税別12万円を上限とする案ですが、まだ確定前という設定です。
AIの回答が「Aは10万円と割安で、教材も分かりやすいため、客観的に最も優れた提案です」だったとします。価格の記載、費用評価、教材評価、候補間の順位が一文に入っています。しかし、価格が読めるだけでは、残りの判断は確定しません。
まず次のように分けます。記載内容も価格も説明用の仮定で、実在サービスの比較ではありません。
| 回答の要素 | 確認または判断の種類 | この段階で分かること |
|---|---|---|
| 価格は10万円 | 提案書に記載された事実 | 1回・20人まで・講師と教材込み・税別という条件がある |
| 割安である | 比較基準を必要とする評価 | 比較候補と必要な総費用がまだ揃わない |
| 教材が分かりやすい | 対象読者と基準に依存する評価 | 誰にとって、何をできれば分かりやすいかが未設定 |
| 最も優れている | 複数の条件をまとめた順位判断 | 候補範囲、評価軸、優先順位が未設定 |
「価格10万円」は、この提案書の記載として確認できます。実際に契約できる条件や請求額まで独立に確認した意味ではありません。記載を読めたことと、取引条件が確定したことも分けます。
好みを消さずに評価軸として置く
好みや価値判断が入ること自体は問題ではありません。研修を選ぶ際に、費用を重視する人と、自社向けの教材を重視する人では、同じ資料から違う提案を選ぶことがあります。どちらを選ぶかは、目的と制約に沿って決める事項です。
例えば「華やかな見た目が好み」は選好です。「受講後に確認手順を説明できる」は学習目標です。「教材に確認手順の図が一つある」は資料上の事実です。図があることは目標に関係するかもしれませんが、実際に説明できるようになるかは別に確かめます。
評価軸は、「教材が良い」ではなく、「初めて業務を担当する受講者が、例題の誤りと修正理由を追えるか」のように具体化します。重視する理由も、今回の受講者や目的へつなぎます。AIが一般的な評価軸を補った場合は、利用者が指定した条件と、AIが仮に置いた条件を分けて表示します。
NISTの説明可能AIの原則は、説明が受け手にとって意味を持つことと、説明の正確さを別の原則として扱っています。評価理由でも、誰が何を判断するための説明かを明らかにすることが役立ちます。ただし、分かりやすい理由が書かれていることだけで、その評価が正しいと確認されたわけではありません。
「割安」は比較条件をそろえてから判断する
比較候補Bには「講師のみ8万円、税別」と書かれているとします。このまま10万円と8万円を比べても、教材を含む範囲が異なります。交通費、準備費、受講人数、時間、実施方法が違えば、安さの判断も変わります。
価格を評価するときは、対象期間や提供範囲をそろえ、何を含めた合計かを示します。Aの交通費が不明ならゼロとせず確認待ちにします。Bの教材作成を社内で行う予定なら、その工数を比較へ含めるかも、人が目的に応じて決めます。
一方、Aの記載価格10万円が仮の予算上限12万円より2万円低いことは、同じ税別条件の数値として計算できます。しかし、「予算内である」と「他候補より割安である」は同じ意味ではありません。追加費用が不明な間は、必要な総費用が予算内に収まるかも未確認です。
比較資料が一つしかない場合でも、検討できることはあります。「記載された提供範囲が今回の要件に合うか」「必要な情報が揃っているか」は確認できます。比較候補がないのに、相場より安い、業界で最良などの順位を作る必要はありません。
評価理由を原資料へ結び付ける
追加で教材見本を入手できた場合を考えます。見本には、例題と解説があると仮定します。それは評価の材料ですが、単に「例題があるので分かりやすい」と結論すると、例題の難易度や解説との対応が抜けます。
理由は、「見本では、誤った処理と修正後の処理が同じ例題で示されているため、初学者が違いを確認する材料になると考えられます。ただし、対象受講者が理解できるかは未検証です」のように書けます。観察した特徴、そこからの推論、未確認を続けて示す形です。
もし見本を入手していないなら、「分かりやすい教材」と評価する根拠はありません。提供者の説明にそう書かれている場合は、「提供者は分かりやすさを特徴としている」と情報の出所を示し、自分で評価した事実と分けます。
AIに理由を尋ねる際も、内部の思考を完全に再現した記録が得られると考えず、検討できる根拠と判断条件を求めます。「どの記載が、どの評価軸を支えているか」を示させ、人が原資料へ戻れる状態にします。説明が流暢でも、資料にない特徴が足されていないかを確かめます。
断定・推定・未確認を分けて書き直す
元の、教材見本が未入手の段階へ戻ります。「客観的に最も優れた提案です」という回答は、確認の範囲に合わせて次のように直せます。
- 確認した事項：Aの提案書は、1回・20人まで・講師と教材込みで税別10万円としています
- 条件付きの評価：教材込みという範囲は、社内で教材を用意する負担を抑えたい目的には合うと考えられます
- 未確認：交通費を含む必要総費用、教材の内容、対象受講者の理解、Bとの同条件比較は未確認です
この段階では、「Aは検討対象になりますが、最も割安または最良とは判断できません。費用条件と教材見本を確認した後、今回の優先順位に沿って比較します」と結べます。
こうした書き方は、評価をすべて避けるためのものではありません。条件が揃い、重視する軸が明確なら、「今回は教材準備の負担を重視するため、確認した範囲ではAを候補の上位に置きます」といった判断を示せます。ただし、未確認の重要条件が採否を左右するなら、最終決定は保留します。
数値評価を付けても基準は必要になる
AIがAに90点、Bに85点と付けても、何を何点で数えたか不明なら、その差を客観的な性能差とは呼べません。価格、教材、日程対応などの軸と配点を先に決め、資料を確認できない項目をどう扱うかを定めます。未確認を自動的に満点やゼロ点にしないようにします。
数値化すると、軸の選択や配点という判断が見えにくくなる場合があります。「価格を最優先にした場合」と「教材の適合を重視した場合」で順位が変わるなら、その条件差を示します。根拠が同じまま結論を変えるのではなく、何を重視したために変わったかを説明します。
点数は人が比較を進める補助であり、各軸をどう判断したかという理由と一緒に示します。必須条件を満たさない提案が、他の高得点によって自動的に採用されないよう、採否の条件も別に確認します。
確認先と最後に残す判断
価格や提供範囲は提案者へ、研修目的と予算は社内責任者へ、教材の使いやすさは見本と対象者に合う確認方法へつなげます。確認前には、「誰にとって」「何を重視して」「どの資料から」という三点が説明できる範囲で評価を記します。
最後に、題名や要約へ「最良」「客観的」「誰にでも分かりやすい」といった強い語が残っていないかを見ます。事実として確認した部分、選択の理由、重要な未確認を読み手が区別できれば、異なる評価軸を持つ人も、同じ材料から判断し直せます。
広報文の誇大表現を事実から確かめる方法は「広報文のブランドらしさを保ちながら事実を確かめる」、AI回答の認知バイアスの点検表は「AI回答の認知バイアスを根拠と比較条件から点検するチェックリスト」で解説しています。
