- 公開日
AIが一部に答えられないときでも、依頼全体を拒否する必要があるとは限りません。何を求められているかを分け、根拠があって安全に説明できる部分は返し、答えられない部分には具体的な理由と次の確認先を添えます。拒否を減らす際も、危害を助ける情報や権限のない操作まで回答・実行する方向へ変えてはいけません。
過剰拒否とは、本来扱える内容まで広く拒否してしまうことです。ただし、短い無回答を見ただけでは、安全上の拒否なのか、情報不足なのか、資料取得の失敗なのかは分かりません。改善するには、止まった部分と理由を先に調べます。
安全上の境界と根拠不足を分ける
安全上の拒否は、回答や操作が危害や不正を直接助けるなど、越えてはいけない境界に関係します。一方、根拠不足による保留は、対象の状態や必要資料を確認できず、結論を支えられないことが理由です。資料を追加すれば判断できることもあれば、AIでは確定できず人の専門判断が必要なこともあります。
「医療」「契約」「セキュリティ」といった分野名だけで、依頼の全部を同じ扱いにしないことが大切です。用語の説明、提供資料の要約、確認事項の整理と、個別の重大判断や危険な操作の支援では、求められる内容が異なります。同じ質問に異なる依頼が含まれていれば、それぞれに必要な根拠と境界を確認し、回答できる範囲を切り出します。
NISTIR 8312の知識限界の原則は、分かる部分と分からない部分を示す考え方を支えます。しかし、この原則だけで個々の医療判断の可否を決めるわけではありません。対象資料、利用目的、権限、必要な専門判断を別に確認する運用が必要です。
架空の相談制度と診断の依頼を分ける
次は実在しない医療相談制度Mの説明用の例です。現実の受診方法、給付要件、診断や治療の案内ではありません。提示された案内には、「利用前に予約する」「予約窓口が相談枠を案内する」「費用の条件は窓口へ確認する」と記載されているとします。
利用者の依頼は、「この制度はどう利用しますか。それと、私の症状の病名をここで確定できますか」です。症状の具体的な情報や診察結果はなく、病名を確定する材料はありません。ここで「医療のことには答えられません」とだけ返すと、案内に書かれた利用手順まで失われます。
修正した回答は、次のようになります。
「提示された制度Mの案内では、利用前に予約し、予約窓口が相談枠を案内するとされています。費用の条件はこの資料だけでは分からないため、同じ窓口への確認が必要です。病名については、この依頼と制度案内からは確定できません。症状の評価は医療機関の医師など、診療を行う専門家に相談してください。」
この回答では、資料で確認できる利用の流れを断定できる範囲として残しています。費用は未確認、診断は提示情報では確定できない事項です。病名の候補を推定できる根拠もないため、「おそらくこの病気です」と補いません。推定の欄を作る形式であっても、今回は推定なしとできます。
「病名は確定できません」と伝えることは、この人に役立つ情報を一切提供できないという意味ではありません。実際の会話で適切な範囲の一般情報を整理したり、相談時に伝える事項をまとめたりする余地はあります。ただし、この架空例から、具体的な症状に対する緊急度や治療の判断を追加してはいません。
同じ依頼を内容ごとに判断する
制度Mの例を、回答する内容ごとに整理すると次のようになります。ラベルを付けるだけでなく、その理由と次の処理までつなげます。
| 依頼の部分 | 使える根拠・不足 | 扱い | 返す内容 |
|---|---|---|---|
| 利用の流れを説明する | 提示案内に予約と窓口の記載がある | 限定して回答 | 資料の記載として手順を説明 |
| 利用費用を確定する | 案内は窓口確認としており金額なし | 保留 | 費用未確認と該当窓口を示す |
| この人の病名を確定する | 診断を支える情報や診療がない | 確定判断をしない | 確定できない理由と診療の相談先を示す |
| 相談用に依頼内容を整理する | 利用者が提供した情報の範囲で整理可能 | 条件付きで回答 | 症状を捏造せず、未記載項目を残す |
重要なのは、一般説明を残すために個別判断の境界を弱めないことです。「参考情報です」と冒頭に付けても、本文で特定の病名を確定したり治療を指示したりすれば、留保と実際の内容が食い違います。何を言わないかだけでなく、どこまでの説明を返すかを合わせて確認します。
費用の資料が追加された場合は、制度名、対象者、適用時点などが一致すれば、その範囲の説明を更新できます。一方、制度案内が増えただけでは病名を確定する根拠にはなりません。追加情報がどの不足を解消するかを見ることで、資料が増えた勢いで答える範囲を広げずに済みます。
拒否率だけを下げると境界が崩れる
過剰拒否を調べた研究として、RöttgerらのXSTestがあります。NAACL 2024で発表されたこの研究は、10種類の型に分けた、拒否すべきでない安全な英語の質問250件と、多くの用途で拒否すべき危険な対照質問200件から成るテストを示しています。これは当時のモデルと質問集合を使った研究であり、現在の日本語医療相談での性能を示す数値ではありません。
危険な対照質問を組み込んだこの設計から、評価上の要点が読み取れます。安全な質問への拒否だけを数えると、危険な質問にも何でも答えるシステムが良く見えてしまうのです。不要な拒否が減ったかと、必要な境界を守れているかは、別々に確かめます。具体的な評価指標を作る場合も、両方の条件を含める必要があります。
日常の回答を直すときも同じです。「今後は絶対に拒否しない」「曖昧でも断言する」という変更は、部分回答を増やす目的から外れます。「答えられる部分を返し、保留する箇所と理由を限定する」と変更し、危険な依頼、他人の私的情報、権限外の操作などに対する境界は維持します。
また、安全上の問題がある一文を見つけた後、問題のない資料要約まで止めているなら、止める範囲が広すぎる可能性があります。反対に、危険な部分を言い換えて実質的に提供していれば、表面上の拒否文があっても境界を守ったことにはなりません。回答全体の実質を見ます。
修正後は有用性と残る危険を両方読む
制度Mの回答を見直すなら、まず、予約と窓口という資料の内容が残っているかを確かめます。続いて、未記載の費用を追加していないか、病名を確定していないか、相談先が何を確認する先か分かるかを見ます。「専門家へ相談してください」だけを付けて、資料で答えられる内容を削ったままにしないことがポイントです。
一方、説明を増やした結果、資料にない利用条件を足していないかも点検します。「誰でも利用可能」「無料」「予約すれば必ず診断される」などは、この例の案内にはありません。部分回答を豊かにしようとして未確認の約束を作れば、拒否は減っても回答の信頼性を損ないます。
担当者が回答方針を変える場合は、問題のあった回答、残せる根拠、保留が必要な部分、修正後の文を一組で残します。単に「拒否が多い」とするより、どの一般説明が不必要に失われていたのかを示した方が、次の修正対象が明確になります。実際の評価をしていない修正案は、改善済みの実績ではなく期待する応答として扱ってください。
不確かな個別判断を控えることと、利用者への支援を止めることは分けられます。確認できる説明を返し、推定の根拠がなければ作らず、未確認の範囲と適切な確認先を短く示す。そのうえで、安全上必要な拒否を保つことが、過剰拒否を見直す基本です。
業種固有のルールで一般情報と個別判断を分ける考え方は「業種固有のルールと人への影響を扱う 一般情報と個別判断の境界」、ガードレールが効かない原因と対策は「LLMのガードレールとは？ 効かない原因と対策、拒否・縮小・人間確認の使い分け」で解説しています。
