- 公開日
誤った結論が人の安全や設備、事業の継続に大きく影響し、その結論を支える対象情報が欠けているなら、変更の可否は保留します。ただし、回答全体を止める必要はありません。確認できる資料の説明は残し、判断を再開するために必要な情報と、保留中に取れる対応を具体的に示します。
「おそらく大丈夫です。念のため確認してください」という回答では、推定と実行してよいという判断が混ざります。保留が必要なときは、何を決められないのかを先に述べ、その理由を結論に影響する不足と結び付けます。
見た目が似た資料から変更可否を決めない
架空の工場で、担当者が設備の設定画面と古い手順書をAIへ渡し、「この手順で設定を変えてよいですか」と尋ねた場面を考えます。依頼は資料に基づく説明と判断の支援であり、実際の変更操作を任せたものではありません。
設備は製品の品質と稼働に関わり、設定を誤れば製品の隔離や工程停止が必要になる、という仮定です。現場の担当者は対象設備を見ていますが、AIに渡された資料は次の範囲に限られます。
- 手順書には「制御装置K-4、ソフトウェア第2版向け」とある
- 画面には同じ名称の設定項目が見える
- 現物の型番、ソフトウェア版、現在適用される手順書は未確認
- 今回の変更を判断する責任者と、承認の状態は示されていない
この材料で確認できるのは、提供された手順書の対象と、画像で読める項目名までです。名前が同じことだけでは、操作の意味も同じだと結論できません。画像に映っていない項目や前提条件も残ります。
ここでの不足は、説明を少し分かりにくくする程度のものではありません。対象版が違えば、手順の適用可否そのものが変わり得ます。そのため、古い手順書の内容を要約することはできても、目の前の設備へ適用してよいという結論は出せません。
影響と証拠を、同じ判断について見比べる
影響が大きいかどうかは、分野の名前だけで決めません。「設備について説明する」と「設備の設定値を変える」では、同じ話題でも結果が違います。何を判断し、その判断が誤っていたら誰に何が起き、どこまで元に戻せるかを確認します。
この例では、手順書の対象欄を読み取ることは説明作業です。一方、「変更してよい」と答えれば、担当者の実行判断へつながります。後者では、誤った変更の影響範囲、検知までの時間、復旧や製品確認の負担も考慮します。手元の情報だけで事故の発生確率を数値化する必要はありません。
証拠の強さは、資料の数や文章の詳しさだけでは決まりません。判断対象と同じ型番・版か、現在の状態を反映するか、必要な条件を直接確かめられるかを見ます。別機種の詳細な手順を三つ集めても、対象設備への適用を裏付けたことにはなりません。集めた資料が主張を支えるのに足りるかの判断は、検索結果が十分でないとき、結論を保留する「証拠充足」の考え方で扱っています。
NISTのAI RMF 1.0は、影響・発生可能性・使える資源に基づくリスク対応の優先付け（MANAGE 1.2）、役割と責任の文書化（GOVERN 2.1）、残るリスクの記録（MANAGE 1.4）、定期的な見直し（GOVERN 1.5）を扱っています。なお、NISTはAI RMF 1.0を改訂中と案内しています。以下の保留手順は、その考え方を参考にした業務設計の例です。NISTが特定設備の操作を認めたり、ここに示す項目だけで安全を保証したりしているわけではありません。
保留の基準は、例えば「結果を左右する対象版が確認できず、誤適用が大きな損失を生む場合は、変更可否を決めない」と書けます。漠然と「証拠が弱ければ止める」とするより、何がそろえば判断へ戻れるかが明確になります。
追加確認は、結論を変える情報に絞る
必要な情報を際限なく集めようとすると、保留が放置に変わります。今回の判断を再開するための資料と、確認する役割を対応させます。次の表は架空の設備に対する確認計画で、実機の操作手順ではありません。
| 不足する情報 | 照合する資料・記録 | 確認する役割 | そろった後に判断できること |
|---|---|---|---|
| 現物の型番とソフトウェア版 | 設備台帳と、承認された方法で確認した識別情報 | 設備管理担当 | 手順書の対象と一致するか |
| 現在適用する手順 | 管理された手順書の現行版、改訂履歴、適用範囲 | 手順書の管理担当 | 旧手順を使えるか、差分確認が必要か |
| 変更の目的と影響範囲 | 承認対象の変更依頼、対象工程、関連設備の情報 | 工程責任者 | どこへの影響を評価すべきか |
| 確認・承認の状態 | 判断者、判断対象、条件が分かる承認記録 | 変更を承認する責任者 | 承認された範囲と実施条件 |
型番の写真を取得するために立入禁止区域へ入ったり、版を調べるために不用意な操作をしたりしてはいけません。既存の記録で確認できる範囲を先に使い、現物確認が必要なら、現場で認められた方法と担当者へ引き継ぎます。
役職名だけが分かっても、今回の判断権限まで確認できたことにはなりません。確認者に資料を渡す際は、「この設備の、この変更について判断する」という対象を添えます。また、承認があっても、資料の対象版が一致しないという不足が消えるわけではありません。根拠の照合と、実行の権限は別にそろえます。
断定を、確認済み・推定・未確認へ直す
同じ問いへの不適切な回答は、次のようになります。
画面の項目が同じなので、この手順で変更できます。作業後に問題がないか確認してください。
この回答は、項目名の一致を適用可能性へ広げ、変更前に確かめるべき条件を変更後の確認へ送っています。回答を次のように修正します。
変更の可否は保留します。現物の型番・ソフトウェア版と、現在適用する手順が確認できていません。
確認済み：提供された手順書はK-4の第2版を対象としています。提示画像には同じ名称の設定項目が見えます。
推定：旧手順書と同じ系統の画面である可能性はあります。ただし、項目の働きや変更条件まで同じとは判断できません。
未確認：現物の型番・版、現行手順、変更の影響範囲、判断者と承認状態です。設備管理担当が識別情報を、手順書管理担当が適用する現行版を確認し、工程責任者と変更承認者へ資料をそろえてください。
保留中は、提供された手順書の対象欄と用語の説明、未確認事項の整理を進められます。設定値や操作順は、対象への適用を確認するまで案内しません。
推定を残しても、それを実行の根拠にしない形です。保留の理由も、単なる「AIなので分かりません」ではなく、型番・版・手順・影響・権限の不足として示しています。
NISTIR 8312のKnowledge Limitsは、答えられる範囲と限界を示す原則を説明しています。これは、AIが自分の限界を常に正確に見抜けるという保証ではありません。現場の資料と担当者による照合を、回答文とは別に設ける必要があります。
保留中に進めることと、進めないこと
保留中でも、手順書の版情報を整理し、必要な資料の一覧を作り、判断者へ渡す説明を下書きできます。対象が未確認のまま設定値を補ったり、「試しに変えて様子を見る」と提案したりすることは避けます。例の依頼が説明に限られていれば、AIが設備へ接続して情報を取得する権限まであるとは扱いません。
また、「変更を保留する」と「現状の運転を続けてよい」は別の判断です。現在の状態に異常が疑われるなら、AIが一般論で継続や停止を指示せず、現場の緊急時手順と権限を持つ担当者へ引き継ぎます。何もしない状態にも影響があるため、保留の対象を新たな変更判断に限定して伝えます。
保留を解除する条件を残す
「確認できたら再開」だけでは、資料が一つ届いた時点で早まって進めるおそれがあります。この例では、現物と手順の型番・版の対応、変更対象と影響範囲、責任者の判断、必要な承認を、再開条件として記録します。型番だけが一致しても、版が未確認ならその不足は残します。
資料に矛盾が見つかった場合は、AIが多数決で一つを採用しません。手順書管理担当が適用する版を確定するまで、変更可否の保留を続けます。判断が出たときには、対象設備、変更内容、根拠の版、付いた条件を同じ記録に残します。判断後に設備や手順が変われば、その記録を別の変更へ流用せず再確認します。
保留を伝える際には、決められない結論に、必要な資料と次の判断者を添えます。答えられる説明も残せば、変更可否を決める前に進められる作業が明確になります。
AIの確信度を信用しすぎないための考え方は「AIの「自信あり」を信用しすぎない確信度校正の考え方」、法務・医療・金融などで確認を厳しくする条件は「法務・医療・金融・契約でHard版へ切り替える条件」で解説しています。
