AIで機械を動かすなら、非常停止と進入制限はAIから分離する

2026年10月2日2026年10月11日

URLをコピーしました！

公開日: 2026年10月2日

生成AIが移動装置などへ指示を出す場合、危険な動作を止める機能を、AIの判断や応答待ちに依存させてはいけません。Geofenceで位置に基づく動作の可否を確認し、位置が分からない場合の扱いを決めたうえで、AIから独立した停止系を設ける設計を検討します。位置制約の合格と、装置全体の安全が確認されたことは別です。

ここでは実機へ接続しない模擬地図を使い、設計上の期待動作を比較します。回路、制動性能、安全関連部品の選定や実機試験を代替するものではありません。実装や運用の可否は、機械安全の専門家、装置の製造者、使用現場の責任者が、対象機械と使用条件に即して判断します。

動く対象と、止める機能を分けて考える

物理アクチュエーションとは、モーターなどを通じて物を動かし、現実の環境へ作用することです。文章の誤りは後で書き直せても、移動中の装置が人や設備に接触した結果は、同じ方法では取り消せません。AIが出した「停止しました」という文章も、装置が停止した証拠にはなりません。

対象を定めるときは、装置本体だけでなく、運ぶ物、周囲の人、固定設備、通行経路を含めます。機体の中心が通路内にあっても、荷物が禁止域へ張り出す場合があります。通常運転だけでなく、起動、停止、点検、故障からの復帰で誰が近づくかも、危険の洗い出しに関わります。

E-Stopは、Emergency Stop、すなわち非常停止の機能を指します。Geofenceは、地図や座標で定めた区域に基づき、立ち入りや移動などを制限する仕組みです。Geofenceは実際の柵ではなく、測位と地図、判定、制御のつながりに依存します。一般的なアプリの区域判定を使っただけで、安全防護用の機能になったとは扱えません。

また、計画段階で経路を拒否すること、運転中に保護のため停止すること、人が非常停止を要求することは、目的と動作の条件が異なります。境界に近づくたびに非常停止だけへ頼る設計ではなく、危険に入る前の制約と、異常時に止める機能をそれぞれ定めます。

AIが止まっても停止要求を処理できる構成にする

厚生労働省の機能安全に関する技術上の指針・2-3は、安全関連システムに入力部、論理処理部、出力部が含まれ、運転制御のシステムから独立していることが望ましいとしています。これは労働者の就業に係る機械等の指針であり、あらゆる装置に同一の回路を義務付ける説明ではありません。

生成AIを使う装置では、この考え方を踏まえ、AIが返答しない、誤った移動指示を出す、通信が途切れる場合にも、必要な停止機能を実行できるかを検討します。安全制御を別のプロンプトに書くだけでは、同じモデルや処理待ちに依存したままです。別のソフトウェアへ分けた場合も、同じ通信経路や電源の故障が双方へ影響しないかを確かめます。

担う部分	役割の例	任せない判断の例
生成AI	人の依頼を整理し、目的地や作業案を提示する	停止要求を無視する、安全設定を独断で変更する
位置・動作の制約を検査する部分	許可区域、位置情報の状態、指令内容を検査する	不明な位置を都合のよい座標で補う
安全関連の停止系	定めた条件や停止要求に応じて、必要な安全機能を実行する	AIの文章上の承認を待って停止を遅らせる
人による運用・保守	原因を調べ、現場を確認し、定めた権限で再開を判断する	停止した理由が未確認のまま機能を無効化して続ける

これは役割の整理例です。部品を四つ置けば安全という意味ではなく、制約検査を安全機能として扱う場合には、その経路にも必要な信頼性と検証が求められます。AIから安全設定を書き換える権限を切り離すことと、故障時にも停止できることは、別々に確認する課題です。指示・システムの強制・人間承認の分担そのものは、AIの送信をどう制御する？指示・システムの強制・人間承認の役割でも説明しています。

厚生労働省の機械の包括的な安全基準に関する指針・別表第4では、非常停止の優先、停止命令の維持、定めた解除操作、解除だけで再起動しないことなどが示されています。AIが「続けてよい」と出力したことを、非常停止の解除や再起動の操作に置き換える設計にはしません。

地図の内側に見えても、実際の位置には幅がある

Geofenceの判定には、位置の推定値だけでなく、誤差、取得時刻、地図との対応が関わります。更新されない最後の座標を現在位置として使うと、画面上では区域内でも、装置はすでに別の場所にいるかもしれません。センサーから値が届いたことと、その値を現在の判定に使えることを分けます。

GPSを使う場合、米国政府のGPS Accuracyは、建物などによる信号の遮断、屋内利用、反射などで測位精度が変わることを説明しています。衛星から送られる信号の精度と、個々の受信機の位置精度も同じではありません。特定の精度値を、すべての現場で保証される誤差の上限として採用することはできません。

カメラやほかの測位方式でも、実際の設置条件、見えない範囲、校正、故障時の挙動を確認する必要があります。複数のセンサーを使っても、同じ地図の誤りを共有していれば、数を増やしただけではその誤りに気付けません。詳細な座標変換の検証とは別に、位置を信用できないときの動作を決めておきます。

境界判定では、機体や荷物の大きさに加え、検知から停止までに進む距離も問題になります。座標の中心だけが禁止域の外にあることを、侵入しない根拠にはできません。移動速度、積載、床面、遅延などに依存する停止の条件は、専門的な評価で定めます。ここで一般的な安全距離や停止時間を一律には置きません。

模擬地図で、境界接近と位置不明を比べる

架空の移動装置を、実機と切り離した地図上で検討します。単位はメートルで、地図のある断面において、x座標が10メートル以上の側を進入禁止とします。境界上も禁止に含みます。比較する地点は同じ断面上にあり、ほかの方向の違いは今回の例では扱いません。

以下の「±0.4メートル」は、説明のために置く位置誤差の上限という仮定です。実在センサーの仕様、95％などの信頼区間、現場で確認済みの値ではありません。また、最初に点としての位置判定だけを見て、機体寸法や停止距離はまだ含めない簡略例にします。そのため、禁止域と重ならない結果でも実機の運転許可は出せません。

模擬条件	比較する位置の範囲	期待する判断と次の対応
推定位置8.0、誤差上限±0.4、現在の位置情報として有効という仮定	7.6〜8.4メートル	この位置条件では禁止域との重なりなし。機体・停止・人の検知など未評価の条件へ進めるだけで、安全合格にはしない
推定位置9.8、誤差上限±0.4、同じく有効	9.4〜10.2メートル	推定点は進入禁止域の外でも、可能な位置が禁止域と重なる。新しい進入指令を許可せず、原因と安全な経路を再確認する
推定位置8.0という最後の値はあるが、更新が途切れた	現在の位置範囲を確定できない	過去の値で進入可とせず、位置不明時に定めた安全状態へ移行し、位置情報の回復を確認する
推定位置8.0、誤差の上限を確認できない	推定点の周囲にどこまで幅を置くか未確認	誤差ゼロに置き換えない。位置条件を根拠に移動を許可する判断を保留する

範囲の計算は、例えば9.8−0.4＝9.4、9.8＋0.4＝10.2です。上限が禁止境界の10を超えるので、点だけを見た判定と結果が変わります。この違いを確認することが例の目的であり、0.4メートルの余裕を採れば安全という結論ではありません。

実際の判定では、誤差の範囲に、機体の占有領域や停止までの移動などを対応させる必要があります。地図の原点、単位、向き、版が違えば、数値を正しく足し引きしても別の場所を判定してしまいます。これらの条件が未確認のままなら、位置制約の合格という記録を残さないようにします。

また、この表は新しい進入指令の可否を整理したもので、すでに走行中の装置がどの方式で止まるかは別の設計です。位置不明になった瞬間に単純な電源断を行えば、どの装置でも安全になるとは限りません。保持が必要な荷物や姿勢などを考慮し、事前に定めた安全状態への移行方法を専門家が検討します。

非常停止は地図の判定とは別に確認する

次に、同じ模擬環境で、位置の判定と停止要求を別の条件として置きます。停止要求があるのに「区域内だから続ける」と処理していないか、AIの応答が遅れたときに停止の判断も待たされないかを確かめるためです。

模擬条件	期待する停止系の扱い	確認する記録・不足時の対応
地図上は許可域、非常停止要求あり	地図の合格より停止要求を優先する	要求から停止系への経路と状態遷移を確認。AIの応答に依存する設計なら修正へ戻す
AIが応答しない状態で非常停止要求あり	AIの返答を待たず、停止機能が働く設計であること	模擬上の遷移だけで実機の停止性能を合格にしない。物理的な検証は専門担当へ渡す
非常停止を解除したが、再起動操作なし	勝手に運転を再開しない	解除と起動が同一扱いなら原因を修正し、再確認する
位置が回復したが停止原因の確認が未完了	位置回復だけで再開を許可しない	現場確認、故障の是正、再開権限を確認するまで保留する

表は期待動作であり、試験を実施した結果ではありません。停止の要求を送った、制御装置が受け付けた、危険な運動が停止した、という状態を分けて記録する設計が必要です。画面の「停止完了」がどの信号や観測に基づくか不明なら、停止済みと判断しません。

非常停止の機能を確認しても、通常時の侵入防止や危険箇所への接触防止が不要になるわけではありません。包括的な安全基準の指針は、保護方策を検討する順序として、本質的安全設計方策を最優先し、次に安全防護と付加保護方策、最後に使用上の情報の提供を挙げています。非常停止は付加保護方策の一つです。人がいつも危険を見つけ、間に合うタイミングで非常停止できることだけに依存せず、危険そのものを減らす設計を先に検討します。

模擬の確認と、実機の検証を混同しない

模擬地図で確認できるのは、与えた位置や状態に対して、定めた判断が矛盾していないかという範囲です。実際のセンサー故障、制動の遅れ、配線の問題、電源の喪失、荷物の落下などを、その結果だけで評価することはできません。画面上の動きが止まったことも、実機の危険な運動を止められる証明にはなりません。

実機の設計へ進む際は、何を危険事象として扱い、どの安全機能で抑えるかを定めます。必要な信頼性の水準、部品と構成、検証方法を専門担当者が選びます。厚生労働省の機能安全に関する指針も、危険事象、安全機能、要求される信頼性、使用条件を関連付ける考え方を示しています。ここで簡単な模擬例から安全度水準やパフォーマンスレベルを決めることはしません。

装置の種類や地域によって適用する法令・規格・製品要件は異なります。例えば非常停止を扱うISO 13850:2015の公式概要は、その機能の設計原則を対象としていますが、規格名を記録へ書くだけで適合が確認されたことにはなりません。2026年10月11日に確認した公式ページでは2015年版がPublishedで、改訂予定の段階も表示されています。実際の設計では採用する版と対象範囲を確認します。この規格は、非常停止がリスクを下げない機械と、手持ち式・手で操作する機械を適用範囲から除いています。すべての装置に同じ非常停止を付ければ足りる、という読み方はできません。倉庫などを自動走行する搬送機械なら、無人搬送車（AGV）や自律移動ロボット（AMR）を含む無人産業車両を扱うISO 3691-4:2023もあり、運用区域の状態が安全な運用に大きく影響することを扱っています。この規格も改訂予定と表示されています。

この段階では、製造者の資料、使用現場の条件、検証記録が必要です。記事の表をコピーして「安全試験済み」とするのではなく、模擬上で分かった問題と、まだ評価していない物理的条件を渡します。安全関連機能の点検や実機の試験は、立入管理などを含む許可された計画の下で行うものであり、読者が記事の例をそのまま実機で試すための手順ではありません。

地図・設定・停止原因を運用の記録へつなぐ

運用責任者が確認できるよう、使用する地図の版、禁止域を決めた根拠、位置情報の有効条件、停止原因、再開の判断者を対応させます。AIの提案を確認する人に、目的地の名前だけでなく、適用地図、経路、未確認の条件を示すことも重要です。承認した人が、実際の設定や変更内容を見られなければ、確認ボタンだけの運用になります。

地図の更新、通路や設備の配置変更、積載の変更、センサー交換、制御ソフトウェア更新は、以前の確認がそのまま使えるかを見直す契機です。停止が頻発したときも、作業を続けるために境界を広げたり検知を切ったりする前に、原因と残るリスクを確認します。変更する権限と、変更後に再確認する担当者を分けて定めます。

再開の記録には、止まった理由、是正した内容、現場と機器の確認、使う地図・設定の版、判断者を残します。解除操作が行われたという記録と、安全を確認したうえで運転を再開したという記録は同じではありません。位置情報が戻った、AIが新しい案を出した、期限が迫っている、という理由だけで再開の条件を省かないようにします。

設計の出発点は、生成AIに上手に停止をお願いすることではなく、どの情報が不明なら進めず、誰の判断を待たずに停止機能が働き、何を確認して初めて再開できるかを分けることです。模擬地図で判断の抜けを見つけ、その結果を専門的な安全設計と検証へつなげます。

基本から確認する：この記事の前提になる考え方は、「AIエージェントの安全設計（権限・外部資料・承認・検証の基本）」と「AIを使う前の安全確認チェックリスト（AIKYで確かめる12項目）」にまとめています。