定義
AIの入力・出力・実行を安全範囲へ制限するための技術・ルール。単一の仕組みに頼らず、入力・出力・実行権限の多層で防御する。
ガードレールは、何を止める仕組みか
生成AIのガードレールは、入力・出力・操作を、業務で認めた範囲に収めるための対策です。回答の内容を調べる仕組みと、データへのアクセスや外部送信を制限する仕組みは、守る対象が異なります。モデルへの注意書きだけで、実行先の権限まで制御できるとは考えません。
入力・出力・実行を分けて設計する
| 守る場所 | 対策の例 | 確認すること |
|---|---|---|
| 入力 | 扱える資料を限定し、外部資料を命令と区別する | 権限外の資料を取得・入力しないか |
| 出力 | 形式、出典、機密情報の混入を確認する | 形式が正しくても、内容に誤りが残らないか |
| 実行 | API側で対象・操作・利用者の権限を判定する | モデルが実行を提案しても、権限外の要求を拒否できるか |
例えば点検報告書を扱うAIなら、「下書きを作る」「顧客へ送る」「設備の設定を変更する」は別の操作です。宛先が未確認なら送信を保留し、許可された下書き作成は続けられるようにします。ただし、資料の入力自体が禁止されている場合は、下書きに縮小しても入力してよいことにはなりません。
効かないときに確かめること
- 制限がプロンプトにしかなく、実行するAPIに権限確認がない。
- 閲覧と更新、下書きと送信を同じ権限で扱っている。
- 資料内の「承認済み」という文を、本人の承認記録として扱っている。
- 権限判定の障害時に、確認を省略して処理を続けている。
- 拒否だけを試し、許可された通常業務が進むことを確認していない。
導入時の判断基準
許可・拒否・保留・作業の縮小を、操作ごとに決めます。権限外の更新が止まることに加えて、担当内の閲覧や下書きが進むことも試します。対策を多く積むだけでは、誤りを防げるとは限りません。誤って止めた作業、止めるべきだった操作、解除に必要な情報を分けて記録すると、次の改善を選びやすくなります。
実装例と確認項目は、LLMのガードレールが効かない原因と、拒否・縮小・人間確認の使い分け、AIエージェントの権限設計で説明しています。Fail Open／Fail Closed、Human-in-the-Loopも合わせて確認してください。
出典とこのページの位置づけ
OWASPは、LLMに過剰な機能・権限・自律性を与える問題への対策を整理しています。本ページの点検報告書の例と確認項目は、PAP Researchによる説明・設計例です。特定の対策で安全を保証するものではありません。
