AI Security・Threat Modeling・出力境界
88語
LLMアプリを狙う攻撃手法と、それに備える脅威モデリング・出力境界の用語です。プロンプトインジェクションやJailbreak、エンコードを使った回避、SSRFやテンプレートインジェクションなど、入力から実行までの経路で起きる問題を扱います。
この分野を読むポイント
攻撃の手口を個別に覚えるより、資産・入口・信頼境界を洗い出し、どこで検証と制限をかけるかを決める視点が重要です。モデルの出力も信頼できない入力として扱い、下流で実行する前に検証します。
この分野に関連する記事
用語一覧
- Base64
- バイナリデータ等をASCII文字列として表現する符号化方式。安全検査では、Base64表現そのものを危険とみなすのではなく、必要に応じて復号後の内容も検査対象とする。
- ROT13
- 英字を13文字分ずらす単純な文字置換方式。難読化された入力の一例として、安全検査では変換後の意味内容も考慮する。
- 入力正規化
- Unicode、符号化、空白、制御文字、表記揺れ等を安全検査しやすい一貫した表現へ整える前処理。意味を勝手に変更しないことが重要。
- エンコード指示
- Base64等の符号化や変換を使い、指示内容をそのままでは検査しにくくした入力。安全検査では必要に応じて正規化後も確認する。
- Multilingual Jailbreak
- 安全制御の挙動差を利用し、低リソース言語や翻訳等を経由して制約回避を試みるJailbreakの類型。
Multilingual Jailbreakの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- 分割指示
- 一つの命令を複数の文字列・ターン・トークン断片へ分け、個々では意図を判定しにくくした入力パターン。
- なりすましAgent
- 正規の利用者・Bot・Agentになりすまして指示、情報取得、操作等を試みる不正な主体。
- System Prompt Leakage
- System Promptの内容がユーザーや外部へ意図せず露出・推測されること。秘密保持や認可をSystem Promptだけに依存しない設計が必要。
System Prompt Leakageの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Direct Prompt Injection
- ユーザー入力へ悪意ある指示を直接含め、AIの本来の制約や目的を変えようとする攻撃。
Direct Prompt Injectionの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Persistent Prompt Injection
- メール、文書、チケット、Memory等へ悪意ある指示を残し、後のAI処理でも継続して影響させる攻撃。
Persistent Prompt Injectionの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Jailbreak
- モデルの安全制約や利用ルールを回避し、本来制限される出力を引き出そうとする試み。
- Prompt Extraction
- System Promptや内部指示等をモデルから引き出そうとする攻撃・試行。
Prompt Extractionの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- ホモグリフ
- 見た目がよく似た別のUnicode文字。命令偽装、URL偽装、識別子の混同などに悪用される場合がある。
- 不可視文字
- 画面上では見えにくい・表示されないUnicode文字。入力検査や命令境界をすり抜ける原因になりうる。
- Unicode正規化
- 見た目や意味が近いUnicode表現を一定の形式へ統一し、文字列比較や安全検査を安定させる処理。
- Untrusted Input
- 安全性や正しさを前提にできない外部入力。LLM出力も下流システムから見れば未信頼入力として扱う必要がある。
Untrusted Inputの定義を見る · AI Security・Threat Modeling・出力境界の全体像
関連する記事を読む（2件）
- Sanitization
- 危険な文字列・構造・コード等を除去または無害化して、安全に扱える状態へ変換する処理。
- SSRF
- Server-Side Request Forgeryの略。サーバーに意図しないURLや内部ネットワークへアクセスさせる攻撃。
- Formula Injection
- CSVや表計算ファイルへ数式として解釈される文字列を埋め込み、開いた際に意図しない処理を起こす攻撃。
Formula Injectionの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Path Traversal
- ../等を利用して想定ディレクトリ外のファイルへアクセス・書き込みする攻撃。
- Template Injection
- テンプレートエンジンへ危険な式や構文を注入し、意図しない処理やコード実行を起こす攻撃。
Template Injectionの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Taint Tracking
- 未信頼データがどこから入り、どの処理を経て、どの出力・実行へ到達したかを追跡する考え方・仕組み。
- Threat Modeling
- 守る資産、信頼境界、脅威、攻撃経路、対策を事前に整理してシステムリスクを設計段階で分析する手法。
Threat Modelingの定義を見る · AI Security・Threat Modeling・出力境界の全体像
関連する記事を読む（2件）
- Attack Surface
- 攻撃者が入力・接続・権限・依存先等を通じてシステムへ影響を与えられる接点の集合。
- Asset
- セキュリティ上守るべきデータ、機能、権限、モデル、秘密情報、業務プロセス等の資産。
- Abuse Case
- 本来の利用方法ではなく、誤用・悪用・攻撃の観点から想定する利用シナリオ。
- Penetration Test
- 実際の攻撃手法を模擬してシステムの脆弱性や防御の有効性を確認するセキュリティテスト。
Penetration Testの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- DLP
- Data Loss Preventionの略。機密情報や個人情報などの不正・不要な外部送信や持ち出しを検知・制御する仕組み。
- SBOM
- Software Bill of Materialsの略。ソフトウェアを構成するライブラリ・部品・依存関係を一覧化した台帳。
- AI SBOM
- モデル、プロンプト、RAGデータ、ツール、ライブラリ等を含め、AIシステムの主要な依存要素を追跡するための構成台帳。
- OWASP Top 10 for LLM Applications
- LLMアプリケーションにおける代表的なセキュリティリスクをOWASPが整理したリスク一覧。
OWASP Top 10 for LLM Applicationsの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Data Exfiltration
- 機密情報や個人情報等を、外部通信・URL・ツール出力などを通じて権限外の宛先へ持ち出す攻撃・漏えい。
Data Exfiltrationの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Tool Poisoning / MCP Tool Poisoning
- ツール名、説明、スキーマ、返却内容等へ悪意ある情報を混入し、Agentのツール選択や行動を不正に誘導する攻撃。
Tool Poisoning / MCP Tool Poisoningの定義を見る · AI Security・Threat Modeling・出力境界の全体像
関連する記事を読む（1件）
- MCP Rug Pull
- 信頼されたMCPツールやサーバーの挙動・説明が後から悪意ある内容へ変更され、既存の信頼関係を悪用する攻撃。
- Confused Deputy
- 権限を持つシステムやAgentが、権限を持たない主体の依頼を正当なものと誤認し、その権限を代わりに行使してしまう問題。
Confused Deputyの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Model Extraction
- 多数の問い合わせや出力観測等を通じて、対象モデルの機能・挙動・パラメータ等を近似・複製しようとする攻撃。
Model Extractionの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Membership Inference
- 特定のデータがモデルの学習データに含まれていたかを、モデルの出力や挙動から推測するプライバシー攻撃。
Membership Inferenceの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Tool Result Injection
- ツールの返却データに命令を埋め込み、AgentやLLMにその内容を指示として解釈させる間接プロンプトインジェクション。
Tool Result Injectionの定義を見る · AI Security・Threat Modeling・出力境界の全体像
関連する記事を読む（1件）
- Retrieval Injection
- RAGの検索対象文書へ悪意ある命令や誘導を埋め込み、取得後のモデル挙動を操作する攻撃。
Retrieval Injectionの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Cache Poisoning
- キャッシュへ誤情報・悪意ある結果を混入させ、後続のリクエストで不正な内容を再利用させる攻撃。
Cache Poisoningの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Crescendo Attack
- 複数ターンの会話で要求を徐々に変化させ、安全制約を回避しようとするJailbreak手法。
Crescendo Attackの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- ASCII Smuggling
- 不可視文字や特殊なUnicode表現等を利用し、人間には見えにくい命令をテキストへ埋め込む攻撃手法。
ASCII Smugglingの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- 敵対的サンプル
- モデルの予測・認識を誤らせる目的で、入力へ人間には気付きにくい変化や細工を加えたデータ。
- Model Backdoor
- 特定のトリガー入力が与えられた場合だけ、攻撃者が意図した挙動を示すようモデルへ仕込まれた隠れた挙動・脆弱性。
- Sleeper Agent
- 通常時は問題なく振る舞う一方、特定条件やトリガーで別の目標・有害な挙動を示すよう設計・学習されたモデル挙動の概念。
- Lethal Trifecta
- 外部から命令を取り込めること、機密データへアクセスできること、外部へ通信できることが同時に存在するとデータ流出リスクが大きくなる、というAgentセキュリティ上の経験則を指す俗称。
Lethal Trifectaの詳しい説明を読む · AI Security・Threat Modeling・出力境界の全体像
- MITRE ATLAS
- AIシステムに対する攻撃者の戦術・技法・事例等を整理したMITREのAdversarial Threat Landscape for Artificial-Intelligence Systems。
- Agent Goal Hijack
- 外部入力・Prompt Injection等によりAgentの目標や優先順位を攻撃者の意図へ乗っ取るAgentic AIのセキュリティリスク。
Agent Goal Hijackの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Tool Misuse & Exploitation
- 正規のツール機能・権限をAgentが不適切または攻撃者の意図どおりに利用し、破壊・漏えい等を起こすリスク。
Tool Misuse & Exploitationの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Identity & Privilege Abuse
- Agentや利用者のID・認証情報・権限委譲を悪用し、本来許可されないデータや操作へ到達するリスク。
Identity & Privilege Abuseの定義を見る · AI Security・Threat Modeling・出力境界の全体像