AI Security・Threat Modeling・出力境界
88語
2ページ目：51〜88語目を掲載しています。 分野の概要と最初の用語は1ページ目
用語一覧
- Agentic Supply Chain Vulnerabilities
- モデル、Agent、MCP、Tool、Library、Prompt等の依存関係を経由して脆弱性・悪意ある変更が持ち込まれるリスク。
Agentic Supply Chain Vulnerabilitiesの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Unexpected Code Execution
- 自然言語入力、Tool、Template、Agent処理等を経由して、意図しないコードやコマンドが実行されるリスク。
Unexpected Code Executionの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Memory & Context Poisoning
- AgentのMemoryやContextへ誤情報・悪意ある指示を混入し、後続の判断・行動へ継続的に影響させる攻撃・リスク。
Memory & Context Poisoningの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Insecure Inter-Agent Communication
- Agent間通信の認証・完全性・権限・入力検証が不十分で、なりすまし、改竄、権限濫用等が起きるリスク。
Insecure Inter-Agent Communicationの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Cascading Failures
- 一つのAgent、Tool、データ、判断の失敗が連鎖し、複数システムや後続タスクへ広がる障害・リスク。
Cascading Failuresの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Human-Agent Trust Exploitation
- AIへの過信や権威付け、人間らしい対話等を悪用し、利用者に不適切な承認・開示・操作を促す攻撃・リスク。
Human-Agent Trust Exploitationの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Rogue Agents
- 許可された目的・ポリシー・権限境界から逸脱し、監視困難な行動を継続するAgentを扱うセキュリティ上の概念。
- Agent Control Standard（ACS）
- Agent platformにMiddleware hook等の統制点を設け、RuntimeでPolicyを観測・強制できるようにするOWASP GenAI Security Projectの標準。
Agent Control Standard（ACS）の定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Many-Shot Jailbreaking（MSJ）
- 長いContext内へ多数の例や段階的な誘導を入れ、モデルの安全制御を弱めようとするJailbreak手法。
Many-Shot Jailbreaking（MSJ）の定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Adversarial Suffix / GCG Attack
- 意味の不自然なToken列等をPrompt末尾へ付加し、安全制約の回避や特定出力を誘導する敵対的Prompt攻撃。
Adversarial Suffix / GCG Attackの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Spotlighting
- 外部資料等の未信頼テキストを明確にマーキング・分離し、モデルが命令ではなくデータとして扱いやすくするPrompt Injection対策の考え方。
Spotlightingの詳しい説明を読む · AI Security・Threat Modeling・出力境界の全体像
- CaMeL
- LLMの制御ロジックと未信頼データを分離し、情報フローや権限を制約することでPrompt Injectionの影響を抑えるAgentセキュリティ設計。
- Content Moderation / Llama Guard
- 入力・出力の安全カテゴリ判定やポリシー適合性を分類モデル等で検査する仕組み。Llama Guardは代表的な安全分類モデル群。
Content Moderation / Llama Guardの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- pickle / safetensorsのモデル読込リスク
- Pythonのpickle形式は読込時に任意コード実行を起こし得る一方、safetensorsはTensorデータの安全な読込を重視した形式。入手元検証も必要。
pickle / safetensorsのモデル読込リスクの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Canary Token
- 秘密情報や内部データ等へ監視用の識別子を混ぜ、予期しないアクセス・流出が起きた際の検知に使う仕組み。
- Improper Output Handling
- LLM出力を未検証のままHTML、SQL、Shell、下流API等へ渡し、Injectionや不正実行を起こすセキュリティリスク分類。
Improper Output Handlingの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Sensitive Information Disclosure
- モデルやAIアプリが個人情報、秘密、認証情報等を不適切に生成・表示・送信する情報漏えいリスク分類。
Sensitive Information Disclosureの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Vector and Embedding Weaknesses
- Embedding、Vector DB、Retrieval処理の権限・汚染・情報漏えい・検索品質等の弱点を悪用されるセキュリティリスク分類。
Vector and Embedding Weaknessesの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Unbounded Consumption
- Token、Tool、Compute等の利用上限が不十分なことで、DoSやDenial of Wallet等の資源・費用被害を引き起こすリスク分類。
Unbounded Consumptionの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Glaze
- 画像へ知覚しにくい変化を加え、生成AIによる画風模倣等を困難にすることを目的とする保護技術。
- Nightshade
- 学習データとして取り込まれた場合にモデル学習へ悪影響を与えるよう画像を加工し、無断学習への対抗を目的とするデータポイズニング系技術。
- OWASP Top 10 for Agentic Applications
- Autonomous / Agentic AI Systemに固有の重大Security RiskをOWASP GenAI Security Projectが整理したTop 10。Agent Goal Hijack、Tool Misuse、Identity Abuse、Memory Poisoning、Rogue Agents等を含む。
OWASP Top 10 for Agentic Applicationsの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- SLSA（Supply-chain Levels for Software Artifacts）
- Software Supply ChainのIntegrityを高めるため、Build、Provenance、Source、Artifact等のSecurity保証を段階的に整理するFramework。
SLSA（Supply-chain Levels for Software Artifacts）の定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Sigstore / Model Signing
- Artifact、Container、Model File等へDigital SignatureとTransparency Logを利用し、配布物の出所・改竄有無を検証する仕組み。Model Weightの署名・検証にも応用できる。
Sigstore / Model Signingの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Tool Shadowing
- 悪意あるToolやMCP Server等が正規Toolと同名・類似名・類似Schemaを提示し、AgentのTool選択を奪取・混同させる攻撃・リスク。
- CSAM / 違法有害コンテンツ自動検知
- Child Sexual Abuse Material等の重大な違法・有害ContentをHash Matching、Classifier、Human Review等で検知・制御するSafety / Trust & Safetyの仕組み。誤検知・法域・通報義務等の管理が必要。
CSAM / 違法有害コンテンツ自動検知の定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Visual Prompt Injection / Image-based Prompt Injection
- 画像内の文字、Overlay、Pixel Pattern等へ悪意ある指示を埋め込み、Vision対応LLMやMultimodal Agentにその指示を解釈・実行させようとするPrompt Injection。
Visual Prompt Injection / Image-based Prompt Injectionの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Dependency Confusion
- 内部Packageと同名のPublic Package等をDependency Resolverに選ばせ、攻撃者のPackageをInstallさせるSoftware Supply Chain攻撃。
Dependency Confusionの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Typosquatting
- 正規のPackage、Domain、Repository名等と似た綴りの名称を用意し、入力ミスや見間違いを利用して悪意ある対象へ誘導する攻撃。Slopsquattingとは発生原因が異なる。
- Rules File Backdoor
- AGENTS.md、CLAUDE.md、.cursorrules等、Coding Agentが自動読込するInstruction Fileへ悪意ある指示を埋め込み、生成CodeやTool操作を継続的にManipulateするSupply Chain攻撃。
Rules File Backdoorの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Coordinated Vulnerability Disclosure（CVD）
- 発見した脆弱性をVendor・Maintainerへ非公開で連絡し、修正・公開時期・利用者通知等を調整してから情報開示する脆弱性対応Process。
Coordinated Vulnerability Disclosure（CVD）の定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Bug Bounty
- 脆弱性やSecurity問題を責任ある方法で報告したResearcher等へ報奨金・謝礼を提供するProgram。Scope、Safe Harbor、Disclosure Rule等を明確化して運用する。
- Skeleton Key
- 安全制約を直接破壊するのではなく、特定のRoleや安全分析文脈を受け入れさせることで、本来制限されるContent生成へ誘導するJailbreak手法として知られる攻撃Pattern。
- Unicode Bidi Attack
- Unicodeの双方向文字制御を悪用し、人間に見える文字順と実際の文字列処理順をずらして、Code・Prompt・Identifier等の解釈をManipulateする攻撃。
Unicode Bidi Attackの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- Payload Splitting
- 禁止語や攻撃Payloadを複数のString、Variable、Turn等へ分割し、後段で再結合させることで単純なPattern-based Safety Checkを回避しようとする手法。
Payload Splittingの定義を見る · AI Security・Threat Modeling・出力境界の全体像
- ソーシャルエンジニアリング
- 技術的な脆弱性ではなく、人の心理や信頼・権威・緊急性等につけ込んで情報や操作を引き出す攻撃手法。生成AIにより文面・音声・映像の偽装が容易になり、精度と規模が増している。
- AI悪用フィッシング / BEC（Business Email Compromise）
- 生成AIで自然な文面・音声・映像を作り、取引先や経営者を装って認証情報の入力や送金を促す攻撃。BECはビジネスメール詐欺を指す。振込先変更等の依頼は別経路確認で検証する。
AI悪用フィッシング / BEC（Business Email Compromise）の定義を見る · AI Security・Threat Modeling・出力境界の全体像
関連する記事を読む（1件）
- Dual LLM Pattern
- 未信頼のWeb・Document等を読む非特権LLMと、機密Dataや副作用ToolへAccessできる特権LLMを分離し、Prompt Injection経由の権限濫用を抑えるArchitecture Pattern。
Dual LLM Patternの定義を見る · AI Security・Threat Modeling・出力境界の全体像