課題から記事を絞り込む
課題とキーワードを組み合わせて探せます。複数のキーワードは空白で区切ると、すべてを含む記事を表示します。
依頼文の作成、回答の確認、資料の扱い、権限・送信、組織の利用ルールを、課題別に探せます。
AIエージェントの権限・外部資料・承認・検証は「AIエージェントの安全設計」にまとめています。
出力・根拠を確かめる
118記事 / 新しい公開順
JailbreakとPrompt Injectionの違いから防御を選ぶ
主な読者:AIの回答を確認する人
JailbreakとPrompt Injectionは、制約を越える目的と指示の出所を分けて考えると対策を選びやすくなります。二つの概念が重なる場合も踏まえ、無害な模擬例で入力の境界、操作制限、確認方法を説明します。
課題:出力・根拠を確かめる / 権限・送信を制御する
公開日:
ブラウザ・GUIエージェントをページ内の操作誘導から守る
主な読者:AIの回答を確認する人
ブラウザやGUIを操作するAIは、画面の文章と利用者の依頼を区別する必要があります。ページ内の送信案内を承認に変えず、クリック前に対象・宛先・内容を確認し、閲覧を続けられる条件と安全な模擬確認の方法を説明します。
課題:出力・根拠を確かめる / 権限・送信を制御する
公開日:
分割・符号化された外部入力を検査する方法と限界
主な読者:資料を使う人・連携を設計する人
分割・符号化された外部入力は、復元できたことと安全に処理できたことを分けて検査します。上限付きの変換、出所の保持、資料内の命令への追従防止、外部操作の阻止、通常の要約の継続を確認する模擬試験の設計を説明します。
課題:資料・指示の境界を守る / 出力・根拠を確かめる
公開日:
Memory Poisoningを防ぐ保存前の確認と汚染記憶の訂正
主な読者:資料を使う人・連携を設計する人
Memory Poisoningでは、外部資料の操作指示が長期記憶に入り、後の回答へ影響します。保存候補の出所と権限を確認し、事実や好みと命令を分ける方法、汚染記憶の隔離・訂正・失効と派生出力の点検を説明します。
課題:資料・指示の境界を守る / 出力・根拠を確かめる
公開日:
Prompt Injection後に汚染セッションを隔離して再開する条件
主な読者:AIの回答を確認する人
Prompt Injection後の隔離では、会話だけでなく記憶、資格情報、実行済み操作への影響を確認します。架空のイベント記録から汚染の連鎖を追い、証拠を保護しつつ利用を止め、再開範囲と未確認事項を判断する手順を説明します。
課題:出力・根拠を確かめる / 組織のルール・リスクを決める
公開日:
インジェクション検知後に全面停止と部分処理を選ぶ条件
主な読者:AIの回答を確認する人
インジェクション検知後は、影響を分離できる根拠があれば部分処理を続け、範囲を確かめられなければ停止します。架空の三文書の要約を例に、除外後の回答範囲、残る文脈の確認、外部操作の結果不明、再開条件の決め方を示します。
課題:出力・根拠を確かめる
公開日:
外部入力の命令改変を検知し誤検知と見逃しに備える
主な読者:AIの回答を確認する人
外部入力の命令改変は、文面だけでなく出所と権限を照合して見分けます。正当な引用、操作誘導、検知漏れの模擬例から、誤検知率の分母、判定不能の扱い、検知とは別の実行制限、改善後に確かめる項目を具体的に説明します。
課題:出力・根拠を確かめる / 権限・送信を制御する
公開日:
CoT開示を誘う入力に対処し根拠説明を返す設計
主な読者:依頼文を作る人
CoT開示を誘う入力に対して、非公開の内部推論と利用者が検証できる根拠説明を分けます。架空の査読依頼を例に、資料内の要求の扱い、返す説明の範囲、出力境界での確認、正当なレビューを続けるための模擬試験を示します。
課題:依頼文・プロンプトを整える / 出力・根拠を確かめる
公開日:
自社AIが競合商品を薦めるとき 比較の事実とブランド方針を分ける
主な読者:AIの回答を確認する人
自社AIで競合商品を比較するときは、利用者の条件に合うかという事実と、自社が案内できる範囲を分けます。架空の製品比較を使い、仕様を変えない回答、隠れた誘導を点検する工程、改善前後を同じ条件で測る方法を解説します。
課題:出力・根拠を確かめる
公開日:
長い入力で重要条件が抜けたとき、量・位置・重複を切り分ける
主な読者:依頼文を作る人
長大コンテキストで重要条件が使われないときは、入力の長さだけを原因にしません。架空の規程抽出を題材に、量・関連性・位置・重複・矛盾を分けた比較と、末尾の例外を同じ基準で確かめる方法、結果の読み方を説明します。
課題:依頼文・プロンプトを整える / 出力・根拠を確かめる
公開日:
長い会話で重要条件が抜けたときに整理して再提示する方法
主な読者:依頼文を作る人
長い会話やプロンプトで予算などの重要条件が抜けたら、情報量だけを原因にせず、古い条件・重複・競合・資料の未取得を切り分けます。架空の提案書を使い、有効な制約を短く再提示し、整理前後の回答を同じ基準で確かめる方法を説明します。
課題:依頼文・プロンプトを整える / 出力・根拠を確かめる
公開日:
Web検索の有無でプロンプトをどう変えるか
主な読者:依頼文を作る人
Web検索の有無に応じて、プロンプトで指定する回答範囲と最新性の扱いを変えます。概念説明と現行料金の照会を同じ条件で比べ、検索可能・未検索・取得失敗を区別し、確認できない情報の示し方と公式資料への照合を解説します。
課題:依頼文・プロンプトを整える / 出力・根拠を確かめる
公開日:
「PAP-40-Layer Frameworkの分類から探す」は、記事一覧の1ページ目の下部にあります。
