推論・事実性・不確実性

57語

AIの推論と事実性、不確実性の扱いに関わる用語です。Chain-of-Thoughtや推論モデル、自己検証の手法、事実・推論・仮説・意見の区別、確信度、ハルシネーション、迎合(Sycophancy)、認知バイアスなどを扱います。

この分野を読むポイント

もっともらしい説明と、正しい説明は別物です。回答の中で確認できた事実と推測を分けさせ、分からないときは回答を控える(Abstention)選択肢を残すことが、誤りの拡散を防ぎます。

この分野に関連する記事

用語一覧

CoT(Chain of Thought)
問題を解くための段階的な推論過程を指す。通常、内部推論そのものとユーザー向け説明は分けて扱う。
推論モデル
複雑な問題で内部推論を強化したタイプのAIモデル。精度が上がる一方で応答時間とトークン消費が増えるため、単純なタスクでは軽量モデルと使い分ける。
Self-Consistency
複数の推論経路を比較し、結論の一貫性を確認する考え方。複数回生成する分だけコストが増え、すべての回答が同じ誤りで一致する場合は検出できない。
Chain-of-Verification(CoVe)
回答後に検証用の質問を作り、事実や推論を再確認する検証手法。
LLM-as-Judge
LLMを評価者として使い、別のAI出力を採点・比較する方法。提示順・回答の長さ・自モデルの出力等への偏りがあるため、人間評価との一致度を確認してから使う。
反例テスト
結論が成立しない例を探し、一般化や推論の誤りを確認する方法。
事実
観測・資料等で確認可能な内容。出典で確認できるかどうかで推論・仮説・意見と区別し、回答中でも書き分ける。
推論(Reasoning)
複数の事実や前提から論理的に導いた内容、またはその思考過程。推論モデル・CoT等の「推論」はこの意味。推論(Inference)と区別する。
推論(Inference)
学習済みモデルに入力を与えて出力を計算・生成する実行処理。学習(Training)と対になり、推論コスト・推論基盤・推論速度・推論サーバー等の「推論」はこの意味。推論(Reasoning)と区別する。
仮説
未確認だが検証可能な説明・見立て。
予測
将来の状態や結果についての推定。前提条件と不確実性の幅を併記し、事実と同じ断定調で書かない。
規範判断
何をすべきか・望ましいかという価値基準を含む判断。
Abstention
根拠不足や高リスク時に、無理に答えず回答を保留・限定すること。回答を保留する場合も、確認できた範囲や次に確認すべき情報を示すと実務で使いやすい。
縮退出力
十分な回答ができないとき、確定事項など安全な範囲だけに絞って出力すること。
確信度
回答や認識にどれほど確信があるかを示す程度。LLMが自己申告する確信度は実際の正答率と一致しないことが多く、そのまま信用しない。
確信度校正
表明した確信度と実際の正確さが釣り合うよう調整する考え方。
不確実性
情報不足・曖昧さ・変動などにより、結論が確定しない状態。
虚偽精密化
分からない細部を、日時・人数・型番などもっともらしい具体値で埋めてしまうこと。
Sycophancy(迎合)
AIがユーザーの主張や期待に過度に合わせ、根拠よりユーザーの期待を優先して誤りにまで同意してしまう傾向。
マルチターン汚染
過去ターンの誤情報や不要な前提が後続回答へ影響し続けること。誤りが混入した長い会話は、修正を重ねるより新しい会話でやり直す方が早い場合がある。
誤差伝播
前段の誤りが後続の推論・ツール処理へ引き継がれること。Agentでは各ステップの出力を検証してから次の処理へ渡す。
スノーボール
小さな誤りが連鎖して、最終的に大きな誤差へ膨らむ現象。
Lost in the Middle
長文の中間部分にある情報が、冒頭や末尾より参照されにくくなる傾向。重要な指示や資料は冒頭または末尾に置き、長文の中間に埋もれさせない。
中断耐性
出力や処理が途中で止まっても、重要情報や再開点が失われにくい設計。
認知バイアス
判断を一定方向へ歪める心理的・推論上の偏り。
アンカリング
最初に示された数字や情報へ判断が過度に引きずられるバイアス。プロンプトに例示した数値や仮の答えが、AIの推定にも影響する。
フレーミング
同じ事実でも表現方法によって判断が変わるバイアス。
生存者バイアス
成功例だけを観察し、失敗・撤退例を見落として判断する偏り。導入事例・成功事例だけを根拠にAIの導入効果を見積もると過大評価になりやすい。
ベースレート
個別事例を評価する際の基準となる母集団全体の発生率・平均的傾向。検出精度が高くても対象の発生率が低いと誤検知が多数を占めるため、AIによる判定の評価では発生率を考慮する。
因果
ある要因が別の結果を生じさせる関係。
関連する記事を読む(42件)
相関
2つの変数が連動して変化する関係。因果を意味するとは限らない。
交絡
第三の要因が複数の変数に影響し、見かけの関係を作ること。「AIを使う部署ほど生産性が高い」等の比較では、業務内容や人員構成が交絡要因になり得る。
逆因果
原因と結果の向きを逆に解釈してしまうこと。例えばAI利用者の成績が高いのは、もともと成績の高い人がAIを使っているためかもしれない。
Reflexion
実行結果や言語的フィードバックを振り返りとして保持し、次の試行で方針を改善するAgent型の反復手法。
Alignment
AIの挙動を、人間の意図・価値・方針・安全要件など望ましい目標へ整合させる考え方。
Reward Hacking
評価関数や報酬の意図を満たすのではなく、測定方法の抜け穴を利用して高い報酬だけを得る挙動。
Specification Gaming
仕様の文字どおりの条件は満たすが、設計者が本来意図した目的から外れた方法で最適化する挙動。
Goal Misgeneralization
学習時には適切に見えた目標や方針が、環境や条件の変化後に意図と異なる形で一般化される問題。
Constitutional AI
明示した原則やルール群を用いて、モデルの応答を自己評価・修正し望ましい振る舞いへ近づける学習・調整の考え方。
Context Rot
会話やコンテキストが長大・複雑になるにつれて、重要情報の参照精度や指示追従が徐々に低下する現象。
Sandbagging
評価や特定条件の下で、本来持つ能力を意図的または系統的に低く見せるような挙動。
Mechanistic Interpretability(機構的解釈可能性)
ニューラルネットワーク内部の特徴、回路、表現等を分析し、モデルがどのような内部機構で処理しているかを理解しようとする研究分野。
SAE(Sparse Autoencoder)
モデル内部の活性を疎な特徴へ分解・再構成し、内部表現の解釈や分析に用いるAutoencoderの一種。
Scheming
モデルやAgentが表面的には指示に従いながら、監視・評価を回避して別の目標を追うような計画的挙動を指す安全研究上の概念。
Deceptive Alignment
評価・監視中は望ましい挙動を示しつつ、別条件では異なる目的を追うような欺瞞的整合の可能性を扱う安全研究上の概念。
Scalable Oversight
人間が直接すべてを検証できない高度なAIに対し、AI支援・分解・比較等を使って監督能力を拡張する考え方。
CoT Monitorability
モデルの推論過程や説明的な中間表現を監視し、危険な意図・誤り・逸脱等の検知へ利用できるかを扱う安全研究上の観点。
Deliberative Alignment
モデルが回答前の推論過程で安全方針・規則を明示的に参照し、複雑なケースでもそれらを適用するよう学習・設計する考え方。

辞典トップへ戻る · 関連記事を見る