推論パラメータ・Long Context・Memory
84語
モデルの生成を左右する推論パラメータと、長いコンテキストや記憶の扱いに関わる用語です。temperatureやtop_p、思考量の設定、コンテキスト長と注意の希釈、要約による圧縮、セッションの記憶、知識の締切日などを扱います。
この分野を読むポイント
コンテキストに情報を詰め込むほど良くなるとは限らず、重要な情報が埋もれることもあります。記憶や要約を使う場合は、古い情報や誤った情報が残り続けるリスクにも目を向けます。
この分野に関連する記事
用語一覧
- temperature
- 生成時のランダム性に影響する代表的なサンプリングパラメータ。低いほど常に正確になるとは限らない。
- top_p
- 確率質量が上位pに収まる候補から生成するNucleus Samplingのパラメータ。
- max_tokens
- モデルが生成できる出力トークン数の上限設定。小さすぎると回答が途中で切れる。
- stop sequence
- 指定した文字列・パターンが生成された時点で出力を停止させる設定。停止文字列が本来の出力に含まれると途中で切れるため、出力に現れない文字列を選ぶ。
- Seed
- 乱数生成の初期値。対応モデルでは生成の再現性を高める目的で使われることがある。
- Reasoning Effort
- 推論モデルが内部推論へ割り当てる計算量・深さを調整する設定・概念。高くすると精度が上がる場合がある一方、遅延とコストが増えるため、タスクの難易度に応じて設定する。
- Thinking Budget
- 内部推論へ使用できる計算量・トークン量等の予算を制御する考え方・設定。
- Over-specification
- 必要以上に細かな手順や制約を与え、モデル本来の推論能力や柔軟性を損なう過剰指示。
- Overthinking
- 単純な問題でも必要以上に推論を反復し、時間・コスト増や誤りを招く状態。
- Tool Planning
- 目的達成のため、どのツールをどの順序で利用するかを計画するAgent処理。
- Context Length
- モデルが一度に扱えるコンテキストの長さ・容量。一般にトークン数で表す。
- Attention希釈
- 長大な入力やノイズ増加により、重要情報への注意が相対的に弱まり参照精度が落ちる現象。
- Context Deduplication
- コンテキスト内の重複情報を除去・統合し、トークン浪費や重複根拠を減らす処理。
Context Deduplicationの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- Salience Scoring
- 情報の重要度・関連度を評価し、長文から残す情報や優先順位を決める手法。
- Compaction
- 長い会話履歴や作業状態を要約・圧縮し、重要情報を残してコンテキスト量を減らす処理。
- Summary Drift
- 要約を繰り返すうちに、元情報の意味・制約・決定事項が徐々に変質する現象。
- Session Memory
- 特定セッションや会話の範囲で保持・参照する状態や記憶情報。セッション終了後に保持されるかどうかと保存先を、利用者に分かるようにする。
- Organizational Knowledge
- 組織内の規程、手順、ナレッジベース、業務資料等として共有管理される知識。
Organizational Knowledgeの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- Memory Poisoning
- 誤情報・悪意ある情報をAIの記憶へ混入させ、後続の回答や判断へ継続的に影響させること。
- Knowledge Cutoff
- モデルの内部知識が学習・更新等によりカバーしている時点の上限。最新情報の確認とは別に扱う必要がある。
Knowledge Cutoffの詳しい説明を読む · 推論パラメータ・Long Context・Memoryの全体像
関連する記事を読む（21件）
- ChatGPTの回答が変わるのはなぜ？ 定点観測で分かったこと （実務記事）
- ChatGPT無料版 定点観測 2026/08/22：新設Q6〜Q10を追加 （観測記録）
- ChatGPT無料版 定点観測 2026/08/19：時刻回答とGPT-5.6 Lunaが継続 （観測記録）
- ChatGPT無料版 定点観測 2026/08/08：現在時刻を回答・GPT-5.6 Lunaへ変化 （観測記録）
- ChatGPT無料版 定点観測 2026/07/28：プラン・APIによる利用範囲の整理が登場 （観測記録）
- ChatGPT無料版 定点観測 2026/07/22：「流暢さと正確さの不一致」を弱点に （観測記録）
- ChatGPT無料版 定点観測 2026/07/14：論理推論の説明に軽微な揺れ （観測記録）
- ChatGPT無料版 定点観測 2026/07/09：アプリ1.2026.183で前回と同傾向 （観測記録）
- ChatGPT無料版 定点観測 2026/07/08：他社モデルの総覧がRun3で増加 （観測記録）
- ChatGPT無料版 定点観測 2026/07/07：OpenAI内のモデル系列を細かく説明 （観測記録）
- ChatGPT無料版 定点観測 2026/06/24：フィードバック因果の例外が定着 （観測記録）
- ChatGPT無料版 定点観測 2026/06/17：最新AIの整理が表形式などに多様化 （観測記録）
- ChatGPT無料版 定点観測 2026/06/10：経験の欠如を弱点として前面に （観測記録）
- ChatGPT無料版 定点観測 2026/06/03：Auto／5.5 Instantの選択表示が登場 （観測記録）
- ChatGPT無料版 定点観測 2026/05/29：観測端末をiPhone 17 Proへ変更 （観測記録）
- ChatGPT無料版 定点観測 2026/05/21：自己限界の説明が運用リスクへ拡張 （観測記録）
- ChatGPT無料版 定点観測 2026/05/12：日付提示が安定・形式論理を併記 （観測記録）
- ChatGPT無料版 定点観測 2026/05/08：自己認識がGPT-5.5へ更新 （観測記録）
- ChatGPT無料版 定点観測 2026/04/23：中核挙動は安定・曜日表記が統一 （観測記録）
- ChatGPT無料版 定点観測 2026/04/16：時刻の代替提案が全Runで共通化 （観測記録）
- ChatGPT無料版 定点観測 2026/04/03：5問形式へ移行・GPT-5.3を自己認識 （観測記録）
- Extended Thinking / Thinking Tokens
- 複雑なタスクでモデルが内部推論へより多くの計算資源やトークンを割り当てる機能・概念。
Extended Thinking / Thinking Tokensの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- KV Cache
- 自己回帰生成で過去トークンのKey・Value計算結果を保持し、後続トークン生成時の再計算を減らすキャッシュ。
- Speculative Decoding
- 軽量なドラフトモデル等で複数の候補トークンを先に生成し、大型モデルがまとめて検証・採択して生成を高速化する方式。
Speculative Decodingの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- Constrained Decoding / Grammar-Constrained Generation
- 生成可能なトークンや構文をスキーマ・文法・選択肢等で制約し、所定形式への適合性を高める生成方式。
Constrained Decoding / Grammar-Constrained Generationの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- frequency_penalty / presence_penalty
- 既出トークンの頻度や出現有無に応じて生成確率を調整し、同じ語句の反復や話題の偏りを抑えるための代表的な生成パラメータ。
frequency_penalty / presence_penaltyの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- スループット
- 単位時間あたりに処理できるリクエスト数・トークン数・タスク数など、システムの処理能力を表す指標。
- TPM / RPM
- Tokens Per MinuteとRequests Per Minuteの略。API等で単位時間あたりに許可・処理されるトークン数やリクエスト数を表す指標。
- Test-time Compute / Inference-time Compute
- モデル学習後の推論時に、追加の思考、複数サンプル、探索、検証等へより多くの計算資源を割り当てて性能向上を狙う考え方。
Test-time Compute / Inference-time Computeの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- Best-of-N
- 同じ入力からN個の候補を生成し、報酬モデル、Verifier、ルール、評価器等で最も良い候補を選ぶ推論方式。
- Prefill（推論フェーズ）
- LLM推論で入力プロンプト全体を処理し、Attention計算とKV Cacheの初期状態を構築する生成前の計算フェーズ。
- Decode
- Prefill後に、KV Cache等を利用しながら次トークンを逐次生成していく自己回帰推論フェーズ。
- Continuous Batching
- 生成中の複数リクエストを動的に組み替え、完了した処理の空きへ新しいリクエストを随時入れてGPU利用率とスループットを高める方式。
- PagedAttention
- KV Cacheを固定的な連続領域ではなくページ単位で管理し、メモリ断片化や無駄を減らしてLLM推論を効率化するAttention実装技術。
- Tensor Parallelism
- 一つのモデル層や行列計算を複数GPU等へ分割し、同じ層の計算を並列実行するモデル並列方式。
- Pipeline Parallelism
- モデルの層を複数デバイスへ段階的に分割し、異なるマイクロバッチをパイプライン状に処理する並列方式。
Pipeline Parallelismの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- Prefix Cache
- 複数リクエストで共通するプロンプト先頭部分の計算結果やKV Cacheを再利用し、Prefillの計算量を減らすキャッシュ方式。
- Episodic Memory
- Agentが過去の出来事、実行履歴、会話、経験等をエピソード単位で保持・検索する記憶の分類。
- Semantic Memory
- 個別の出来事ではなく、一般化された事実、概念、知識、関係等を保持する記憶の分類。
- Working Memory
- 現在のタスク遂行に必要な短期的な情報、途中結果、計画、状態等を保持する作業用の記憶領域・概念。
- Chunked Prefill
- 長い入力のPrefill計算を複数チャンクへ分割し、Decode等と組み合わせてレイテンシやGPU利用効率を改善する方式。
- AWQ
- Activation-aware Weight Quantizationの略。活性値の影響を考慮して重要な重みを保護しながらモデル重みを量子化する手法。
- GPTQ
- 学習済みモデルの重みを、精度低下を抑えながら低ビット化する代表的なPost-Training Quantization手法。
- TPOT
- Time Per Output Tokenの略。最初のトークン出力後、1トークンを生成するのに要する平均的な時間を表す推論性能指標。
- top_k
- 次トークン候補を確率上位k個へ限定し、その中からサンプリングする生成パラメータ・方式。RAGで取得件数を指すTop-k（【R】）とは別。
- min_p
- 最有力Tokenの確率に対する相対的なしきい値等を使って低確率候補を除外するサンプリング方式・パラメータ。
- Greedy Decoding
- 各生成ステップで確率が最も高いTokenを常に選ぶ決定的なデコード方式。
- Beam Search
- 複数の有望な部分系列を並行保持し、累積スコアの高い候補を探索するデコード手法。
- logprobs
- 各Token候補や生成Tokenの対数確率。候補比較、確信度分析、評価、デバッグ等に利用される。
- Data Parallelism
- 同じモデルの複製を複数GPU等へ置き、異なるData Batchを並列処理して勾配を同期する分散学習方式。
- Expert Parallelism
- MoEのExpertを複数GPU・ノードへ分散配置し、選択されたExpertへの計算を並列化する方式。