コスト・性能・キャッシュ
22語
LLMの利用で、品質・速度・費用のバランスを取るための用語です。入力・出力トークンとトークン予算、推論コスト、プロンプトキャッシュやセマンティックキャッシュ、モデルの使い分け、応答の待ち時間などを扱います。
この分野を読むポイント
すべての作業に高性能モデルが必要なわけではありません。作業の難しさに応じてモデルを振り分け、繰り返し使う指示はキャッシュを活用するなど、必要な品質を保ったまま費用と待ち時間を減らす工夫が要点です。
この分野に関連する記事
用語一覧
- LLM FinOps
- LLM利用の品質・速度・トークン費用を可視化し、経済性を最適化する運用。
- FinOps
- クラウドやIT利用費を可視化・管理し、価値とコストを最適化する実務。
- トークン
- LLMが文字列を処理する際の基本単位。料金やコンテキスト容量に影響する。
- 入力トークン
- モデルへ渡すプロンプト・履歴・資料など入力側のトークン。会話履歴・RAG資料・System Promptも毎回の課金対象になるため、長い会話や大量の資料でコストが膨らむ。
- 出力トークン
- モデルが生成する回答側のトークン。多くのAPIで入力トークンより単価が高く、推論モデルでは内部推論の分も出力側として課金される場合がある。
- トークン予算
- 1回または一定期間の処理で使用可能なトークン量・費用の上限。上限到達時の挙動（停止・要約・軽量モデルへの切替等）を事前に決めておく。
- 推論コスト
- モデルが回答生成・内部推論に要する計算資源・料金。単価だけでなく、再試行・Agentの反復回数・内部推論の量で総額が大きく変わる。
- Prompt Caching
- 繰り返し使う共通プロンプト部分をキャッシュし、コストや遅延を減らす仕組み。
- Semantic Cache（セマンティックキャッシュ）
- 質問の意味的類似性を使って過去の回答を再利用するキャッシュ方式。似ているが条件の異なる質問へ過去の回答を誤って返すリスクがあるため、類似度の閾値と対象範囲を慎重に設定する。
- モデルルーティング（Model Routing）
- タスクの難易度・コスト・速度に応じて利用モデルを振り分けること。振り分けを誤ると難しいタスクが軽量モデルへ回り品質が落ちるため、ルーティング自体も評価する。
- レイテンシ
- リクエストから応答までにかかる待ち時間。体感速度には最初の文字が出るまでの時間（TTFT）が大きく影響する。
- TTFT
- Time To First Tokenの略。最初の出力トークンが返るまでの時間。
- ストリーミング
- 回答を完成後に一括返却せず、生成された部分から順次表示する方式。出力途中の内容が出力ガードレールの検査前に表示され得るため、検査方法を設計する。
- コスト最適化
- 必要な品質を維持しながらモデル・トークン・キャッシュ等の費用を減らすこと。
- モデル性能
- 正確性・推論力・速度・対応機能などモデルの能力。公開ベンチマークの順位と自社業務での性能は一致しないため、自社のデータで評価する。
- 軽量モデル
- 速度・コストを重視し、比較的小さな計算資源で動くモデル。分類・抽出・定型変換等では高性能モデルと同等の品質が出ることも多く、評価して使い分ける。
- 高性能モデル
- 複雑な推論・精度を重視し、一般に計算量やコストが高いモデル。
- Provisioned Throughput
- 一定期間の処理容量（スループット）を予約購入し、混雑時でも安定した処理性能を確保する契約・提供形態。従量課金とは単価や最低利用量の条件が異なるため、利用量の見積もりが前提となる。〔時点依存〕
- Priority / Flex Tier
- 処理の優先度に応じて料金や応答速度が異なるAPIの提供区分。優先処理で遅延を抑える区分と、遅延や一時的な処理不可を許容する代わりに安価な区分等がある。名称・条件は提供者ごとに異なる。〔時点依存〕
- Showback / Chargeback
- AI利用コストを部門・プロジェクト・用途別に可視化して示す方式（Showback）と、実際に各部門の予算へ配賦・請求する方式（Chargeback）。
- 予算アラート
- 利用額が設定した閾値に近づいた・超えた時点で通知する仕組み。ハード費用上限と組み合わせ、想定外の費用発生を早期に把握する。
- Unit Economics（単位経済性）
- 1件の問い合わせ・1文書・1ユーザー等の業務単位あたりのAIコストと効果を比較する考え方。トークン単価だけでなく、再試行・人手確認・運用費を含めて評価する。