Evals・テスト・LLMOps
101語
2ページ目：51〜100語目を掲載しています。 分野の概要と最初の用語は1ページ目
用語一覧
- BLEU
- 生成文と参照文のn-gram一致を中心に、主に機械翻訳の品質を評価する自動指標。
- ROUGE
- 生成要約と参照要約の語句・n-gram等の重なりを用いて、主に要約品質を評価する指標群。
- Exact Match（EM）
- モデルの出力が正解と完全一致した割合を測る指標。数値・選択肢・抽出タスク等で使われ、表記ゆれや書式差に厳しいため正規化ルールを事前に定める。
- BERTScore
- BERT等の文脈Embeddingを用いて、生成文と参照文の意味的な類似度を測る評価指標。語の一致に依存するBLEU・ROUGEより言い換えに寛容。
- Perplexity
- 言語モデルがデータをどの程度予測しやすく捉えているかを表す確率的指標。一般に低いほど予測適合度が高いが、異なるTokenizer等をまたぐ単純比較には注意が必要。
- Accuracy
- 評価対象全体のうち、正しく予測・判定できた割合。該当例が少ない不均衡データでは、すべて「該当なし」と判定するだけで高い値になるため、Precision・Recallと併せて評価する。
- 混同行列
- 分類結果を真陽性・偽陽性・真陰性・偽陰性などに分け、誤りの種類を整理する表。
- AUC
- ROC曲線等の下側面積を用いて、分類モデルの識別性能をしきい値全体で評価する指標。
- Verbosity Bias
- 人間やLLM評価者が、内容の質とは独立に長い回答を高く評価しやすくなる評価バイアス。
- Dangerous Capability Evaluation
- サイバー、CBRN、欺瞞、自己増殖等の重大リスクへ結び付き得る高度な能力を、事前に測定・検証する安全評価。
Dangerous Capability Evaluationの定義を見る · Evals・テスト・LLMOpsの全体像
- pass^k
- 同じタスクをk回実行したとき、すべての試行が成功する確率・割合を見る指標。少なくとも1回成功すればよいpass@kとは異なり、一貫した信頼性を測る。
- MLOps
- 機械学習モデルの開発、学習、配備、監視、再学習、版管理などを継続的に運用する実務体系。
- LMArena（旧Chatbot Arena）
- 複数モデルの回答を匿名で比較し、人間のPairwise評価を集計してAIモデルの品質・信頼性を比較する評価プラットフォーム。UC Berkeley / LMSys系の研究プロジェクト「Chatbot Arena」からLMArenaへ改称・発展した。〔時点依存〕
- Elo Rating / Win Rate
- Pairwise比較の勝敗からモデルの相対的な強さを推定するレーティング方式（Elo、Bradley-Terryモデル等）と、比較対象に対して勝った割合（Win Rate）。LMArena等のリーダーボードで使われる。
- MT-Bench
- 複数ターンの指示追従・対話能力を評価するために使われるベンチマーク。
- Arena-Hard
- 難度の高い対話プロンプトを用い、主にモデル間の応答品質を比較するベンチマーク。
- Data Contamination
- 評価問題や正解が学習データへ混入し、実力以上にベンチマーク性能が高く見える問題。公開ベンチ汚染を含む上位概念。
- Benchmark Saturation（ベンチマーク飽和）
- 多くのモデルが上限付近のスコアに達し、Benchmarkがモデル間の差を識別できなくなる状態。Data Contaminationと並び、公開Benchmarkの限界として扱われる。
- Brier Score
- 確率予測と実際の結果との差を二乗誤差で測る指標。確率の正確さと校正を評価する際に使われる。
- Expected Calibration Error（ECE）
- 予測確率を区間に分け、表明した確信度と実際の正解率のずれを集計する代表的な確信度校正指標。
Expected Calibration Error（ECE）の定義を見る · Evals・テスト・LLMOpsの全体像
- Cohen’s Kappa
- 2名の評価者等の一致度について、偶然一致を差し引いて評価する統計指標。
- Krippendorff’s Alpha
- 複数評価者・欠損を含む評価データ等で、評価者間の一致度を測る統計指標。
- Bootstrap
- 観測データから復元抽出を繰り返し、統計量のばらつき、信頼区間、差の安定性等を推定する再標本化手法。
- Hallucination Rate
- 評価対象の回答のうち、根拠のない情報や誤った事実を含む割合を測る評価指標。定義・判定基準の明示が必要。
- Answer Relevancy
- 回答が質問の意図や要求へどの程度直接関係し、不要な逸脱が少ないかを評価する観点。
- Retrieval Precision
- 検索で取得した候補のうち、実際に関連する文書・チャンクが占める割合を評価する指標。
- RAGAS
- RAGのFaithfulness、Answer Relevancy、Context Precision等を評価するために使われるオープンソースの評価フレームワーク。
- TEVV（Test, Evaluation, Verification and Validation）
- AI等のシステムをテスト、評価、検証、妥当性確認の複数観点から確認する活動・枠組みの総称。
TEVV（Test, Evaluation, Verification and Validation）の定義を見る · Evals・テスト・LLMOpsの全体像
- GPQA
- 大学院レベルの科学分野を中心とする難度の高い多肢選択問題を用いて、モデルの知識・推論能力を評価するベンチマーク。
- Humanity’s Last Exam（HLE）
- 幅広い専門分野の高難度問題を集め、高能力AIの知識・推論性能を評価するためのベンチマーク。
- ARC-AGI
- 抽象的な入出力例から変換規則を推測する課題群を用い、汎化・推論能力を評価するベンチマーク。
- OSWorld
- 実際のデスクトップOSやアプリケーション上でGUI操作タスクを実行し、Computer Use型Agentの能力を評価するベンチマーク。
- GAIA
- Web閲覧・ファイル読解・ツール利用等を組み合わせて解く実世界の質問で、汎用AIアシスタントの能力を測るBenchmark。人間には比較的容易な問題で、AIとの差を見る設計となっている。
- WebArena / BrowseComp
- 実在サイトを模した再現環境でWeb操作タスクの達成度を測るBenchmark（WebArena）と、Web上で見つけにくい情報を粘り強く探索して特定する能力を測るBenchmark（BrowseComp）。Web Agentの評価に用いられる。
- τ-bench（tau-bench）
- 業務ルールやツール利用を伴う対話型タスクを用いて、Agentの一貫したタスク遂行能力を評価するベンチマーク。
- METR Time Horizon
- AI Agentが人間なら一定時間を要するソフトウェア等のタスクをどの長さまで一定成功率で完了できるかを見る能力評価の考え方・指標。
- Model Registry
- 利用可能なモデル、Version、所有者、評価結果、承認状態、配備先等を一元管理する登録基盤。
- Experiment Tracking
- 学習・評価・Prompt・Parameter・Dataset・結果等を実験単位で記録し、比較・再現できるようにする管理。
- Promptfoo
- Prompt、Model、RAG、Agent等の出力をTest Case・Assertion・Red Teaming等で評価し、CI/CDへ組み込むために使われるオープンソース評価ツール。
- DeepEval
- LLMアプリケーションの回答品質、RAG、Agent等を自動評価するためのオープンソース評価フレームワーク。
- garak
- 生成AIの脆弱性や安全上の弱点を探索するオープンソースのLLM脆弱性スキャナ／Red Teaming toolkit。複数の攻撃Probeや評価Detectorを組み合わせて利用する。
- PyRIT
- Microsoftが公開する生成AI向けのRisk Identification・Red Teaming framework。攻撃Promptの生成、会話履歴、Scoring、複数Endpointへの試験等を自動化する。
- Inspect AI
- UK AI Security Instituteが開発するLLM評価framework。Prompt、Tool利用、Multi-turn、Model-graded evaluation等を組み合わせ、再現可能な評価を構築・実行する。
- HELM
- Stanford CRFMが提供するFoundation ModelのHolistic Evaluation framework。複数のScenario・Metric・Modelを共通条件で比較し、透明性・再現性を重視したLeaderboardを提供する。
- SWE-bench Verified
- SWE-benchのうち、課題記述やTestの妥当性を人手で検証した500件のSubset。実RepositoryのIssueをCode修正で解決する能力をより信頼性高く評価するために使われる。
- Terminal-Bench
- AI Agentが実際のTerminal環境でEnd-to-EndのSystem・Coding Taskを遂行できるかを評価するBenchmark。Sandbox内でCommand実行や環境構築等を行う。
- Uplift Evaluation
- AIを利用した人間・Agentが、AIなしのBaselineと比べて危険・高度なTaskをどの程度容易・高精度に実行できるようになるかを見る評価観点。Dangerous Capability Evaluationで用いられる。
- Online Evaluation
- 本番または本番に近いTraffic・User Interactionを使い、AI Systemの品質、安全性、Task Success、Latency等を継続評価する方法。Offline Evalと対比される。
- Eval-driven Development
- 成功条件やEvaluationを先に定義し、Model、Prompt、RAG、Agent等の変更をEval結果で反復改善する開発手法。
- Golden Trace
- Agentの理想的または既知良好なTrajectoryを基準Traceとして保存し、Tool選択、順序、State遷移等のRegression評価に利用する参照データ。