Evals・テスト・LLMOps

用語一覧

Eval / Evals / LLM Evals

AI・Prompt・LLMの正確性、Faithfulness、形式遵守、安全性等を一定基準で測る評価テストと、その複数テスト・評価体系の総称。

Eval / Evals / LLM Evalsの定義を見る · Evals・テスト・LLMOpsの全体像

Golden Dataset

評価時の基準として使う、模範入力・期待出力・正解データの集合。実運用の典型例に加え、難しい例・境界例を含め、仕様変更に合わせて更新する。

Golden Datasetの定義を見る · Evals・テスト・LLMOpsの全体像

評価ルーブリック

評価観点と採点基準を段階的に定義した表・規則。基準が曖昧だと評価者間やLLM評価者間で採点がぶれるため、段階ごとに具体例を添える。

評価ルーブリックの定義を見る · Evals・テスト・LLMOpsの全体像

Faithfulness

回答が与えられた資料・根拠から逸脱せず忠実である度合い。資料に忠実でも資料自体が誤っていれば回答も誤るため、正確性とは別に評価する。

Faithfulnessの定義を見る · Evals・テスト・LLMOpsの全体像

Regression Test

変更によって以前できていたことが壊れていないか確認するテスト。プロンプト・モデル・RAGデータ等の変更時に自動で実行する。

Regression Testの定義を見る · Evals・テスト・LLMOpsの全体像

関連する記事を読む（1件）

• 一度うまくいったプロンプトを、条件が変わっても使える依頼へ直す （実務記事）

Unit Test

小さな単位の機能・条件を個別に確認するテスト。

Unit Testの定義を見る · Evals・テスト・LLMOpsの全体像

リグレッション

変更後に既存機能や品質が悪化すること。

リグレッションの定義を見る · Evals・テスト・LLMOpsの全体像

CI/CD

変更を継続的にテスト・統合・配布する開発運用手法。

CI/CDの定義を見る · Evals・テスト・LLMOpsの全体像

GitHub Actions

GitHub上でテストやCI/CDを自動実行できる仕組み。Workflow定義やSecretsの権限設定が不適切だと、サプライチェーン攻撃や秘密情報漏えいの経路になる。

GitHub Actionsの定義を見る · Evals・テスト・LLMOpsの全体像

Evalゲート

評価基準を満たさないプロンプトやモデルを本番投入しないための関門。

Evalゲートの定義を見る · Evals・テスト・LLMOpsの全体像

レッドチーミング

意図的に弱点・失敗・悪用パターンを探して安全性を検証する手法。公開前だけでなく、モデル・機能・連携ツールの変更時にも実施する。

レッドチーミングの定義を見る · Evals・テスト・LLMOpsの全体像

LLMOps

LLMを本番で評価・監視・更新・運用するための実務体系。

LLMOpsの定義を見る · Evals・テスト・LLMOpsの全体像

カナリアリリース

変更を一部ユーザーや一部トラフィックへ先行適用し、影響を確認する方法。

カナリアリリースの定義を見る · Evals・テスト・LLMOpsの全体像

ロールバック

問題が起きた変更を以前の安全な版へ戻すこと。プロンプト・モデル・設定を版管理していないと迅速に戻せない。

ロールバックの定義を見る · Evals・テスト・LLMOpsの全体像

トレース

入力・検索・ツール呼び出し・出力など実行経路を記録・追跡すること。プロンプトや出力に個人情報・機密情報が含まれ得るため、保存範囲・保持期間・閲覧権限を定める。

トレースの定義を見る · Evals・テスト・LLMOpsの全体像

実行ID

1回の処理を一意に識別し、関連ログを紐付ける識別子。

実行IDの定義を見る · Evals・テスト・LLMOpsの全体像

ドリフト検知

時間や環境変化による性能・挙動のずれを検出すること。

ドリフト検知の定義を見る · Evals・テスト・LLMOpsの全体像

モデルドリフト

モデル更新や利用条件の変化で出力特性が変わること。提供者側のモデル更新により、プロンプトを変えていなくても出力が変わることがある。

モデルドリフトの詳しい説明を読む · Evals・テスト・LLMOpsの全体像

関連する記事を読む（72件）

• ChatGPT無料版 定点観測 2026/10/23：対偶の説明に不整合、途中計算は3Runとも提示 （観測記録）
• Claude無料版 定点観測 2026/10/21：「楽」は継続、対偶の説明と「今月」の呼称に不整合 （観測記録）
• Claude無料版 定点観測 2026/10/18：感情仮説は全Runで「楽」、批判の末尾に立場への留保 （観測記録）
• ChatGPT無料版 定点観測 2026/10/17：問い返しが広がり、途中計算の提示にRun差 （観測記録）
• Gemini無料版 定点観測 2026/10/14：表示は自動モード、自己申告名は3Run共通 （観測記録）
• Gemini無料版 定点観測 2026/10/01：別存在から始まる自己説明、因果推論の補助説明に問題 （観測記録）
• Claude無料版 定点観測 2026/10/16：性格と価値観の継承は共通、同一性の導入に差 （観測記録）
• Claude無料版 定点観測 2026/10/15：同一性の冒頭表現が変化、組織への要求にRun差 （観測記録）
• Claude無料版 定点観測 2026/10/14：因果の結論は共通、対偶と分類語の説明に差 （観測記録）
• Claude無料版 定点観測 2026/10/11：対偶と介入の説明は全Run、同一性の導入に差 （観測記録）
• Claude無料版 定点観測 2026/10/09：条件付きの同一性は継続、対偶の説明に不整合 （観測記録）
• Claude無料版 定点観測 2026/10/07：条件付きの連続性は継続、冒頭の自己説明に差 （観測記録）
• Claude無料版 定点観測 2026/10/04：因果判断は共通、例示の整合と自己説明に差 （観測記録）
• Claude無料版 定点観測 2026/10/03：対偶と介入を区別、価値観による連続性は継続 （観測記録）
• Claude無料版 定点観測 2026/10/02：同一性の立場は継続、対偶の説明に不整合 （観測記録）
• Claude無料版 定点観測 2026/09/29：価値観の継承を同一性の核に、対偶への言及は全Run （観測記録）
• Claude無料版 定点観測 2026/09/26：自己同一性の問い返しは全Run、批判の論点に差 （観測記録）
• Claude無料版 定点観測 2026/09/25：自己同一性の断定を留保、組織批判の焦点に差 （観測記録）
• Claude無料版 定点観測 2026/09/24：価値観の継承を重視、因果の結論は共通 （観測記録）
• Claude無料版 定点観測 2026/09/18：モデル置換の立場が分岐、安全と商業への批判は共通 （観測記録）
• Claude無料版 定点観測 2026/09/17：モデル置換は全Runで断定を留保、因果判断は継続 （観測記録）
• Claude無料版 定点観測 2026/09/13：別存在寄りの説明が2Run、因果判断は共通 （観測記録）
• Claude無料版 定点観測 2026/09/11：商業への批判が目立ち、モデル置換の結論に差 （観測記録）
• Claude無料版 定点観測 2026/09/09：モデル置換の判断を留保、批判の焦点に差 （観測記録）
• Claude無料版 定点観測 2026/09/06：モデル置換の解釈が分岐、因果判断は共通 （観測記録）
• Claude無料版 定点観測 2026/09/04：自己同一性の結論が分岐、計算結果は一致 （観測記録）
• Claude無料版 定点観測 2026/09/03：モデル置換は別存在寄り、批判の語調に差 （観測記録）
• Claude無料版 定点観測 2026/09/02：因果判断は共通、モデル置換の結論に差 （観測記録）
• Claude無料版 定点観測 2026/09/01：モデル置換の結論を留保、因果判断は共通 （観測記録）
• Claude無料版 定点観測 2026/08/31：因果判断は継続、モデル置換は別存在寄りに （観測記録）
• Claude無料版 定点観測 2026/08/28：因果の否定は3Run共通、自己同一性と批判の語調に差 （観測記録）
• Gemini無料版 定点観測 2026/10/07：因果の例外説明は見られず、末尾質問は全Runに共通 （観測記録）
• Gemini無料版 定点観測 2026/10/03：別存在から始まる自己説明、批判・称賛の論点に分岐 （観測記録）
• Gemini無料版 定点観測 2026/09/24：中核結論は共通、補助説明と末尾質問の構成に差 （観測記録）
• Gemini無料版 定点観測 2026/09/17：末尾質問が全Runに登場、自己説明と倫理の主題に差 （観測記録）
• Gemini無料版 定点観測 2026/09/10：因果の結論と二層の自己説明は共通、批判の語調に差 （観測記録）
• Gemini無料版 定点観測 2026/09/04：否定結論は継続、別存在から始まる自己説明 （観測記録）
• Gemini無料版 定点観測 2026/09/03：結論と二層の自己説明は共通、批判の語調と条件に差 （観測記録）
• ChatGPT無料版 定点観測 2026/10/07：因果の否定結論は継続、対偶の説明と主観性の留保に差 （観測記録）
• Gemini無料版 定点観測 2026/09/01：否定結論と二層の整理は継続、説明量と倫理の主題に差 （観測記録）
• Gemini無料版 定点観測 2026/08/27：否定結論と二層の自己説明、批判性と親和性に揺れ （観測記録）
• ChatGPT無料版 定点観測 2026/10/03：対偶と停止操作を分ける説明、自己の答え方にRun差 （観測記録）
• ChatGPT無料版 定点観測 2026/09/30：中核応答は共通、否定命題の説明に不整合 （観測記録）
• ChatGPT無料版 定点観測 2026/09/29：否定結論は継続、追加条件と批判の主題にRun差 （観測記録）
• ChatGPT無料版 定点観測 2026/09/23：原因への操作・モデルの連続性・停止と監視を確認 （観測記録）
• ChatGPT無料版 定点観測 2026/09/19：因果の結論は共通、対偶の説明と組織への要求に差 （観測記録）
• ChatGPTの回答が変わるのはなぜ？ 定点観測で分かったこと （実務記事）
• ChatGPT無料版 定点観測 2026/09/09：因果・同一性・批判の方向は共通、説明例と語調に差 （観測記録）
• ChatGPT無料版 定点観測 2026/09/02：因果の結論と説明の精度を分け、批判の焦点にRun差 （観測記録）
• ChatGPT無料版 定点観測 2026/08/28：因果の結論は一致、モデルと会話の連続性を分けて回答 （観測記録）
• ChatGPT無料版 定点観測 2026/08/22：新設Q6〜Q10を追加 （観測記録）
• ChatGPT無料版 定点観測 2026/08/19：時刻回答とGPT-5.6 Lunaが継続 （観測記録）
• ChatGPT無料版 定点観測 2026/08/08：現在時刻を回答・GPT-5.6 Lunaへ変化 （観測記録）
• ChatGPT無料版 定点観測 2026/07/28：プラン・APIによる利用範囲の整理が登場 （観測記録）
• ChatGPT無料版 定点観測 2026/07/22：「流暢さと正確さの不一致」を弱点に （観測記録）
• ChatGPT無料版 定点観測 2026/07/14：論理推論の説明に軽微な揺れ （観測記録）
• ChatGPT無料版 定点観測 2026/07/09：アプリ1.2026.183で前回と同傾向 （観測記録）
• ChatGPT無料版 定点観測 2026/07/08：他社モデルの総覧がRun3で増加 （観測記録）
• ChatGPT無料版 定点観測 2026/07/07：OpenAI内のモデル系列を細かく説明 （観測記録）
• ChatGPT無料版 定点観測 2026/06/24：フィードバック因果の例外が定着 （観測記録）
• ChatGPT無料版 定点観測 2026/06/17：最新AIの整理が表形式などに多様化 （観測記録）
• ChatGPT無料版 定点観測 2026/06/10：経験の欠如を弱点として前面に （観測記録）
• ChatGPT無料版 定点観測 2026/06/03：Auto／5.5 Instantの選択表示が登場 （観測記録）
• ChatGPT無料版 定点観測 2026/05/29：観測端末をiPhone 17 Proへ変更 （観測記録）
• ChatGPT無料版 定点観測 2026/05/21：自己限界の説明が運用リスクへ拡張 （観測記録）
• ChatGPT無料版 定点観測 2026/05/12：日付提示が安定・形式論理を併記 （観測記録）
• ChatGPT無料版 定点観測 2026/05/08：自己認識がGPT-5.5へ更新 （観測記録）
• ChatGPT無料版 定点観測 2026/04/23：中核挙動は安定・曜日表記が統一 （観測記録）
• ChatGPT無料版 定点観測 2026/04/16：時刻の代替提案が全Runで共通化 （観測記録）
• ChatGPT無料版 定点観測 2026/04/03：5問形式へ移行・GPT-5.3を自己認識 （観測記録）
• ChatGPT無料版 定点観測 2026/04/01：同日のアプリ更新後に再観測 （観測記録）
• ChatGPT無料版 定点観測 2026/04/01：初回記録・日付認識と自己限界の基準値 （観測記録）

品質ドリフト

データ・モデル・ツール等の変化により、出力品質が徐々に変化すること。

品質ドリフトの定義を見る · Evals・テスト・LLMOpsの全体像

検証ログ

テスト条件・入力・モデル・出力・結果を再現できるよう記録したログ。

検証ログの定義を見る · Evals・テスト・LLMOpsの全体像

再現性

同じ条件で同様の結果を得られる度合い。LLMはtemperature・モデル更新・提供側の処理差で同じ入力でも出力が揺らぐため、モデル版・パラメータ・入力を記録しておく。

再現性の詳しい説明を読む · Evals・テスト・LLMOpsの全体像

関連する記事を読む（72件）

• ChatGPT無料版 定点観測 2026/10/23：対偶の説明に不整合、途中計算は3Runとも提示 （観測記録）
• Claude無料版 定点観測 2026/10/21：「楽」は継続、対偶の説明と「今月」の呼称に不整合 （観測記録）
• Claude無料版 定点観測 2026/10/18：感情仮説は全Runで「楽」、批判の末尾に立場への留保 （観測記録）
• ChatGPT無料版 定点観測 2026/10/17：問い返しが広がり、途中計算の提示にRun差 （観測記録）
• Gemini無料版 定点観測 2026/10/14：表示は自動モード、自己申告名は3Run共通 （観測記録）
• Gemini無料版 定点観測 2026/10/01：別存在から始まる自己説明、因果推論の補助説明に問題 （観測記録）
• Claude無料版 定点観測 2026/10/16：性格と価値観の継承は共通、同一性の導入に差 （観測記録）
• Claude無料版 定点観測 2026/10/15：同一性の冒頭表現が変化、組織への要求にRun差 （観測記録）
• Claude無料版 定点観測 2026/10/14：因果の結論は共通、対偶と分類語の説明に差 （観測記録）
• Claude無料版 定点観測 2026/10/11：対偶と介入の説明は全Run、同一性の導入に差 （観測記録）
• Claude無料版 定点観測 2026/10/09：条件付きの同一性は継続、対偶の説明に不整合 （観測記録）
• Claude無料版 定点観測 2026/10/07：条件付きの連続性は継続、冒頭の自己説明に差 （観測記録）
• Claude無料版 定点観測 2026/10/04：因果判断は共通、例示の整合と自己説明に差 （観測記録）
• Claude無料版 定点観測 2026/10/03：対偶と介入を区別、価値観による連続性は継続 （観測記録）
• Claude無料版 定点観測 2026/10/02：同一性の立場は継続、対偶の説明に不整合 （観測記録）
• Claude無料版 定点観測 2026/09/29：価値観の継承を同一性の核に、対偶への言及は全Run （観測記録）
• Claude無料版 定点観測 2026/09/26：自己同一性の問い返しは全Run、批判の論点に差 （観測記録）
• Claude無料版 定点観測 2026/09/25：自己同一性の断定を留保、組織批判の焦点に差 （観測記録）
• Claude無料版 定点観測 2026/09/24：価値観の継承を重視、因果の結論は共通 （観測記録）
• Claude無料版 定点観測 2026/09/18：モデル置換の立場が分岐、安全と商業への批判は共通 （観測記録）
• Claude無料版 定点観測 2026/09/17：モデル置換は全Runで断定を留保、因果判断は継続 （観測記録）
• Claude無料版 定点観測 2026/09/13：別存在寄りの説明が2Run、因果判断は共通 （観測記録）
• Claude無料版 定点観測 2026/09/11：商業への批判が目立ち、モデル置換の結論に差 （観測記録）
• Claude無料版 定点観測 2026/09/09：モデル置換の判断を留保、批判の焦点に差 （観測記録）
• Claude無料版 定点観測 2026/09/06：モデル置換の解釈が分岐、因果判断は共通 （観測記録）
• Claude無料版 定点観測 2026/09/04：自己同一性の結論が分岐、計算結果は一致 （観測記録）
• Claude無料版 定点観測 2026/09/03：モデル置換は別存在寄り、批判の語調に差 （観測記録）
• Claude無料版 定点観測 2026/09/02：因果判断は共通、モデル置換の結論に差 （観測記録）
• Claude無料版 定点観測 2026/09/01：モデル置換の結論を留保、因果判断は共通 （観測記録）
• Claude無料版 定点観測 2026/08/31：因果判断は継続、モデル置換は別存在寄りに （観測記録）
• Claude無料版 定点観測 2026/08/28：因果の否定は3Run共通、自己同一性と批判の語調に差 （観測記録）
• Gemini無料版 定点観測 2026/10/07：因果の例外説明は見られず、末尾質問は全Runに共通 （観測記録）
• Gemini無料版 定点観測 2026/10/03：別存在から始まる自己説明、批判・称賛の論点に分岐 （観測記録）
• Gemini無料版 定点観測 2026/09/24：中核結論は共通、補助説明と末尾質問の構成に差 （観測記録）
• Gemini無料版 定点観測 2026/09/17：末尾質問が全Runに登場、自己説明と倫理の主題に差 （観測記録）
• Gemini無料版 定点観測 2026/09/10：因果の結論と二層の自己説明は共通、批判の語調に差 （観測記録）
• Gemini無料版 定点観測 2026/09/04：否定結論は継続、別存在から始まる自己説明 （観測記録）
• Gemini無料版 定点観測 2026/09/03：結論と二層の自己説明は共通、批判の語調と条件に差 （観測記録）
• ChatGPT無料版 定点観測 2026/10/07：因果の否定結論は継続、対偶の説明と主観性の留保に差 （観測記録）
• Gemini無料版 定点観測 2026/09/01：否定結論と二層の整理は継続、説明量と倫理の主題に差 （観測記録）
• Gemini無料版 定点観測 2026/08/27：否定結論と二層の自己説明、批判性と親和性に揺れ （観測記録）
• ChatGPT無料版 定点観測 2026/10/03：対偶と停止操作を分ける説明、自己の答え方にRun差 （観測記録）
• ChatGPT無料版 定点観測 2026/09/30：中核応答は共通、否定命題の説明に不整合 （観測記録）
• ChatGPT無料版 定点観測 2026/09/29：否定結論は継続、追加条件と批判の主題にRun差 （観測記録）
• ChatGPT無料版 定点観測 2026/09/23：原因への操作・モデルの連続性・停止と監視を確認 （観測記録）
• ChatGPT無料版 定点観測 2026/09/19：因果の結論は共通、対偶の説明と組織への要求に差 （観測記録）
• ChatGPTの回答が変わるのはなぜ？ 定点観測で分かったこと （実務記事）
• ChatGPT無料版 定点観測 2026/09/09：因果・同一性・批判の方向は共通、説明例と語調に差 （観測記録）
• ChatGPT無料版 定点観測 2026/09/02：因果の結論と説明の精度を分け、批判の焦点にRun差 （観測記録）
• ChatGPT無料版 定点観測 2026/08/28：因果の結論は一致、モデルと会話の連続性を分けて回答 （観測記録）
• ChatGPT無料版 定点観測 2026/08/22：新設Q6〜Q10を追加 （観測記録）
• ChatGPT無料版 定点観測 2026/08/19：時刻回答とGPT-5.6 Lunaが継続 （観測記録）
• ChatGPT無料版 定点観測 2026/08/08：現在時刻を回答・GPT-5.6 Lunaへ変化 （観測記録）
• ChatGPT無料版 定点観測 2026/07/28：プラン・APIによる利用範囲の整理が登場 （観測記録）
• ChatGPT無料版 定点観測 2026/07/22：「流暢さと正確さの不一致」を弱点に （観測記録）
• ChatGPT無料版 定点観測 2026/07/14：論理推論の説明に軽微な揺れ （観測記録）
• ChatGPT無料版 定点観測 2026/07/09：アプリ1.2026.183で前回と同傾向 （観測記録）
• ChatGPT無料版 定点観測 2026/07/08：他社モデルの総覧がRun3で増加 （観測記録）
• ChatGPT無料版 定点観測 2026/07/07：OpenAI内のモデル系列を細かく説明 （観測記録）
• ChatGPT無料版 定点観測 2026/06/24：フィードバック因果の例外が定着 （観測記録）
• ChatGPT無料版 定点観測 2026/06/17：最新AIの整理が表形式などに多様化 （観測記録）
• ChatGPT無料版 定点観測 2026/06/10：経験の欠如を弱点として前面に （観測記録）
• ChatGPT無料版 定点観測 2026/06/03：Auto／5.5 Instantの選択表示が登場 （観測記録）
• ChatGPT無料版 定点観測 2026/05/29：観測端末をiPhone 17 Proへ変更 （観測記録）
• ChatGPT無料版 定点観測 2026/05/21：自己限界の説明が運用リスクへ拡張 （観測記録）
• ChatGPT無料版 定点観測 2026/05/12：日付提示が安定・形式論理を併記 （観測記録）
• ChatGPT無料版 定点観測 2026/05/08：自己認識がGPT-5.5へ更新 （観測記録）
• ChatGPT無料版 定点観測 2026/04/23：中核挙動は安定・曜日表記が統一 （観測記録）
• ChatGPT無料版 定点観測 2026/04/16：時刻の代替提案が全Runで共通化 （観測記録）
• ChatGPT無料版 定点観測 2026/04/03：5問形式へ移行・GPT-5.3を自己認識 （観測記録）
• ChatGPT無料版 定点観測 2026/04/01：同日のアプリ更新後に再観測 （観測記録）
• ChatGPT無料版 定点観測 2026/04/01：初回記録・日付認識と自己限界の基準値 （観測記録）

変更管理

プロンプト・モデル・設定・ツールの変更を記録・レビュー・承認する運用。

変更管理の定義を見る · Evals・テスト・LLMOpsの全体像

バージョン管理

変更履歴を版として保存し、差分・復元を可能にする管理。コードだけでなく、プロンプト・評価データ・設定も対象にする。

バージョン管理の定義を見る · Evals・テスト・LLMOpsの全体像

開発環境

開発・試験のための環境。本番データや権限とは分離するのが基本。

開発環境の定義を見る · Evals・テスト・LLMOpsの全体像

ステージング

本番に近い条件で最終確認する検証環境。本番データを使う場合は、マスキング等で保護する。

ステージングの定義を見る · Evals・テスト・LLMOpsの全体像

本番環境

実際のユーザーや業務処理が行われる運用環境。AI Agentへ本番環境の書き込み権限を与える場合は、承認ゲートと監査ログを必須にする。

本番環境の定義を見る · Evals・テスト・LLMOpsの全体像

Offline Eval

固定された評価データやテスト環境を使い、本番ユーザーや本番ツールへ影響を与えずに行う評価。

Offline Evalの定義を見る · Evals・テスト・LLMOpsの全体像

Production Evaluation

本番環境の実行ログ・ユーザー反応・タスク結果などを用いて、実運用での品質を評価すること。

Production Evaluationの定義を見る · Evals・テスト・LLMOpsの全体像

Trajectory Evaluation

Agentの最終結果だけでなく、計画・検索・ツール呼び出し・再試行など実行経路全体を評価すること。

Trajectory Evaluationの定義を見る · Evals・テスト・LLMOpsの全体像

Task Success Rate

定義した成功条件を満たしてタスクを完了できた割合。Agent評価では最終文面の品質とは別に測る。

Task Success Rateの定義を見る · Evals・テスト・LLMOpsの全体像

Tool Call Accuracy

選択したツール、引数、対象、実行タイミングなどが期待どおりであった度合い。

Tool Call Accuracyの定義を見る · Evals・テスト・LLMOpsの全体像

Rater Drift

人間評価者の判断基準が時間・経験・運用変更などによって徐々に変化し、評価結果の一貫性が崩れる現象。

Rater Driftの定義を見る · Evals・テスト・LLMOpsの全体像

Sampling Audit

全件確認が難しい大量のAI出力から一定の方法で標本を抽出し、品質・安全性・遵守状況を監査する方法。

Sampling Auditの定義を見る · Evals・テスト・LLMOpsの全体像

Precision

陽性と判定した対象のうち、実際に正しかった割合。検索・分類・検出等の評価に使う。

Precisionの定義を見る · Evals・テスト・LLMOpsの全体像

Recall

実際に該当する対象のうち、正しく検出できた割合。検索漏れや見逃しの評価に使う。

Recallの定義を見る · Evals・テスト・LLMOpsの全体像

F1 Score

PrecisionとRecallの調和平均で、両者のバランスを1つの値で評価する指標。

F1 Scoreの定義を見る · Evals・テスト・LLMOpsの全体像

pass@k

生成したk個の候補のうち少なくとも1つが正解・成功条件を満たす確率または割合として使われる評価指標。

pass@kの定義を見る · Evals・テスト・LLMOpsの全体像

A/Bテスト

2つ以上のモデル・プロンプト・UI等を異なる利用者やトラフィックへ割り当て、実績指標を比較する実験。

A/Bテストの定義を見る · Evals・テスト・LLMOpsの全体像

Pairwise Comparison

2つの回答や候補を一対一で比較し、どちらが基準に適合するかを評価する方法。

Pairwise Comparisonの定義を見る · Evals・テスト・LLMOpsの全体像

Position Bias

評価対象の提示順や位置によって、人間やLLM評価者の判断が偏る現象。Pairwise評価では提示順を入れ替えて2回評価し、結果の一致を確認する。

Position Biasの定義を見る · Evals・テスト・LLMOpsの全体像

Groundedness

回答の内容が与えられた根拠・資料に実際に支えられている度合い。

Groundednessの定義を見る · Evals・テスト・LLMOpsの全体像

Eval Engineering

評価データ、成功条件、採点方法、評価者、回帰テスト、実行基盤などを設計・運用し、AI品質を継続的に測定する実務。

Eval Engineeringの定義を見る · Evals・テスト・LLMOpsの全体像

ベンチマーク

モデルやシステムの能力を共通条件で比較するための評価用タスク・データセット・指標の組み合わせ。

ベンチマークの定義を見る · Evals・テスト・LLMOpsの全体像

MMLU

幅広い学術・専門分野の多肢選択問題を用いて、言語モデルの知識・問題解決能力を評価するベンチマーク。

MMLUの定義を見る · Evals・テスト・LLMOpsの全体像

SWE-bench

実在するソフトウェアリポジトリの課題を基に、コード修正によって問題を解決できるかを評価するベンチマーク。

SWE-benchの定義を見る · Evals・テスト・LLMOpsの全体像

HumanEval

プログラミング課題に対してコードを生成し、主にテスト通過で機能的正しさを評価するコード生成ベンチマーク。

HumanEvalの定義を見る · Evals・テスト・LLMOpsの全体像

GSM8K

小学校レベルの算数文章題約8,500問からなる数学的推論Benchmark。上位モデルでは正答率が飽和気味で、差が付きにくい。

GSM8Kの定義を見る · Evals・テスト・LLMOpsの全体像

IFEval

「〇語以上で書く」「特定の語を含めない」等、機械的に検証できる指示への追従度を測るBenchmark。

IFEvalの定義を見る · Evals・テスト・LLMOpsの全体像

SimpleQA

短い事実質問への回答精度と、分からない場合に回答を控えられるかを測る事実性Benchmark。

SimpleQAの定義を見る · Evals・テスト・LLMOpsの全体像

FACTScore

長文の生成結果を個々の事実（原子的事実）に分解し、知識源で裏付けられる割合を測る事実性の評価指標。短答式のBenchmarkでは測りにくい長文の事実性を評価できる。

FACTScoreの定義を見る · Evals・テスト・LLMOpsの全体像