定義
同じ条件で同様の結果を得られる度合い。LLMはtemperature・モデル更新・提供側の処理差で同じ入力でも出力が揺らぐため、モデル版・パラメータ・入力を記録しておく。
詳しい説明
同じ条件で実行したときに、同じ、または同等の結果が得られる度合いです。生成AIは、同じ入力でも出力が揺れることがあります。temperatureなどの設定、提供元のシステムの変更、モデルの更新などが原因です。OpenAIは、APIでseedという値を固定すると出力が「ほぼ」決定的になるとしていますが、同じ出力になることを保証してはいません。
具体例
PAP Researchの定点観測では、同じ質問を各回3回ずつ実行し（3Run）、回答原文とあわせて、観測日時・アプリとOSの版・設定を記録しています。3回の結論がそろうか、どこが揺れるかを分けて見るためです。
業務での判断例
架空の例として、AIで作る月次報告の要約について、何を記録するかを決めます。
| 記録するもの | 理由 | 注意点 |
|---|---|---|
| 入力（プロンプトと資料）の全文 | 後から同じ条件で実行し直すため | 個人情報を含む場合は、保存先と保存期間を決める |
| モデル名・版・設定値 | 結果の違いが設定の違いによるものかを見分けるため | アプリでは版を選べないことがある。その場合は実行日時を必ず残す |
| 実行日時と結果 | 提供元の更新の前後を区別するため | 1回だけでなく、複数回の結果を残す |
似た用語との違い
- モデルドリフト：時間がたつにつれて、出力の傾向が変わることです。再現性は、同じ時点・同じ条件での結果のそろい方を見ます。
- 正確性：結果が正しいかどうかです。毎回同じ誤りを返す場合、再現性は高くても正確ではありません。
実務での注意点
- seedやtemperatureを固定しても、完全に同じ出力になるとは限りません。重要な用途では、複数回実行して結果の範囲を確かめます。
- OpenAIのAPIは、システムの構成を示す値（system_fingerprint）を返します。この値が変わると、同じ設定でも出力が変わることがあります。
- 試験では、入力・設定・実行回数をそろえ、1回の結果で結論を出しません。
