定義
モデル更新や利用条件の変化で出力特性が変わること。提供者側のモデル更新により、プロンプトを変えていなくても出力が変わることがある。
詳しい説明
提供元によるモデルの更新や、設定・利用条件の変化によって、同じ入力に対するAIの出力の傾向が変わることです。利用者がプロンプトを変えていなくても起こります。2023年の研究では、同じGPT-4でも3月版と6月版で、素数を判定する問題の正答率が84%から51%に下がるなど、短い期間で挙動が大きく変わったと報告されています。
具体例
PAP ResearchのChatGPT無料版の定点観測では、2026年8月8日の回から、現在時刻を具体的に答えるようになり、自己申告するモデル名も「GPT-5.6 Luna」に変わりました。次の回でも同じ回答が再現しました。同じ質問・同じ手順で続けて記録していたため、変化が現れた回を特定できました。
業務での判断例
架空の例として、問い合わせの分類にAIを使う部署で、出力の変化に気づいたときの扱いを決めます。
| 見えた変化 | 考えられる原因 | 確かめ方 |
|---|---|---|
| 分類の結果が1回だけ違う | 毎回の揺れ（再現性の範囲） | 同じ入力を複数回実行し、揺れの範囲内かを確かめる |
| 同じ向きの違いが続けて出る | モデルドリフトの可能性 | 提供元の更新情報と、モデル名・版の表示を確かめ、評価用の例で比べ直す |
| 設定やプロンプトを変えた直後から違う | 自分たちの側の変更 | 変更前の設定に戻して比べる |
似た用語との違い
- 再現性：同じ条件で同じ結果が得られる度合いです。1回ごとの揺れは再現性の問題で、続けて現れる傾向の変化がモデルドリフトです。
- モデルの移行：利用者が意図して別のモデルへ切り替えることです。モデルドリフトは、利用者が変えていないのに起こる変化を指します。
実務での注意点
- 1回の結果だけで「変わった」と判断しません。PAP Researchの観測でも、環境を変えていないのに、3回のうち1回だけ説明の範囲が広がったことがあります。
- APIでは、日付の付いた版を指定できる場合があります。版を固定し、新しい版へ切り替える前に、評価用の例で結果を比べます。
- 使ったモデル名・版・設定と、実行日時を記録に残します。
