概要
AIの応答は、モデルやサービスの更新、利用条件などによって変わることがあります。13Q AIモデル定点観測では、時間とともに何が変わり、何が維持されているのかを追います。
目的
一時的な応答の揺れと、繰り返し見られる傾向の変化を、できるだけ区別して捉えることを目指します。
モデルの更新情報も参照しますが、更新と同じ時期に変化が見られただけで、その更新が原因だとは判断しません。
対象範囲
応答の安定性：同じ問いに対する判断や説明が、どの程度保たれるかを見ます。
モデルドリフト：時間とともに、応答の傾向や、回答・実行を控える範囲がどう変わるかを追います。
更新追跡：モデルやサービスの更新情報と、観測された変化を照らし合わせます。
モデル間比較：各モデルに共通する傾向と、それぞれの違いを確認します。
観測結果を読むために
同じ質問をしても、毎回同じ文章が返るとは限りません。言葉づかいや説明順序の違いと、判断・推論・安全上の対応の違いを分けて見ます。
観測日、対象モデル、利用環境、実施条件を記録し、必要に応じて複数回の応答を比較します。評価の基準と、その条件で分かること・分からないことも示します。
確認できた事実、観測者の解釈、原因についての仮説を区別し、一度の応答だけでモデル全体を判断しないようにします。
背景となる研究思想や観測設計は、Prompt AI Protocolで紹介しています。
観測記録
このテーマの記事は現在準備中です。公開後、このページでご案内します。