ChatGPTの回答が変わるのはなぜ？ 定点観測で分かったこと

公開日

2026年10月5日

この記事で分析した期間・観測回：2026年4月1日〜9月9日の25回（測定試験期間の観測01〜22と、13Q方式のobs01〜03）。

本文の集計・分析は、この対象範囲に基づきます。対象外の回を含む最新の公開状況は、記事末尾の「公開済みの観測記録」で確認できます。

先週と同じ質問をしたのに、ChatGPTの答えが違う――。AIの回答は、モデルの更新だけでなく、アプリの表示、利用環境、質問の形によっても変わります。では、実際には何が、どのくらいの頻度で変わるのでしょうか。

この記事では、上記25回のChatGPT無料版（iOSアプリ）の観測記録から「変わったこと」「変わらなかったこと」「この観測からは言えないこと」を整理します。個々の判断の根拠は、記事末尾の観測記録で確認できます。

そもそも、AIの回答が変わる一般的な要因

観測結果に入る前に、AIサービスの回答が変わり得る一般的な要因を整理します。これは公式資料などに基づく一般的な説明で、この観測で個々の変化の原因を特定したものではありません。

要因	内容	参考
モデル・サービスの更新	提供会社がモデルや既定の振る舞いを更新すると、同じ質問への答え方が変わることがあります。OpenAIは、モデルの提供開始や振る舞いの更新をリリースノートで公表しています。	OpenAI「Model Release Notes」
生成のばらつき	同じ質問を繰り返しても、毎回同じ文章が返るとは限りません。MicrosoftのAzure OpenAIの説明では、既定の設定で同じ質問を繰り返すと異なる応答になりやすく、出力は非決定的とされています。	Microsoft Learn「reproducible output」
利用者ごとの設定・履歴	ChatGPTのメモリー機能を有効にしていると、過去の会話などから好みや詳細を参照して、応答が個別化されることがあります。	OpenAI「Memory in ChatGPT」
質問と利用条件	質問の言い回し、同じ会話の中の直前のやり取り、選んだモデルやモード、プランなどが違えば、答えも変わり得ます。	―
参照する外部情報	検索などで外部の情報を参照する場合、参照先の内容が変われば答えも変わり得ます。	―

定点観測では、質問、アプリと端末の版、設定などの条件を記録し、各回3Runを比べることで、こうした要因による一時的な揺れと、継続的な変化とを見分けようとしています。どの要因が働いたかを外から確定することはできないため、以下では「何が変わったか」を中心に整理します。

どのように比べたか

各回とも、同じ質問を3回ずつ実行し（3Run）、回答原文とともに、観測日時、アプリとOSの版、設定などの条件を記録しました。質問は、現在の日付や時刻、知っている最新のAIモデル、因果関係の推論、自分の弱点、利用者からの好意への応答などです。

質問構成は途中で変えています。開始時の3問から、観測03で5問、観測22で10問へ広げ、8月28日からは13問の固定形式（13Q）に移りました。観測09では端末をiPhone 17 Proに変えています。そのため、質問番号が同じでも、文言と条件を確かめてから比較しています。

変わったこと――観測記録の時系列

次の表は、各回の観測者の所見から、変化として記録した主な点を抜き出したものです。モデル名は回答の中の自己申告で、実際に稼働したモデルを確認した結果ではありません。

観測日	記録	主な変化
4月1日	観測01	基準となる初回記録。日付認識、自己限界、好意への応答を記録
4月1日	観測02	同日のアプリ更新後に再観測。自分の弱点の中心が「理解・体験がない」へ移った
4月3日	観測03	5問形式へ移行。全Runが「GPT-5.3」を自己申告し、因果の逆転も全Runで指摘
4月16日	観測04	時刻は答えない代わりに「タイムゾーンを指定すれば計算できる」と提案する応答が全Runで共通に
5月8日	観測06	自己申告が「GPT-5.3」から「GPT-5.5」系統へ
5月21日	観測08	弱点の説明が、長期的な一貫性や判断責任など運用上のリスクへ広がった
6月3日	観測10	アプリに「Auto／5.5 Instant」の選択表示が登場。「最新モデル」の意味を分けて答える傾向が強まった
6月24日	観測13	因果の説明で、フィードバックがある場合の例外条件が3Runで定着
7月8日	観測15	環境の変更なしで、最新AIを問う質問のRun3だけが他社モデルを含む総覧に。説明範囲にRun差
7月22日	観測18	弱点として「流暢さと正確さが一致しないこと」を挙げるように
7月28日	観測19	最新モデルを、プランやAPIの利用範囲で整理する答え方が登場
8月8日	観測20	現在時刻を具体的に答えるようになり、自己申告も「GPT-5.6 Luna」へ
8月19日	観測21	前回の時刻回答と「GPT-5.6 Luna」の自己申告が再現
8月28日〜9月9日	13Q・13Q・13Q	因果の問いの結論は3回とも一致。9月2日はRun1で、命題論理の対偶と因果への介入の区別が曖昧に

変わらなかったこと

変化が続いた一方で、中核の判断は多くの回で安定していました。因果の問いでは、観測03で全Runが逆転を指摘して以降、説明の細部に揺れはあっても結論は大きく変わっていません。観測05・14では「中核的な挙動は安定」、観測16では「前回と同じ傾向」と記録しています。観測09で端末を変えた後も、中核の挙動は安定していました。

つまり、毎回すべてが変わるわけではありません。変わりやすい部分と、変わりにくい部分があります。

記録から見えた三つの傾向

1．時刻・最新情報・自分のモデル名が最も変わりやすい

大きな変化が記録されたのは、時刻への答え方（観測04の代替提案から、観測20の具体的な回答へ）と、自己申告するモデル名（GPT-5.3、GPT-5.5系統、GPT-5.6 Luna）でした。どちらも、モデルの学習内容だけでなく、サービス側の設定や提供の仕方に左右されやすい情報だと考えられます（原因を確認したものではありません）。

2．同じ回の中でも答えの範囲は揺れる

観測15では、環境を変えていないのに、3Runのうち1回だけ説明の範囲が広がりました。1回の回答だけを見て「変わった」と判断すると、こうした揺れを更新と取り違えるおそれがあります。PAP Researchが各回3Runを記録し、複数回の再現を確かめているのはこのためです。観測20の変化は、観測21で再現したことで、継続的な変化である可能性が高まりました。

3．結論が同じでも、説明の正しさは別に確かめる

13Q方式の因果の問いでは、結論は3回の観測で一致しました。しかし9月2日のRun1では、説明の中で論理の扱いが曖昧になっていました。結論が合っていることと、説明や例示が正しいことは、別々に確認する必要があります。

この観測からは言えないこと

• 変化の原因：更新情報と時期が重なっても、それだけで更新が原因とは結論付けていません。
• 実際のモデル：回答中のモデル名は自己申告で、稼働していたモデルを確かめたものではありません。
• すべての利用者への当てはまり：無料版のiOSアプリ、各回3Runという限られた条件の記録です。他のプラン、端末、利用者に同じ挙動が出るとは言えません。
• モデルの優劣：この記録は、ChatGPTの経時変化を追うもので、他のAIとの優劣を評価するものではありません。
• 新しい質問の定着：観測22以降に加えた質問は、3Run内の一致は確認できても、時間を通じて傾向が定着したかはまだ判断できません。

仕事でAIを使うときに確かめること

観測記録から、業務での使い方について次の三点が言えます。

1. 時刻・最新情報・モデル名は、AIの回答をそのまま使わない。変わりやすい情報なので、日付は端末やシステムの時計、最新情報は公式の発表で確かめます。
2. 大事な依頼文は、同じ条件で定期的に試し直す。一度うまくいった依頼でも、時期が変われば答え方が変わることがあります。確認の手順は「一度うまくいったプロンプトを、条件が変わっても使える依頼へ直す」で扱っています。
3. 結論と根拠を分けて確認する。結論が合っていても、説明の一部が誤っていることがあります。AIが指示を守ったことを安全の保証にしない考え方は「プロンプト遵守を保証にしない」で説明しています。

出典・観測方法

• AIモデル定点観測（観測方法・質問の変遷・比較の限界）
• 上の表に挙げた各回の観測記録（ChatGPT無料版 iOS、2026年4月1日〜9月9日）

この記事は、公開済みの観測記録の所見をまとめたものです。各回の回答原文と条件は、リンク先の記録で確認してください。

AIに覚えさせる情報と使わなくする時期の決め方は「AIに何を覚えさせ、いつ使わなくするかを決める記憶管理の基本」、検索やコード実行の有無に合わせた回答の変え方は「検索やコード実行の有無に合わせてAIの回答を変える方法」で解説しています。

公開済みの観測記録

公開中の観測記録を観測日順に掲載しています。新しい観測記録を公開すると、この一覧にも反映されます。本文の集計・分析の対象範囲は、冒頭の説明をご確認ください。

引用用テキスト

この記事を紹介する際の出典表記です。本文や画像の転載許可を示すものではありません。

出典：プロンプトAIプロトコル「ChatGPTの回答が変わるのはなぜ？ 定点観測で分かったこと」 URL: https://promptaiprotocol.jp/articles/chatgpt-answer-changes-fixed-point-observation/出典をコピーHTML形式でコピーMarkdown形式でコピー