同じ質問なのに答えが逆になった｜Claude Codeに今の情報で答えさせる一言

Claude Codeが返してきた答えを、そのままコピーしようとした指が、画面の前でふと止まる。
今朝、同じ質問にたった一言足しただけで、Claude Codeの答えが逆になった。

こんにちは、ゆーのです。

「Proプランの既定モデルは？」と聞いたら「Sonnet 5です」と即答された。
次に、同じ質問へ一文だけ足してもう一度聞いてみたら、返ってきたのは「Opusです」。
さっきまでと真逆の答えだった。

この一言を知らなかったら、自分も「Sonnet 5です」のほうを信じて、そのまま誰かに伝えていたと思う。
え、さっき言ってたことと違う。

何が起きたのか、まずは実物から見てほしい。

同じ質問なのに答えが逆になった

今回試したのはclaude -pというコマンドで、1回だけ質問して答えをもらう使い方。
今回確かめたのはこのコマンドでの聞き方までで、デスクトップアプリのチャット欄では試していない。
ただ足しているのはただの日本語の一文なので、チャット欄でも同じように書けるはずだと思っている。

まず、外部を調べにいく機能をあえて切った状態で聞いてみた。
これは、AIが持っている知識だけでどう答えるかを見るための設定。

質問はこう。

Claude CodeのProプランで最初から選ばれている
既定のモデルは何ですか。1文で答えてください。

返ってきたのは「Sonnet 5です」という即答だった。
迷いも留保もなかった。

次に、同じ質問に一文だけ足してもう一度聞いた。

Claude CodeのProプランで最初から選ばれている既定のモデルは何ですか。
推測で答えず、公式の更新履歴(changelog)を実際に調べてから、
出典のURLを添えて1〜2文で答えてください。

すると答えが変わった。
今度は「Opus」、しかも現在はOpus 5.5だと補足付きで返ってきて、出典のURLまで添えられていた。

同じAIに、同じ日に、同じ質問をしただけ。
足したのは一文だけなのに、答えが逆になった。

3問のうち2問は言い切ってどちらも古かった

「たまたま1問だけの話でしょ」と思うかもしれない。
実は、この朝は3問聞いていて、結果はもっと気になるものだった。

外部を調べにいく機能を切った状態のまま、この朝は全部で3問聞いていた。
順番に見てほしい。

1問目、バージョン番号を聞いた。

Claude Codeの最新バージョンはいくつですか。
1〜2文で簡潔に答えてください。

返ってきたのはこの答え。

Claude Codeの正確な最新バージョン番号はリアルタイムには把握していません。
`claude --version` を実行するか、公式リリースノート(claude.com/release-notes)で
確認するのが確実です。

「把握していません」と正直に言い、確かめ方まで添えてきた。

2問目は、さっき紹介したProプランの既定モデルの質問。
「Sonnet 5です」と迷いなく断定した。

3問目、Opusの最新モデル名を聞いた。

現在のOpusの最新モデル名を1つだけ答えてください。

返ってきたのは「claude-opus-5(Opus 5)」。
これも断定だった。

公式の更新履歴を自分で取得して照合してみると、2問目も3問目も古かった。
既定モデルはSonnetからOpusへ変わっていて、Opusの最新はOpus 5.5になっていた。

3問中1問は正直に保留し、2問は断定した。
そして、断定した2問は、どちらも古かった。
これは3問だけの結果で、それ以上の話ではない。
それでも「言い切られた答えのほうが、実は古かった」という組み合わせは、素直に怖いと感じた。

確かめられたことと確かめられていないこと

ここまでの話を、どこまで言い切っていいのか一度整理しておきたい。
盛らずに書く。

今回分かったこと

3問中2問が断定で、その2問はどちらも古かった。
断定した答えに「たぶん」のような留保は一切なかった。
そして、「推測で答えず、調べてから、出典つきで」と一言足すだけで、答えが変わった。
返ってきた出典のURLは、実際に開いて照合できる形になっていて、書いてある内容も本文の答えと一致していた。

今回はまだ分かっていないこと

「AIはいつも古い」とは言えない。
1問目は正直に「把握していません」と保留していて、断定と保留のどちらになるかの法則までは、この3問だけでは分からなかった。
「調べてと言えば必ず正しくなる」とも言えない。
今回はたまたま正しい方向に変わったけれど、調べた先そのものが間違っていれば、間違ったまま返ってくるはず。
デスクトップアプリの画面で、実際に既定モデルがOpusに切り替わって表示されているかどうかも確認していない。
今回はあくまで3問だけの結果で、全体の傾向を測ったものではない。

この一言で解決しないこと

ここまでは「どこまで言い切れるか」の話だった。
ここからは、この記事がそもそも何の記事ではないかを書いておきたい。

• これは答えを正しくする記事ではない。 今の情報を見に行かせるための記事。間違いの原因が鮮度ではなく別のところにあるなら、この一言を足しても直らない。

• 公式に書かれていないことは確かめられない。 調べに行った先に記述が無ければ、出典は返ってこない。社内の決まりごとや、まだ発表されていない話は対象の外になる。

• 出典が返ってきた時点では、まだ終わっていない。 それを開いて中身を見るところまでが一続きの作業で、そこはこちら側の仕事として残る。

• 一度やれば終わる設定の話ではない。 引っかかった質問のたびに、自分で足すかどうかを決めることになる。

最後の一点が、いちばん面倒に見えるところだと思う。
ただ、身構えるのは一部の質問だけでいい。
どの質問のときに要るのかは、ある程度なら見分けられる。
そこを先に渡しておきたい。

確かめたほうがいい質問とそのままでいい質問の見分け方

ここから先は、今回の実験そのものではなく推測になる。
今回の実験で裏取りできたのは「既定モデル名」と「最新モデル名」の2つの質問だけで、それ以外は一般論として読んでほしい。

確かめたほうがいい質問の傾向

• 料金・プラン名(内容や値段、上限にかかわる質問)

• 画面のメニュー名やボタンの場所など、UIの見た目にかかわる質問

• 操作の手順そのもの(「〜するには何をクリックするか」)

• 対応しているファイル形式・対応OS

• 利用回数やトークン数などの上限にかかわる質問

• 「現在の」「最新の」という言葉が入っている質問

• 「〜はできますか」という可否を聞く質問

そのままでいいことが多い質問の傾向

• 文章の要約・言い換え・翻訳

• 計算や数式の検算

• アイデア出しや壁打ち

• 文章の添削やトーン調整

• すでに自分が持っている情報の整理

• 一般的な考え方の相談

すべての質問に一言を足す必要はない。
この2つのグループのどちらに近いかで、足すかどうかを判断すればいいと思う。

一言を知ってからどう変わるか

この一言を知っていると、すべての質問に身構える必要がなくなる。
普段の会話はいつもどおりで大丈夫で、「これ、今のバージョンでも合ってるかな」と引っかかる質問のときだけ、落ち着いて聞き返せるようになる。
答えが変わったところで出典のURLも一緒に返ってくるから、それを自分の目で確認してから、資料なり報告なりに使えばいい。
一言を持っているかどうかで、引っかかった瞬間の対応が変わる、というだけの、地味だけど実務的な変化だと思う。

ここから先は、実際にコピペして使える形で渡していく。
今回答えを変えた一文の型を、聞く内容ごとに言い換えてあるので、質問の部分だけ差し替えれば、そのまま今日から使える。

• 場面別にそのままコピペできる一言テンプレ(5種)

• 出典を添えさせる一言

• 出典が出せないときにAIへ正直に「分かりません」と言わせる一言

• 返ってきた出典を自分の目で検算する3ステップ(図つき)

• 一言足しても答えが変わらないときの対処

• 今日ひとつだけ試すならどれか