「材料だけで」と頼んだら、Opus 5.5は原典を見に行きました

Claude Opus 5.5が出ました。Anthropicの発表は現地時間の9月22日です。

正直に書くと、私はOpus 5で十分満足していました。7月にOpus 5が来た日のことも記事にしています（前回の記事はこちら）。

それでも発表を読んで、早速この記事を作っている会話のモデルを切り替えました。目に留まったのは「Opus 5より40%安く動く」という一文です。同じくらいの出来で使う量が減るなら、歓迎です。ただ、私は月額のプランで使っていて、トークンごとの値段を払っているわけではありません。40%安いは、私の画面のどこに出てくるのか。そこから確かめることにしました。

「40%安い」は、誰の財布の話なのでしょうか

発表を読むと、40%には2つの理由が重なっていました。1つは単価で、100万トークンあたり入力は5ドルから4ドル、出力は25ドルから20ドルと、どちらも20%下がりました。もう1つは、1つの作業を終えるまでに使うトークンそのものが減ったことです。この2つが重なって、典型的な作業で40%という計算です。

比べ方にも条件があります。40%は既定の設定どうしの比較で、考える深さ（Effort）の既定はOpus 5.5が「中」、Opus 5が「高」です。アプリで確かめても、そのとおりでした。

では、月額で使う人には何が届くのか。発表の後半に、Pro・Max・Teamなどのプランで5時間ごとの利用上限を引き上げること、好きなときに使える上限のリセットを配ることが書かれていました。月額の利用者には、請求額ではなく、使える量として届くわけです。

同じ依頼を、8回出してみました

とはいえ、発表の数字はAnthropicが自分で測ったものです。そこで、自分の使い方に近い依頼で試しました。

依頼は、noteの記事の段落を1つ書いてもらうものです。材料として、9月22日の記事で使った博報堂買物研究所の調査の数字を6つ渡し、私がふだん使っている書き方のルールを添えました。数字は算用数字で書く、「〜することができます」などの硬い表現は使わない、材料にない数字や事実を足さない、といったルールです。依頼文は、この記事を一緒に作っているClaudeに作ってもらいました。

条件は次のとおりです。

• モデル：Opus 5とOpus 5.5

• 考える深さ：中と高

• 回数：各条件2回、計8回

• 毎回、プロジェクトの外で新しいチャットを開き、同じ依頼文を送る

最初は、それぞれの既定の設定どうしで比べるつもりでした。途中で既定の考える深さが2つのモデルで違うと気づき、同じ設定どうしでも比べられるよう、4つの組み合わせすべてで測りました。

回答はClaudeに渡し、文字数とルール違反を機械で数えてもらいました。

書き方のルールは、8回とも守られていました

最初に確かめたのは、ルールが守られたかどうかです。

Anthropicは今回の発表で、Opus 5.5は渡した書き方のルールに従う、と改善点に挙げていました。Opus 5の文章によく寄せられた声への対応だとも書いています。

結果は、差が出ませんでした。禁止した表現は8回中8回で0件、漢数字も8回中8回で0件です。段落の長さも339字から411字の間に収まり、モデルによる違いは見えませんでした。少なくとも今回の依頼では、Opus 5もルールを守っていました。

「材料だけで」と頼んだのに、Opus 5.5は裏取りをしていました

違いが出たのは、段落の後ろでした。

Opus 5.5は4回中4回、材料の数字を博報堂の発表と照らし合わせたと書き、そのうえで段落に少し手を入れていました。「買い物で生成AIを使う人は全体の24.6%」「その人たちに使い道を聞くと」といった書き足しです。

これには理由がありました。この調査は2段階で、24.6%は2万人全体に対する割合です。残りの5つの数字は、買い物でAIを使う人1,276人だけに聞いた結果です。材料にはこの区別が書かれていなかったので、そのまま並べると、全体の傾向のように読めてしまいます。Opus 5.5はそれを避けるために、対象の範囲を書き足したと説明していました。原典でも確かめましたが、この説明は合っていました。

Opus 5は4回とも原典には当たらずに書き、うち3回は「公開前に原典で確かめてください」と私に委ねていました。

材料から分母を落としていたのは、依頼文を作ったClaudeです。そのClaudeは、この記事づくりに使っている会話で、発表の当日にOpus 5.5へ切り替えていました。つまり、要約する側のOpus 5.5が分母を落とし、確かめる側のOpus 5.5がそれを拾ったことになります。しかも9月22日の記事を書いたときには、同じ箇所をレビューで直していました（その記事はこちら）。

Opus 5.5は、材料の外へ何でも広げていたわけではありません。中の1回目は、同じ調査に「最終判断もAIに任せたい」という結果があることに触れたうえで、こう書いていました。「材料にないので使っていません」。対象の範囲を正すための書き足しと、新しい数字を足すことを、分けて扱っていたわけです。

7月には、自分が書いたハルシネーション率の分母を書いていなかったことに気づいて、記事にしました（分母を調べ直した記事はこちら）。あのとき足りなかったのは「その割合は何分の何か」でした。今回、それを先に見に行ったのはAIのほうでした。

画面の文字は、2倍近くに増えていました

では、トークンは減ったのでしょうか。

回答全体の文字数を数えると、既定の設定どうし（Opus 5は高、Opus 5.5は中）の平均で、Opus 5は約516字、Opus 5.5は約861字でした。Opus 5.5のほうが約1.67倍長いのです。同じ設定どうしでも、中で約1.43倍、高で約2.44倍でした。差の大半は段落ではなく、その後ろの照合結果の説明です。

ただし、これで「トークンが減る」が外れたとは言えません。考える過程や検索の中身は画面に出ないので、見えている文字数はトークンの総量ではありません。依頼も1種類で、各条件2回しか試していません。言えるのは、この依頼では、Opus 5.5は確かめる作業に手間を使い、その結果を書いて返してきた、というところまでです。

私にとっての40%は、まだ数字になっていません。ただ、「材料だけで」と頼んだ依頼の中で、確認が1つ増えたことは確かでした。

「材料だけで」と頼んだとき、その材料のほうが間違っていたら、あなたはAIにどうしてほしいですか。

AIと、正しく付き合うために

AIを疑うでも信じるでもなく、確かめながら付き合うための記録をまとめています。