1位のAIが、別の表では9位だった -- Kimiのランキングに思うこと --

同じAIが、ある表では1位で、別の表では9位でした。どちらも今月の数字です。

先日、Claudeの上位モデルの提供条件が変わった話を書きました（前回の記事はこちら）。

そのとき私は記事の終わりのほうで「一社に依存しすぎないように」といったことを書いています。書いた直後に、自分でひっかかりました。では、他を見るときの基準は何なのか。私はそれを持っていませんでした。

ちょうど中国のMoonshot AIが新しいモデルを出したところでした。7月16日に公開されたKimi K3です。ニュースの見出しには「Claudeを上回った」といった言葉が並んでいました。いい機会だと思って、順位表を見に行きました。

そこで戸惑うことになります。

順位表を見に行ったら、順位が3つあった

Kimi K3の順位は、見る表によってまったく違いました。

LMArenaというサイトのフロントエンドコーディング部門では1位です。前世代のK2.6が18位だったので、17ランクの上昇でした。Claude Fable 5を抜いています。

一方、Artificial Analysisという評価機関の総合知能指数では3位から4位あたり。Fable 5とGPT-5.6 Solの後ろにつけていますが、Claude Opus 4.8はわずかに下回っています。

そして同じLMArenaでも、テキスト全般を扱う部門では9位でのデビューでした。その後6位まで上がっていますが、いずれにせよ1位ではありません。

同じモデルの、同じ週の数字です。それでも1位にも9位にもなる。

考えてみれば当たり前のことでした。フロントエンドのコードを書く力と、文章のやりとりの自然さと、幅広い知識の正確さは、別々の能力です。それぞれを別々に測れば、順位が違って当たり前です。

でも私は、順位表というものを「強さの順に並んだ一本の列」だと思い込んでいました。ニュースの見出しが「〇〇を上回った」と書くとき、どの表の話なのかを気にしたことがありませんでした。

正答率が上がったのに、嘘も増えていた

もっと戸惑ったのは、次の数字です。

AA-Omniscienceという、知識の正確さとハルシネーション（AIがもっともらしい嘘をつくこと）を測る評価があります。ここでのKimi K3の結果はこうでした。

正答率は、前世代の33%から46%に上昇。13ポイントの改善です。

ところが、ハルシネーション率も39%から約51%に上昇していました。

最初に見たとき、意味がわかりませんでした。正しく答えられるようになったのに、嘘も増えている。矛盾しているように見えます。

なぜこうなったのか、理由は説明されていません。Moonshotも第三者機関も、そこには触れていない。分かるのは結果だけです。当たる回数が増えたと同時に、堂々と外す回数も増えた。

この数字自体、独立した第三者機関が測ったもので、Moonshot自身の発表資料には載っていません。作った側の資料には強みが並び、弱点は外部の評価で見えてくる。両方見ないと分からないのだと、あらためて思いました。

この感触には、覚えがありました。少し前に、好きな曲の歌詞をAIに尋ねたときのことです（そのときの記事はこちら）。

あるAIは、実在しない歌詞を、作詞者の名前まで添えて堂々と出してきました。私はその曲のファンだったので、すぐに違うと気づけました。

でも、気づけたのはその歌詞を私が詳しかったからです。詳しくない分野だったら、あのまま生成AIが作成した嘘の歌詞を信じていたと思います。

51%という数字は、あのときの危うさが測定された姿でした。二回に一回、堂々と外す。私が個人の体験として感じた不安が、そのまま統計になっていました。

それで、私はどう選べばいいのか

ここまで見て、最初の問いに戻ります。一社に依存しないために、私は何を基準にすればいいのか。

順位表を3つ見て分かったのは、順位表は「どれが一番か」を教えてくれないということでした。教えてくれるのは「どの用途でどれが強いか」だけです。

だとすれば、順番が逆でした。順位表を見てから使い道を考えるのではなく、自分の用途を先に決めないと、そもそもどの表を見ればいいかが分からない。

私がAIに頼んでいることを思い返すと、大半は文章を書くことと、考えを整理することです。コードを書くこともありますが、フロントエンドの見た目を作る仕事はほとんどありません。だとすると、フロントエンドコーディング1位という情報は、私にとってはあまり意味を持たない。

むしろ私が気にすべきは、事実の正確さのほうです。記事に数字を書く以上、堂々と外されるのはいちばん困ります。そう考えると、私にとって読むべき表は、コーディングの順位ではなく知識の正確さの評価でした。

同じ順位表を見ても、フロントエンドのエンジニアなら別の結論になるはずです。それでいいのだと思います。

もうひとつ、順位とは別軸で気になった点があります。Moonshotはこのモデルの中身そのものを、7月27日までに誰でもダウンロードできる形で公開すると表明しています。実現すれば、公開されたものとしては過去最大の規模になります。一社の提供条件に振り回された経験を持つ身としては、この動きは順位以上に大きいかもしれません。ただし現時点ではまだ「予定」で、実際に出てくるまでは分かりません。

そして順位は変わり続けます。今回調べている数日のあいだにも、Kimi K3のテキスト部門の順位は9位から6位に動いていました。今日の1位は来月の3位かもしれません。順位そのものを覚えることには、あまり意味がなさそうです。

覚えておくべきなのは、順位ではなく読み方のほうでした。どの表なのか。何を測った数字なのか。誰が測ったのか。

「AIは間違えることがある」という話は、これまで何度か書いてきました。今回わかったのは、そのもう一歩手前のことです。そもそも「どれだけ間違えるか」という数字自体が、どの評価で測ったかによって変わる。ハルシネーション率が51%というのも、あの評価方法で測ったときの数字であって、絶対的な性能ではありません。そして、どの数字が自分に関係あるかは、自分の用途を知らないと決められない。

順位表は、答えを教えてくれる表ではありませんでした。自分の用途を先に持っている人だけが、読める表でした。

あなたがAIに頼んでいることは、どの表に載っているでしょうか。

参考にした資料

Artificial Analysis「Kimi K3」評価ページ https://artificialanalysis.ai/models/kimi-k3

Artificial Analysis「Kimi K3 achieves #3 in the Artificial Analysis Intelligence Index」 https://artificialanalysis.ai/articles/kimi-k3-achieves-3-in-the-artificial-analysis-intelligence-index-comparable-to-opus-4-8-and-gpt-5-5

LMArenaの順位は、Arena.aiが2026年7月16日から17日にかけて公表した値によります。

この記事は、マガジン「AIと、正しく付き合うために」に収録しています。AIを使ううえで迷ったこと、確かめたこと、考え直したことを書きためています。