ハルシネーション率が一番低かったのは、いちばん小さなAIでした

一週間前に自分が書いた記事を、読み返しました。ハルシネーション率——AIがもっともらしい嘘をつく割合——の一覧表を開いたら、いちばん低いのは10億パラメータ級の小さなモデルで、1%でした。名前を聞いたこともない小型モデルが、名だたる大型モデルを全部抜いて首位に立っています。

なぜそうなるのかは、あとで書きます。先に、なぜ私がこの表を開き直したのかから。

先週、AIの順位表について書きました。同じモデルが、見る表を変えると1位にも9位にもなる、という話です。その中で、このハルシネーション率にも触れました。あるモデルの値が39%から51%へ上がった、と。

書いたとき、私はこの数字を確認したつもりでいました。誰が測ったのか。発表元の資料に載っているのか。そこまでは調べて、載っていないことも書きました。

それでも、読み返して抜けに気づきました。51%の、分母を書いていない。

確認していたのは「誰が測ったか」までで、「どう測ったか」の中には入っていなかった。数字を確かめるというのは出どころを確かめることだと思っていましたが、それは半分でした。

分母は、全部の回答ではありませんでした

調べ直しました。この指標を出しているArtificial Analysisという調査機関の評価ページに、定義が書いてあります。

ハルシネーション率＝不正解 ÷（不正解＋部分正解＋無回答）。

正解した分は、分母に入りません。説明文にはこうあります。本来なら断るべき、あるいは知らないと言うべき場面で、どれだけ誤答してしまうか。

つまりこの数字が測っているのは、正解できなかったときに、黙っていられずに答えてしまった割合です。「答えの半分が間違い」でも「2回に1回騙される」でもない。私が先週書いた51%は、そういう数字でした。

書き方としては間違っていません。ただ、読んだ人が「半分間違えるのか」と受け取っても仕方のない出し方でした。

だから、いちばん小さなAIが1位になります

定義がわかると、冒頭の表の見え方が変わります。

ハルシネーション率の低い順に並べると、1位が10億パラメータ級の小型モデルで1%。次がCommand A+の14%、その次がGrok 4.3の16%でした。大型モデルたちは、はるか後ろにいます。

理由は、定義に立ち返ればわかります。「知りません」と言えば、この数字は下がる。 分母には無回答が入っていて、分子には入らないからです。何も答えないモデルは、限りなく0%に近づきます。

だから、この表だけを見て「いちばん正直なAI」と読むのは間違いです。正答率と並べて初めて意味が出る。同じ調査機関は正答率の表も別に出していて、そちらの首位は別のモデルです。

先週書いた「順位表は、どれが一番かを教えない」という話は、ひとつの表の中でも起きていました。

同じ物差しで、Claudeは54.9%でした

もうひとつ、先週書けなかったことがあります。比較対象です。

51%という数字だけを見ると高く感じますが、同じ物差しで他のモデルを測るとどうなるのか。Claude Fable 5は、この指標で54.9%と報じられています。上がっているほうです。

ここだけは、私も一次の表で確認できていません。調査機関のグラフが読み取れず、複数の報道が同じ数値を挙げていることを根拠にしています。裏を取りきれなかった箇所として、そのまま書いておきます。

一方で、総合の知識信頼性の指数ではFable 5が40点で1位、正答率も61%で最高です。こちらは調査機関の公式ページで確認できました。ハルシネーション率だけが高い。

たくさん答えて、たくさん当てて、外したときには黙らない。そういう振る舞いをすると、この指標は上がります。慎重さと正確さは、同じ方向を向いていませんでした。

順位表には、「断った回数」も入っていました

いちばん驚いたのは、ここです。

Kimi K3という中国製のモデルの重みが7月27日に公開され、モデルカードが読めるようになりました。ベンチマークの比較表と、その脚注が付いています。

その脚注に、こう書いてありました。ある評価では、Claude Fable 5がタスクの35%でフォールバック——別のモデルへ処理が回る動き——を起こしており、測定された成績に悪影響が出た可能性がある。これを書いているのは、競合であるMoonshot自身です。

調査機関のリーダーボードでも、Fable 5の名前の後ろに「フォールバックあり」という但し書きが付いた状態で並んでいます。

安全のために断ったり回したりする仕組みが、点数を下げる方向に働いている。 順位表の数字は、能力だけを測ったものではありませんでした。断らないモデルほど、機械的に有利になります。

同じことが、今週もう一度起きていました

数字が確かめられないまま広がる現象は、この一週間でもう一度見ました。

さきほどのKimi K3の重み公開について、事前には「ライセンスはModified MIT」「サイズは約594GB」という情報が流れていました。実物を見ると、ライセンスは独自の「Kimi K3 License」で、リポジトリの合計は1.56TB。どちらも違いました。

594GBという数字は、そもそも計算が合いません。2.8兆のパラメータを4ビットで持てば、単純計算で1.4TB前後になります。確かめずに書かれた数字は、確かめずに読まれて広がる。 私が分母を見ずに51%を書いたのと、形は同じです。

数字を確かめる、の中身が変わりました

1位のAIが、別の表では9位だったで、私は「覚えるべきは順位ではなく読み方だ」と書きました。今回わかったのは、その読み方の中に分母を見るが入っていなかったことです。

どの表か。何を測ったか。誰が測ったか。ここまでは意識していました。足りなかったのは、その次です。その割合は、何分の何なのか。

昨日は、自分が外に出した共有リンクを点検した話を書きました。今日は、自分が書いた数字を点検した話です。どちらも、確かめたつもりで確かめていなかった、という同じ形をしていました。

パーセントは、それだけで意味を持つ顔をしています。分母は、たいてい書かれていません。

あなたが最近見た「◯%」は、何分の何でしたか。

このシリーズをまとめて読む

AIを疑うでも信じるでもなく、確かめながら付き合うための記録をまとめています。