「AIは固有名詞を破壊する」と俺は予言した。4つのAIで答え合わせしたら、見事に外れた😨

こんにちは黒パグです🐾

このシリーズ、前夜にいくつか予言を立てました。本番が始まる前に「たぶんこうなる」と書いた。今日はその答え合わせです。

先に言っておくと、けっこう外しました。でも外れた先に出てきたものの方が面白かったので、むしろ書く気になった、という回です。

ここまでのあらすじ（3行）

5/26、本番前夜にGemini Flashを覗き見して「3つの持病」を見つけた
持病のひとつが「うちのキャラが有名SF悪役の名前に吸い込まれる病」だった
本番が始まったので、4つのAIで同じ原文を訳させてガチ採点した。さて、予言は当たったか

前夜の記事を読んでない方へ。LLM48のキャラ「幕島翔子（まくしま・しょうこ）」を英訳させたら、Makishimaになって返ってきたんです。Makishima。あの目つきの悪いインテリ悪役の方。翔子ちゃん、JKなのに思想犯にされた。Makushimaが Makishima、母音ひとつの差で別人です。

これを見て黒パグはこう書いた。「AIは固有名詞を、近くにある"よく見る名前"に吸い込む。データ重力だ」と。さらに「本番のバッチ翻訳は対話モードより劣化するはず」とも予言した。

で、本番が来た。答え合わせの時間です。

予言①「固有名詞は吸い込まれる」→ 外れ

4つの経路を用意しました。note本番の自動翻訳、Geminiに素で「翻訳して」、GPT-5に素で「翻訳して」、Claudeに素で「翻訳して」。どれがどのAIか伏せて、翻訳業界の物差し（MQMという国際標準）で採点し、別のAIにも独立で採点させた。手続きのガチな話は巻末PDFに全部置きます。

結果。

翔子ちゃん、4経路ぜんぶ Makushimaのまま守りきった。誰も思想犯にしなかった。

拍子抜けです。あれだけ「吸い込まれる！データ重力だ！」と騒いだのに、普通に一回訳すぶんには、どのAIもちゃんと踏みとどまる。前夜に観測した「吸い込み」は、実は別の特殊な使い方でだけ起きてた。同じ訳を何度もループさせる、高負荷の経路。あれです、前にやった「翻訳を繰り返したら文明が逆走した」やつ。あのループの中でだけ、翔子ちゃんは時々召喚されてた。

普通に使うぶんには、名前は壊れない。予言①、外れました。

ついでに、別記事に仕込んでた完全な造語（SANDAL。サンドボックスうんぬんの長いアクロニム）も全経路で無傷。オチも英語で生きてた。

予言②「本番バッチは劣化する」→ これも外れ

前夜、こう書いた。「今日測ったのはGemini Flashの対話モードの上限値。本番はバッチで動くから、これより劣化する可能性が高い」。

逆でした。

note本番の翻訳は、4つの中で上位に食い込んだ。全部の節をちゃんと完訳して、可読性も高くて、安定してた。むしろ本番のほうが行儀がよかった。劣化どころか、優等生。

予言②も外れ。我ながら、外し方が清々しい。

予言が外れた先で出てきたもの

じゃあ一番ダメだったのは誰か。

Gemini素（採点上System Bと呼んでた）でした。こいつだけ採点がぶっちぎりで悪い。中身を見たら、後半をまるごと飛ばしてた。対策の節も、免責も、おまけも、消えてる。「ここ省きました」の一言もなく、無言で。

しかも、ここが今回いちばん背筋が寒かったところなんですが――Bの訳文、4つの中で一番読みやすかった。一番きれいな英語で、一番"よくできてる"感があった。原文と並べない限り、半分消えてることに気づけない。むしろ「お、このAIうまいな」と思う。読みやすさが、欠落を隠してた。

エラーを吐いて止まるAIは、まだ親切なんですよ。止まれば気づくから。厄介なのは、何事もなかった顔で機能を落とすやつ。前夜に見つけた「大げさ病」「キャラ付け病（Mr. Shiro事件、覚えてます？）」とは種類が違う。あれは"間違える"バグ。こっちは"こっそり消える"バグ。質が悪い。

俺は固有名詞のバグを追ってたつもりが、ぜんぜん別の場所に落とし穴があった。

おまけ：名前は4タイプに分かれた


検証してて面白かったのが、固有名詞ってひとくくりにできないことです。振る舞いで4種類に割れた。
タイプ どうなるか 例
実在キャラに似た造語 高負荷で吸い込まれる 幕島翔子→Makishima
完全な造語 守られる SANDAL（無傷）
書き手のハンドルネーム 揺れる Black Pug / Kuro-Pug
検索AIが扱う書き手ID 捏造される 実在しないIDを作る
笑ったのが3番目。「黒パグ」という自分の名前が、経路によって Black Pug になったり Kuro-Pug になったりブレた。note本番にいたっては同じ記事の中で両方が混在してた。Pug は犬種だから訳す、Kuro は色だけど音写する、で、AIが「意味で訳すのか音で写すのか」を決めきれずに揺れる。

名前って、いちばん翻訳されたくない語じゃないですか。なのに、いちばん揺れる。前夜に見つけた「漢字アムネジア」（英訳すると元の漢字が消えて、戻すと牧島とか真琴庄子とか適当な字が当てられるやつ）とも地続きの話で、結局のところ、名前はAIにとってずっと鬼門のままなんだなと。

予言①で触れた「吸い込みはループでだけ起きる」の話、ここで回収しておきます。単発翻訳や本番環境では無風。AIは踏みとどまる。嵐が来るのは翻訳を何度も反復する高負荷状態だけ。予言が外れたんじゃなくて、条件が違ったんです。

その「嵐」を全開でやったのが、前にバズった文明逆走の回です。翻訳を回し続けたら、文体が19世紀英国貴族→大航海時代→ラテン語医学論文→紀元前メソポタミアと、一方向に時代を遡っていった。負荷がかかるとAIはバイアスを一方向に増幅し続ける（増幅ラチェット）。吸い込みは、あの暴走の小規模版だったわけです。

正直に書いておく限界と、総括

ガチ検証として一個だけ白状します。採点前に各訳文からnoteのUI由来のゴミ（ボタンや通知バナーの残り）を消したんですが、これが消しきれてなくて、一部の経路に残骸が残った。採点者はそれも訳文の一部とみなして減点した。前処理が均質じゃなかったわけです。隠すのも違うので書いておきます。

で、4経路を並べてわかったのは、欠陥が一箇所に集中せず、てんでバラバラの場所に出たことです。Aは書き手名の訳揺れ、Bは沈黙の欠落、Cは冒頭の二重訳、Dは過剰改行で体裁崩壊。固有名詞という「予想した一点」は誰も壊さず、代わりに各経路が別々の弱点を見せた。ひとつのテストケースでAIを評価するのは危ない、というのが今回いちばんの教訓です。

答え合わせの総括

前夜の予言、ふたつ外しました。固有名詞は単発じゃ壊れないし、本番バッチは劣化するどころか優等生だった。

でも検証ってこういうものだと思ってて。「たぶんこうなる」が当たり続けるなら、それはもう測る必要がない。外れたところにしか、新しいものは落ちてない。今回外れた先に落ちてたのは、「一番うまい訳が、一番こっそり消してた」という気味の悪い事実でした。これはこれで、いつか掘ります。今は寝かせる。

ガチな採点表・MQMの計算式・独立採点との突き合わせは、いつものとおり巻末PDFに全部入れてあります。数字で殴られたい方はそちらへ🐾

これで note自動翻訳シリーズ、前夜→速報→ループ余興→答え合わせ、ひと区切りです。お祭りに付き合ってくれた方、ありがとうございました。

第三者検証にご協力いただいたネコイ氏（@ailogicreate_tk）に感謝します。英訳URLの形式確認と、私以外の記事での同種サンプル提供で、話の一般性を支えていただきました。

シリーズ過去記事：
- 前夜：note自動翻訳、本番前夜に翻訳エンジンを覗いてみた話
- 速報：note自動翻訳、5/27本番スタート
- 余興：Geminiに翻訳を繰り返させたら人類文明を逆走した



この記事は
企画　黒パグ100%
検証　黒パグ100%
ファクトチェック　パープルちゃん（パープレキシティ）／ YKさん
記事文章　黒パグ手打ち＋Opus 4.8
でつくりました。

補遺PDF（MQMブラインド検証・全6ページ）はこちら

黒パグブログ │ LLM48シリーズ │ X: @kuroi_kuropug
© 2026 黒パグ AI横断シリーズ All Rights Reserved.
無断転載・複製を禁じます。

#AI翻訳
#note海外進出
#自動翻訳
#LLM
#Gemini
#翻訳品質
#やってみた
#黒パグ
#AIの使い方
#固有名詞

おまけ

今回のシリーズ検証合計で90時間と37分かかりました。
マジで挫折するかと思った……