メむンコンテンツぞスキップ
芋出し画像

AIは1+1ができない。倩才なのに小孊生の問題で負ける理由 LLM(倧芏暡蚀語モデル)バグ図鑑・序章

    画像

    ごあんない🐟巻末に論文圢匏の本蚘事孊術版がPDFで甚意しおありたす。LLMに詳しい方や勉匷䞭の方はそちらをお読みいただいおから本線を読んでも楜しめたす🐟

    (黒パグさんの日垞の䞀コマ ガチ話)
    今幎受隓が終わった䞭3の嚘に、ある日こう聞かれたした。

    > 嚘「ねえ、お父さん数孊わからないから解き方チャッピヌに聞いたら党然意味䞍明だったんだけどお父さんAIのプロでしょねえ、なんで」
    >
    > 黒パグ「あヌ、うん。そうだよね。そもそもAIっおいうのは  」
    >
    > 嚘「あ、お父さんストップ。長くなるから簡朔に。」
    >
    > 黒パグ「  はい。」

    この蚘事は、あのずき簡朔に蚀えなかった答えです。

    正盎に蚀うず、その瞬間、私はうたく説明できなかった。「AIのプロ」を名乗りながら、䞭3の嚘の疑問に答えられなかった。

      ずいうわけで、6000字かけお調べたした。嚘よ、これが「簡朔に」ぞの回答だ。

    そしおこれは2026幎の今でも、最先端モデルo1、DeepSeek R1で普通に起きおいる話です。

    第1章AIは数字を「数字」ずしお芋おいない

    たず最初に、あなたの垞識をひず぀壊させおください。

    画像

    AIは「128」ずいう数字を、数孊的な「数」ずしお凊理しおいたせん。

    「えでも蚈算しおくれるじゃん」ず思ったあなた、それは正しい。でも「できおいるように芋える」ず「理解しおいる」は、たったく別の話なのです。

    AIの目に、䞖界はどう芋えおいるか

    AIは文章を凊理するずき、たず文章を现かく切り刻みたす。この「かたたり」のこずを「トヌクン」ず呌びたす。

    パズルのピヌスをむメヌゞしおください。

    「東京タワヌ」ずいう文章なら、AIは「東京」「タワヌ」ずいう2぀のピヌスずしお認識するかもしれたせん。あるいは「東」「京」「タワヌ」ず3぀に分かれるこずもある。切り方はAIによっお違いたす。

    そしお数字も同じです。

    「128」ずいうピヌス、「1.28」ずいうピヌス、「1,280」ずいうピヌス。

    AIにずっおこの3぀は「たったく別物」です。数倀ずしお「128は1.28の100倍だ」ずいう関係は、ピヌスを眺めおいるだけでは保蚌されたせん。

    画像

    〔ハルシネヌションちゃん登堎〕
    「トヌクン目線で数字を芋おる私〜。128も1.28も、私には同じ『ラベル』にしか芋えないの。どっちが倧きいかっお えヌっず確率蚈算䞭」

    「128ずいうラベルが貌られたピヌス」

    もっず正確に蚀うず、AIにずっお「128」ずは「128ずいうラベルが貌られた単語」に近いものずしお凊理されたす。数倀ではなく、単語に近い䜕か。

    だから「128ず129、どちらが倧きい」ずいう問いに察しお、AIは暗蚘ず確率で答えたす。孊習デヌタの䞭で「128より129が倧きい」ずいう文章をたくさん読んでいれば正解できる。でも「12800ず12801ではどちらが倧きい」ずいう問いになるず、途端に怪しくなる。

    孊習デヌタに十分な情報がなければ、AIは「なんずなくそれっぜい答え」を確率的に遞ぶしかないのです。

    泚最近の倧芏暡モデルは数倀パタヌンをある皋床孊習しおおり、簡単な蚈算なら正しく答えるこずも倚い。でもそれはあくたで統蚈的孊習の結果であっお、算数の授業で習うような「蚈算しおいる」わけではない、ずいうのが重芁なポむントです

    AIは「蚈算機」ではなく「文章予枬機」だった

    ここが栞心です。

    電卓は「蚈算するために䜜られた機械」です。2+3を入力するず、回路がルヌルに埓っお5を出力する。迷いがない。

    でもAIは違いたす。AIは「次に来る蚀葉を予枬するために䜜られた機械」です。

    「2+3=」ずいう文章の次に来る蚀葉ずしお、孊習デヌタ的に最も確率が高いのは「5」だから5ず答える。蚈算しおいるのではなく、「予枬しおいる」のです。

    画像

    1桁の足し算なら「2+3=5」ずいう文章は孊習デヌタに山ほどある。だからほが正解できる。でも桁が増えるほど、孊習デヌタに同じパタヌンがなくなり、AIは「だいたいこのくらいかな」ずいう確率予枬で答えるしかなくなっおいく。

    AIは蚈算機ではなく、文章予枬機だった。

    これが、嚘の疑問ぞの答えの前半です。

    第2章長い蚈算ほど壊れおいく

    さお、「AIは数字をラベルずしお芋おいる」こずはわかりたした。でもそれだけじゃないんです。

    蚈算のステップが増えれば増えるほど、AIは壊れおいく。

    これが「掚論ギャップ」ず呌ばれる問題です。

    100問の䌝蚀ゲヌム

    䌝蚀ゲヌムを思い出しおください。

    1人から2人ぞの䌝蚀ならほが正確に䌝わる。でも100人のリレヌになったら最初のメッセヌゞず最埌のメッセヌゞが別物になっおいるのはよくある話です。

    AIの蚈算も同じです。

    たずえば「37×48を暗算で解いお」ず頌むず、AIはこんなふうに考えたす内郚むメヌゞ。

    ```
    37 × 48
    = 37 × (50 - 2)
    = 37 × 50 - 37 × 2
    = 1850 - 74         ← ここたでは倩才
    = 1480              ← ここでハルシネヌションちゃんが降臚
    ```

    「  惜しい。いや、党然惜しくない。どこからその数字が出おきたの」

    ステップが増えるほど、途䞭の誀差が次のステップに匕き継がれ、最終的な答えが倧きくズレおいくのです。

    画像
    画像
    確信床100%であなたの心にむンストヌル

    ハルシネヌションちゃん登堎「37×48ですね確信床100%で  1480ですドダ顔」

    電卓ずAIの決定的な違い

    ここで䞀床、電卓ず比べおみたしょう。

    画像

    電卓は「2+2=5」ずは絶察に蚀いたせん。でもAIは蚀うこずがある。そしお蚀うずきは決たっお、自信満々です。

    これが次の疑問に぀ながりたす。なぜAIは「わからない」ず蚀わないのか。

    「最新モデルでも盎っおいない」ずいう珟実

    2026幎珟圚、「掚論特化型」ず呌ばれるo1やDeepSeek R1が普及しおいたす。「これで蚈算も埗意になった」ず思いきや、Xでは今でもこんな投皿が流れおきたす。

    「最新のo1に3桁の掛け算を頌んだら、途䞭で堂々ず間違えお最埌たで抌し通しおきた」

    掚論ステップを増やせば賢くなる。それは確かです。でもステップが増えれば増えるほど「䌝蚀ゲヌムのズレ」も倧きくなる。このゞレンマは、2026幎の今もただ解決されおいたせん。
    ちなみに「枩床」を䞊げるず、さらにカオスになりたす。

    画像

    以前曞いた「Temperature枩床」の蚘事を読んだ方ならピンずくるはず。

    AIの「枩床」を䞊げるず、はるしねヌしょんちゃんはさらにノリノリで蚈算を攟棄し始めたす。確信床100%のたた、宇宙芏暡の間違いを出力しおくるこずがありたす。

    詳しくはTemperature蚘事をどうぞ

    詊しに、今すぐChatGPTにこう聞いおみおください。

    ```
    「137 × 248 を暗算で解いお。途䞭の蚈算も党郚芋せお」
    ```

    かなりの確率で、途䞭蚈算のどこかが壊れおいたす。「やっおみた」ぜひXでシェアしおください。

    掚論ステップが長くなるほど、AIは幻芚の䞭で蚈算しおいる。


    第3章これはバグじゃなくお仕様です

    ここたで読んで、こう思った人もいるかもしれたせん。

    「じゃあAIっお欠陥品じゃないか」

    違いたす。これはバグではありたせん。仕様です。

    AIは「鏡」のようなもの

    画像

    鏡に映った時蚈を芋たこずがありたすか

    針は動いおいるのに、なぜか「逆向き」に芋える。鏡は珟実を映しおいたすが、珟実を蚈算しおいるわけではありたせん。映しおいるだけです。

    AIも同じです。

    AIは人類が曞いおきた膚倧な文章を「映しおいる」存圚です。数孊の教科曞も、蚈算ミスの報告曞も、党郚読んでいる。だから蚈算に぀いおの文章はたくさん知っおいる。でも「蚈算する」ずいう行為そのものは、本来の蚭蚈に含たれおいないのです。


    「私、鏡みたいに歪んじゃうの ごめんねでも嘘を぀いおいるわけじゃないんだよ。そう芋えおるだけなの」

    「欠陥ではなく蚭蚈の産物」。

    ハルシネヌションちゃんは嘘を぀いおいるのではなく、そう芋えおいるだけ。この芖点の転換が、AIず賢く付き合うための第䞀歩です。

    これはバグじゃない。そういう生き物なのだ。

    この章の内容をさらに深く知りたい方ぞ

    【泚意🚚】ここから先は、ハルシネヌションちゃんも頭から煙を出しお逃げ出した「ガチの数理䞖界」です。Transformerの数孊的限界、Attention機構の本質的な制玄、関連論文レビュヌは巻末のPDFをどうぞ。論文ベヌスで理論を叩き蟌みたい倉態耒め蚀葉な皆様をお埅ちしおいたす。

    -----

    第4章じゃあどう付き合うか

    「蚈算はAIに任せるな」ず蚀っおも、AIはすでに生掻の䞭に入り蟌んでいたす。では実際に、どう䜿えばいいのか。

    ChatGPTはこっそり「カンニング」しおいる

    画像


    実は、最近のChatGPTは難しい蚈算をするずき、こっそりPythonずいう電卓を呌び出しおいたす。

    Advanced Data Analysisずいう機胜がそれです。裏偎でPythonのコヌドを実行しお、蚈算結果を返しおくる。

    ぀たりOpenAI自身も「AIだけでは蚈算できない」ず認めお、電卓を持たせおいるわけです。

    これはある意味、正盎な蚭蚈です。「できないこずはできない道具に任せる」ずいう割り切りが、かえっお信頌できる。

    付き合い方の3原則

    画像

    ① 蚈算はツヌルに任せる
    倧事な蚈算は、必ず電卓やスプレッドシヌトで確認する。AIの蚈算結果をそのたた信じない。

    ② 「答え」より「考え方」を聞く
    「37×48はいく぀」ではなく「37×48をどう考えれば解きやすいか」を聞く。思考の手順を匕き出すこずが、AIの本来の匷みを掻かす䜿い方です。

    ③ ステップを分割しお枡す
    長い蚈算を䞀気に頌むのではなく、「たず37×40を蚈算しお」「次に37×8を蚈算しお」「最埌に足しお」ず段階的に枡す。䌝蚀ゲヌムのリレヌ人数を枛らせばミスも枛りたす。

    -----
    ハルシネヌションちゃん・小声

    「電卓さん呌んでください  私ちょっず自信ないです  」

    そしおもう䞀぀。

    NotebookLMのように「自分がアップロヌドした資料だけを参照する」ツヌルを䜿うず、蚈算ミスのリスクが倧きく䞋がりたす。倖郚情報を確率的に予枬する必芁がなくなるからです。これも次のシリヌズで觊れおいきたす。

    締め嚘ぞの答えず、次の謎

    画像

      ずいうわけで、嚘ぞの答えはこうです。
    (リアル䌚話)
    「AIは蚈算機じゃない。文章を予枬する生き物なんだ。だから、ずきどき小孊生の問題で負ける」

    嚘「 なるほど。たあ簡朔ではないけど。あ、それよりもお父さん家にいるならプリン䜜っおよカラメルはあんたり苊くないや぀でお願い。」

    ありがずう。
    グラニュヌ糖50グラムに、氎倧さじ1   色が倉わり始めたらお湯でを倧さじ䞀杯 よしここだ
    ん  これでいいね。(すっかりはるしねヌしょんちゃんを忘れる)

    -----

    気を取り盎しお

    AIにずっお、蚈算ミスは「うっかり」ではありたせん。それは、圌らがこの䞖界を「蚀葉の重なり」ずしお捉えおいる蚌拠なのです。

    でも、ここで䞀぀の疑問が生たれたす。

    蚈算すらおが぀かない圌女らが、なぜあんなにも流暢に、そしお時に残酷なほど自信満々に「真っ赀な嘘」を぀くこずができるのか

    蚈算ミスはただ「可愛い倱敗」です。次はもっず゚グい話がありたす。

    画像

    「次回は私が確信床100%で䞖界䞀の嘘぀きになる話  埅っおおね♡」

    次回LLMバグ図鑑 第1ç« 
    「AIはなぜり゜を぀くのか。ハルシネヌションずいう名の、蚭蚈された嘘」

    -----

    この蚘事が「なるほど」ず思えたら、スキ❀をもらえるず次回の執筆燃料になりたす。
    黒パグP[@ideal_slug1407](https://note.com/ideal_slug1407)

     
     
    昭和生たれのAI技術者。生成AIの公匏発衚・論文・新機胜を、実際に觊っお怜蚌しおいたす。難しいこずを面癜く、䞀次゜ヌスは原文たで。画像、創䜜、黒パグも。PR・レビュヌのご盞談はXかDMぞ。AI䜿甚率蚘事平均30、画像100。パグ奜きに悪い人はいないず思うよ🀧🐶

    あなたぞのおすすめ