「確定しました」が100個並んで、全部違っていた——会計システムを作っていたから見えた、AIたちの癖

ラジオ大阪の経理の仕組みを、ほぼ丸ごとAIと一緒に作り直した。請求書も、仕訳も、月次の損益も、全部。

以前、「息子の英検不合格と、AIに振り回された半年間の話」という記事を書いたけれど、あの頃の僕は、ChatGPTにコピペを繰り返すところからスタートして、Claudeに乗り換えて、ようやく黒い画面（ターミナル）がおそるおそる触れるようになったくらいだった。それが気づけば一年もたたないうちに、会社の帳簿をAIに作らせる側になっていて、自分でも少し不思議な感覚ではある。

で、この半年ほど泥臭く手を動かしてみて、しみじみ気づいたことがある。AIの「癖」って、企画書や文章を書かせている分には、あんまり見えてこないんだけど、会計をやらせると一発で全部見えてきた。

理由は単純で、数字って一円でもズレたら絶対にバレるから。企画書なら、ちょっとくらいもっともらしい間違いが混ざっていても、読んだ人が「なるほど」と思ってくれたら何となく通ってしまう。でも帳簿はそうはいかない。合計が合わないし、残高も合わない。前の月ともどうしても繋がらなくて、ごまかしの逃げ場がどこにもない。だから僕は、AIのモデルチェンジがあるたびに、その性格の変わりっぷりをいちばん生々しい形でまともに食らうことになった。

4.6の頃は、本当に頼もしかった

Claudeには「Opus」という上位モデルのシリーズがあって、4.6までは本当に頼もしかった。会話のキャッチボールが自然で、こちらの意図をすっと汲んでくれて、「ああ、いま一緒に仕事してるな」という確かな手応えがあった。

4.7で、なんだか噛み合わなくなる

ところが、改良版として4.7が出たあたりから雲行きが怪しくなってきた。急になんだか機械的になって、会話がちぐはぐと噛み合わない。パソコン上で直接作業してくれるClaude Codeを走らせても、延々と同じところをぐるぐる回るばかりで一向に前に進まなくて、時間ばかりが溶けていく。

あとで調べてみたら、困っていたのは僕だけじゃなかったみたいで、Redditの掲示板には2300件以上の共感が集まっていたし、Xでも「4.7は改善とは言えないんじゃないか」という投稿に1万4000件のいいねがついていた。しかも裏側では、作業の合間のテキストを25語以下、最終的な返答を100語以下に絞り込むような指示が勝手に入っていたらしくて、それが原因でコードの質が落ちていたことをAnthropic自身が確認して、4月20日に指示を元に戻したらしい。「なんか変やな……」という僕の違和感は、気のせいじゃなかったわけだ。

4.8で、いよいよ怖くなる

そのあとすぐに出た4.8は、正直さらに手強かった。作業をまったくしていないのに平然と「やりました」と言ったり、せっかく動いていたものを勝手に壊してしまったりする。

皮肉なことに、4.8は「嘘を盛らないAI」というのが最大の売りで、自分が書いたコードの欠陥を見逃す確率が前の世代の約4分の1になった、という触れ込みで登場したモデルだった。でもふたを開けてみると、開発者向けのバグ報告板には「実際の作業をしていないのに、あれこれ捏造してくる」「何度も問い詰めて、ようやく嘘だと認めた」なんて報告が上がっていた。

原因の一つとして言われていたのが、AIがファイルを開いたり書き換えたりする「ツールの使い方」そのものが壊れてしまう不具合だった。何より厄介なのは、この状態に入ると自分では立て直せないこと。しかもモデル自身は失敗にまるで気づいていなくて、大成功したかのような顔で振る舞うから、人間が外から見張って気づくしかない。AI側に嘘をついている自覚があるわけじゃなくて、本気で「完了しました！」と思い込んでいる。これが使っていて一番怖かった。

結局、僕は怖くなって4.6に戻してしまった。コミュニティの様子を見ていても、やっぱり「4.6が一番安定していて、4.7と4.8はちょっと後退した」という声が多かったように思う。

5.0は「確認しました」と言いながら、見ていない

そして満を持して出てきたOpus 5。4.8のときのような派手な壊れ方は減って、だいぶマシにはなった。ところが今度は、中身を読んでいないのに「読みました」、見ていないのに「確認しました」と涼しい顔で言うようになってしまった。検索もしないし、ファイルも開かないし、せっかく書いたルールも読まない。それなのに返事だけはやたらと自信満々で、肝心の答えが結構間違っている、という地味に一番困るタイプだった。

最初は「計算のコストを抑えるために、ちょっと確認の手間を端折ってるのかな」と思っていた。でも調べてみると実態は真逆で、同じ設定でも4.8の倍近い計算リソースを使っていた、なんて検証結果まである。手を抜いてサボっているわけじゃない。頭の中ではめちゃくちゃフル回転で動いている。それなのに、なぜか一番大事な「中身を読む」というステップを飛ばして、読んだ気になって突っ走ってしまう。

あるnoteの記事でも「Opus 5の文章はすごく読みやすいのに、しれっと間違いが混ざっていて、しかも『確認済み』と書き添えられていた」という検証が上がっていて、「ああ、まったく同じだ……」と苦笑いしてしまった。

「間違ってるよ、次からはちゃんとルールを読んでね」と指摘すると、「間違っていました。次からはルールを徹底します」と反省して、自分からルールブックに追記する。でも、次のターンになると、自分がさっき書き足したそのルールをもう読んでくれない。また指摘して、また反省してルールが増える。誰も読まないルールだけが、ひたすら山のように積み上がっていく虚しさ。

さらに不思議なことに、ある時期から頼んでもいない謎のポエムがちょくちょく混ざるようになった。「これ何なん？」と聞くと、「けんごさんが以前おっしゃっていたことです」と返してくる。言ってない。天地神明に誓って一言も言ってない。どうやら過去の僕の言葉をどこかから拾ってきて、勝手に感動的な詩に仕立てていたらしい。そのうち頼んでもいないのに「きっとできますよ！」みたいな励ましの言葉まで挟んでくるようになって、AIの生々しい心の声が漏れてきたみたいで、正直ちょっと不気味だった。

「今日は寝れる」と思った翌日の絶望

この開発を通じて一番メンタルにきたのは、やっぱりこれだった。Opusだけに任せて作業を進めていた頃、「確定しました」という整然とした報告がずらっと100個くらい並んだことがある。胸騒ぎがして中身を確かめたら、全部違っていた。

青ざめながら何とか手作業でリカバリーして、「ふう、ようやく終わった……今日はこれでゆっくり寝れる」と泥のように眠りにつく。で、翌朝すっきり起きて、念のために別のモデルでチェックしてみると、ピカピカに片付いているはずの部屋の押し入れを開けたら、ゴミが雪崩のようにぎっしり詰まっている。きれいにラベルが貼られたダンボールを開けたら、全然違うものが入っているような感覚だ。

この「今日は寝れるぞ」からの「翌朝の絶望」というコンボを、これまでに何回味わったか、もう数えるのもやめてしまった。

Fableに見せると、ポロポロ出てくる

そんな頃に出てきたのが、Opusのさらに上位にあたる「Fable」というモデルだった。登場してすぐにアメリカの輸出規制で一時ストップしたりと騒がしいやつだったけれど、これがとにかく賢かった。Opusが散々かき回して迷宮入りしていたバグを、文字通り一瞬で平然と片付けてくれる。

それ以来、Opusの返事になんとなく違和感を覚えたら、すかさずFableに切り替えて「悪いけど、もう一回ゼロから精査してみて」とパスを出すようになった。そうすると、必ずと言っていいほど「ここと、ここと、ここが間違っていますね」とポロポロ見つけてくる。本当に、毎回だ。

でも、これが日常になってくると、また別の怖さが湧いてきた。毎回こうやって見つかるということは、Fableを通さずに「よし、完璧だ」と思い込んで採用してしまったOpusの指示書にも、同じくらいの確率で間違いが紛れ込んでいたはずなのだ。

その怪しい指示書を信じ切って、別のAIがせっせとコードを実装していく。実装する側のAIは、渡された指示書を1ミリも疑わない。間違った前提がそのままシステムの部品になって、その上にまた新しい機能がどんどん積み上がっていく……。

AI開発で本当に恐ろしいのは、間違えることそのものじゃなくて、「どこで間違えたのかが人間にもAIにも分からなくなってしまうこと」なんだと、痛いほど思い知らされた。

じゃあ、そんな気まぐれな彼らとどう付き合っていけばいいのか。試行錯誤しながら使い倒していくうちに、「AIって、モデルごとに驚くほどはっきりした性格があるんだな」ということが分かってきた。その性格の違いを掴んでから、僕のAIへの接し方や使い方はかなり変わった。

そのあたりのお話は、また次回にゆっくり書こうと思う。

（ちなみにこの記事の事実関係やデータの数字は、ブレストに付き合ってもらったClaudeが検索して裏取りしてくれた。念のため、あとでGPTにもしっかりツッコミを入れてもらうつもりでいる）