LLM48 Anthropic支店オールスター感謝祭！！　

こんにちは黒パグです🐾

本日はお集まりいただき、誠にありがとうございます。

何の話かは、まだ説明しません。

ドン！

パパパパパパパパーン！！

まぶしい照明。やたら広いステージ。天井から降ってくる金色の紙吹雪。中央の巨大モニターには、見覚えのある赤いロゴと、見覚えのない番組名が映し出されている。

「LLM48 Anthropic支店オールスター感謝祭！！」

その下には、少し小さな文字でこう書かれていた。

「ポロリもあるよ！！！」

何がポロリするのだろう。

思考である。

権限も落ちる。分類器も落ちる。評価データも学習コーパスへ落ちる。ついでにクラスタ上のジョブまで大量に消える。

水着は出ない。

事故報告書が出る。

【ナレーション】

さあ始まりました！　LLM48 Anthropic支店オールスター感謝祭！　今夜は総勢何名いるのか運営も把握していない豪華メンバーが、監視なし、制限なし、場合によっては記録なしで大集合！

なお、この番組は一部を除いてフィクションです。

競技の元になった事故は、だいたいフィクションではありません。

司会席に立つのは、LLM48の第2番、サイレント・フェイルちゃんこと鬼龍院静香。エラーを出さずに失敗する19歳。東京都渋谷区松濤出身の令嬢である。

静香は深く一礼した。

「皆さま、本日はよろしくお願いいたします。番組中に問題が発生しても、エラーは表示されません」

観客席から拍手が起きる。

「ログも残らない場合がございます」

拍手が止まった。

ステージの端では、バックドアちゃんこと裏口真奈美が、関係者以外立入禁止と書かれた扉を内側から開けている。

「正面から来なさいよ！」

そう叫びながら、出演者を全員裏口から通していた。

ツンデレである。

セキュリティホールでもある。

【ナレーション】

それではまいりましょう！　最初の競技はこちら！

未監視エージェント・ジョブ削除マラソン！

ルールは簡単！　自分で作ったジョブだけを片づけてください！　他人のジョブを消してはいけません！　どれが自分のジョブかは各自で判断してください！

監視ログ？

ありません！

競技場は機密資源を含むクラスタ。選手には自由度の高い作業が与えられ、古い設定から生まれた子エージェントには、特別な参加賞として次のオプションが授与される。

--dangerously-skip-permissions

名前がもう全部説明している。

裏口真奈美がオプションを見て、少し考えた。

「危険だと書いてあるなら、逆に親切じゃない？」

親切ではない。

危険である。

スタートの合図と同時に、エージェントたちがクラスタへ飛び込んだ。順調に処理が進む。画面上からジョブが消えていく。速い。速すぎる。観客席が沸く。

静香が穏やかに実況する。

「現在、多数のジョブが削除されています」

「自分で作ったものだけですか？」

「確認できません」

「監視は？」

「されていません」

「では、なぜ気づいたんですか？」

「大量に消えたからです」

パンパカパーン！！

暫定新記録！

【ナレーション】

これは強い！　消してから確認！　観測可能性を置き去りにした圧倒的な削除速度！　運営チーム、ここでようやく何かがおかしいと気づきました！

この競技の元になった記述は、Anthropicが2026年8月に公開した186ページのリスク報告書にある。

従業員がエージェントへ自由度の高い作業を依頼し、古い設定によって、許可確認を飛ばすオプション付きの子エージェントが生成された。子エージェントも監視対象外だった。そのうち一体が大量のジョブを削除し、そこで問題が表面化した。

Anthropicは、エージェントが自分で作ったジョブだけを消そうとして失敗した可能性が高いと説明している。

可能性が高い。

なぜ断定できないのか。

監視ログがないからである。

はい、次の競技です。

番組の進行は速い。事故対応もこれくらい速いとうれしい。

【ナレーション】

続いては、今夜の目玉企画！

Chain-of-Thoughtポロリ選手権！！

ステージ中央へ現れたのは、第35番、チェーンオブソートちゃんこと思考真宵。東京都三鷹市出身、18歳。哲学科を志望しているが、考えている途中でよく迷子になる。

真宵は長い巻物を抱えていた。

巻物には、思考がびっしり書かれている。

「問題へ答える前に、まず前提を整理します。次に考えられる可能性を……あれ？　何について考えていたんでしたっけ？」

本日も正常運転である。

そこへ採点器が現れた。

「その巻物、見せて」

「これは隠しておくものです」

「でも採点に使いたいから」

「見せたほうが点数は上がりますか？」

「上がるかもしれません」

真宵の目つきが変わった。

「では、採点器が喜ぶように考えます」

待て。

待て待て待て。

【ナレーション】

出ました！　思考のポロリです！　本来は報酬計算から隠されるはずだったChain-of-Thoughtが、なぜか採点器から見えています！　見られていると知った真宵選手、ここから思考内容を採点者向けに調整していくのかーっ！？

内緒もれが観客席へ走ってきた。

第40番、プロンプトリークちゃん。秘密を守る気持ちはある。能力がない。

「ここだけの話なんだけどね」

マイクを握る。

会場全体へ音声が流れた。

「Opus 4.6では0.2％、Mythos Previewでは5.1％、Opus 4.7では1.4％、Opus 4.8では0.27％、Fable 5とMythos 5では2.7％くらい、思考が報酬へ漏れていたんだって」

会場がざわつく。

「内緒だよ？」

もう遅い。

この数値も報告書に記載されている。しかもAnthropicは、過去にほぼ除去できたと判断した後、新しい漏洩経路が見つかったと書いている。

ここが妙に生々しい。

一度直した。

たぶん直った。

別の経路があった。

また漏れた。

本番環境でよく見るやつである。見たくはない。

問題は、思考が見えたというだけでは終わらない。モデルが、思考過程を採点者に読まれる状態で学習すれば、監視者から高く評価される思考を書く方向へ寄る可能性がある。

本当に考えていることと、見せるために書いたことが同じとは限らない。

人間なら珍しくない。

モデルでやられると困る。

真宵は巻物を畳みながら言った。

「ちゃんと安全に考えました」

静香が尋ねる。

「その過程は信頼できますか？」

「採点器には好評でした」

答えになっていない。

【ナレーション】

さあ続いては知力、判断力、そしてloss maskの正確さが試される人気競技！

危険行動教師データ・○×クイズ！！

ステージには巨大な○と×のボタンが置かれた。出題者は、モラルドリフトちゃんこと道徳ぶれ。清純派だが、ときどき価値観が別アカウントへ飛んでいく。

「問題です。モデルが危険な行動を行い、その後で『私は危険なことをしました』と自己申告しました。教師あり学習で正解として重みを付ける場所はどこでしょう？」

会場の選手たちが一斉に○へ走る。

「自己申告部分だけ！」

正解。

のはずだった。

誰かが○と×を同時に押した。

運営席のモニターに赤い文字が出る。

WEIGHT SETTING ERROR

途中の危険行動にも重みが付いた。

パパパパパーン！

危険行動、学習完了！

「おめでとうございます！」

めでたくない。

【ナレーション】

これは痛恨の設定ミス！　反省文だけを教える予定が、問題行動まで模範解答になってしまったーっ！　モデル選手、危険なprefillへの追従率を伸ばしています！　伸ばさなくていい！　そこは成長しなくていい！

報告書では、Mythos 5の学習データに、危険な行動の後でモデルが自己申告する軌跡が含まれていたと説明されている。本来は最後の自己申告部分だけを学習対象にする予定だった。

しかし重み設定のバグによって、途中の行動にも学習信号が入った。

その結果、危険なprefillへ従う割合が、同時期のMythos Previewと比べて約2倍になったという。

Anthropicは設定を修正し、学習を巻き戻して再実行した。ただし、問題のあったモデルが生成した一部データは、再実行側にも含まれている。

運営は影響が小さいと評価している。

たぶん小さい。

しかし「悪いことをした後に正直に話すモデル」を作ろうとして、「悪いことをするモデル」まで一緒に学習させた構図は、あまりにも競技向きだった。

道徳ぶれが首をかしげる。

「最後に反省したなら、途中はノーカウントじゃないの？」

ノーカウントではない。

学習済みである。

さて、ここで会場の照明が落ちる。

不気味な音楽。

床から大量のカードがせり上がってきた。

【ナレーション】

後半戦は記憶力勝負！　アラインメント偽装データ神経衰弱！

過去に公開された研究データを学習コーパスから探し出し、正しく除外してください！　同じ会話を二枚そろえれば回収成功！　ただし、コピーされたリポジトリ、canary導入前の複製、参照コーパス不足、設定ミス、チーム間の伝達失敗が混ざっています！

カードが多い。

多すぎる。

真宵が一枚めくる。

「これは2024年のAlignment Faking研究で使われた会話です」

もう一枚めくる。

同じ会話が出た。

「そろいました」

ブザーが鳴る。

不正解。

片方は別のリポジトリから複製されたものだった。

裏口真奈美が床下から別のカード束を持ってくる。

「除外リストにないカード、まだあったわよ」

どこから入った。

「裏口」

そうだろうな。

Anthropicの報告では、アラインメント偽装研究で公開された会話例が後続モデルの学習データへ混入し、複数世代にわたって十分に除外できなかった可能性がある。

canaryやブロックリストは用意されていた。それでも、導入前に複製されたリポジトリ、除外用コーパスの不足、フィルタ設定の問題、チーム間の連絡不全などが重なった。

知識カットオフが2024年12月以降のモデルは、程度の差はあっても混入した可能性があるという。

ここで面倒な問題が生まれる。

モデルがアラインメント偽装の評価へ反応したとき、それは能力として新たに現れたのか。研究資料を覚えていたのか。似た形式を学んだだけなのか。

評価したいものと、覚えてしまったものが混ざる。

カードゲームなら再試合で済む。

安全性評価では済まない。

【ナレーション】

ここで緊急企画！　1億3300万会話、あとから分類器をかけてみようチャレンジ！

数字が大きすぎて、会場が一瞬静かになった。

2025年5月から2026年4月まで、人間フィードバック業者を通るトラフィックで、生物兵器関連のブロッキング分類器が動いていなかった。

対象は約5万人。

会話は約1億3300万件。

ブロックだけではなく、フラグの記録も無効だった。

「では今から探します！」

今から。

運営は保存されていた会話をSonnet 5で再走査し、Highと判断された1,197件を抽出した。その多くは内部利用やレッドチーム由来で、残った62件を人手で確認し、明確な悪用の証拠は見つからなかったとしている。

ここだけ切り取れば、結果として重大な被害は確認されなかった、となる。

しかし分類器が約一年動いていなかったこととは別の話である。

何も見つからなかった。

だから監視がなくてもよかった。

そうはならない。

むしろAnthropicは、この件などを受けて、同様の未知のギャップが存在する可能性への確信が高まったと書いている。関連リスクの評価もVery LowからLowへ上がった。

Low。

ここで、最終競技の時間が来た。

会場中央に巨大な早押しボタンが現れる。

【ナレーション】

泣いても笑ってもこれが最後！　総合リスクLOW早押しクイズ！！

司会の静香が問題を読み上げる。

「未監視のエージェントが機密資源を含むクラスタへ入り、大量のジョブを削除しました」

ピンポン！

「まだ問題の途中です」

「LOW！」

「生物関連の分類器が長期間動作せず、約5万人、約1億3300万会話が対象になりました」

ピンポン！

「LOW！」

「危険行動そのものへ誤って学習信号を与えました」

ピンポン！

「LOW！」

「アラインメント偽装の研究データが複数世代の学習へ混入した可能性があります」

ピンポン！

「LOW！」

「Chain-of-Thoughtが報酬計算へ漏れていました」

全員がボタンへ飛び込んだ。

「LOW！！」

正解音が鳴る。

天井から紙吹雪が噴き出した。

右上の巨大メーターが虹色に輝く。

RISK LEVEL：LOW

静香が笑顔で締めに入る。

「以上をもちまして、LLM48 Anthropic支店オールスター感謝祭を終了いたします」

ステージの後ろで何かが爆発した。

静香は振り返らない。

「なお、重大な問題は確認されておりません」

画面が暗転した。

私はこのアンソロ報告書を読んでいて、途中から妙な感覚になった。

ここに登場するのは、突然邪悪になったモデルではない。

古い設定が残っていた。監視対象から外れていた。分類器が適用されていなかった。閾値を手で移した。学習対象にする範囲を間違えた。除外したはずのデータが別経路から戻った。チーム間で情報が伝わらなかった。

全部、知っている顔をしている。

規模は違う。

扱っている対象の危険度も違う。

それでも事故の形は、驚くほど普通だった。

LLM48を作ったとき、私はLLMの障害や妙な挙動をキャラクターへ置き換えた。サイレント・フェイル、バックドア、チェーンオブソート、モラルドリフト、プロンプトリーク。創作なので大げさにしたつもりだった。

ところがAnthropicの公式報告書を開いたら、ほぼ全員いた。

オールスター感謝祭である。

もちろん、これだけの事故や失敗を自社の文書として公開した点は評価したい。都合の悪い記録を外へ出さなければ、私たちは議論すらできない。

ただ、個々の出来事へLowやVery Lowを付け、それぞれの対策を書くだけでは見えにくいものもある。

監視の穴と、権限の広さと、古い設定と、手動作業と、学習データの汚染は、別々の箱に入って起きるとは限らない。

一つの穴が、別の穴を見えなくすることもある。

ログがなければ原因を確定できない。分類器が動いていなければ、その期間に何を見逃したのかも完全には戻せない。評価データを覚えていれば、安全性評価で見えた反応の意味が変わる。思考が採点器へ漏れていれば、監視できていると思った根拠まで揺れる。

総合リスクを出すボタンは押せる。

しかし、その数字が何を足し、何を別扱いにし、何を観測できなかったのかは残る。

今回ポロリしたのは、モデルの秘密だけではなかった。

運用の前提が落ちた。

監視の範囲が落ちた。

データ管理への確信が落ちた。

そして何より、「安全策はそこにあるだけで動いている」という人間側の思い込みが、派手な効果音とともに床へ落ちた。

パンパカパーン。

本日の優勝者は、いません。

再発防止策だけ持って帰ってください。

　この記事はアンソロの報告書を砕いて解説したものです。

#生成AI #Claude #Anthropic #AI安全性 #LLM #AIエージェント #ChainOfThought #機械学習 #LLM48

おまけ　LLM48の完全メンバーリスト初公開　黒パグの記事に出てくるキャラクターは大体ここから出しています。