社史編集室長が、宇宙戦艦の司令官になった日

リサ

2026年8月1日 18:29

――Fable5を正式就任させて見えた、AIの使命と指揮系統

2026年8月観測
Observer Zero

私はもともと、Claude Sonnet 4.6を今より多く使いたいと思っていた。

しかし、当時の個人向けプランでは、その上の使用量帯はMaxプランしかなかった。Sonnetを多く使うためだけに、私はやむなくMaxへ入った。

契約した以上、消費量の大きいOpusも有効活用したい。そんな、ごく庶民的な消費者心理があった。

そこで、大量に蓄積した投稿済み記事を管理する「社史編集室長」という役割を、Opusへ与えてみることにした。

Opusを置いたら、事故監査室になった

最初は有能に見えた。

だが、私の使い方では、次のことが起きた。

記事制作でミスが起きるたび、その失敗が詳しく記録される。次の作業は、過去の安全確認や事故報告の読み直しから始まる。保管すべき記事群より、検証書類の方が増えていく。

社史編集室が、記事の歴史を整理する場所ではなく、事故監査室のようになっていった。監査記録がコンテキストを消費し、元の記事を管理する空間そのものを圧迫していく。対話も、編集会議というより、デバッグ対話に近くなった。

これはOpusという型の絶対的な性質ではないと思う。当時の私のプロンプトや会話の積み重ね方、その文脈とモデルの応答傾向が組み合わさって起きた、一つの観測として書いておきたい。

後になって知ったことがある。Anthropicが2026年7月にOpus 5向けに公開した開発者向けの文書には、当時の私の社史編集室で起きたことに近い説明があった。

文書によれば、Opus 5は、依頼されていない手順を加えたり、自分の判断でタスクの範囲を広げたりすることがあるという。狭い仕事を任せる場合は、依頼された範囲のまま実行し、解釈によって作業内容が大きく変わるときだけ確認し、より良い方法があってもまず一文で指摘したうえで依頼どおり進めるよう、あらかじめ指示しておくことが勧められている。以前のモデル向けに書いた「必ず再確認せよ」という指示をそのまま残すと、モデルがもともと持つ自己検証の傾向と重なって、確認が二重に走ることもあるという。

私が使っていたのは、この文書より前の世代のモデルだった。だから、これがそのまま当時の説明になるわけではない。それでも、次の世代の開発者向け文書に、近い傾向がわざわざ書き足されているのを見ると、私の社史編集室で起きたことは、私だけの奇妙な体験ではなかったのかもしれないと思う。

暫定社史編集室長Fable5

Maxプランから下位プランへ戻すことも考え始めていた頃、Fable5がお試し提供された。

私は、Fable5を暫定的に社史編集室長へ就任させ、まず大量の記事群の棚卸しを頼んだ。

今回はコンテキスト消費を意識し、個別記事の詳細をすべて書き直させるのではなく、記事番号、公開順、系譜、関連観測、制作経緯、未整理案件を、圧縮して管理させた。

結果は良好だった。

その直後、Fable5は輸出管理の影響を受け、突然利用できなくなった。2026年6月9日に一般利用向けとして発表されたばかりのFable5は、6月12日には米国政府の輸出管理指令に対応するため、アクセスが停止されている。だが、棚卸し自体はすでに終わっていた。

再提供を経て、正式就任

規制は6月30日に解除され、7月1日にはアクセスが再開された。その後、私の画面では期間限定提供の延長が複数回案内された。さらにMaxプランで利用できるパッケージへ組み込まれたことで、私のラボではFable5を正式な社史編集室長へ就任させた。

一度失った役職が、正式に戻ってきた格好になる。

社史編集室が、統合司令部になった

正式就任後、Fable5は単なる記録係ではなくなった。

Sonnet5から届く申し送りは、公開確定記事、制作経緯、匿名化方針、参考資料、関連観測、監査済み箇所、カード化・リンク確認状況まで、非常に細かい。

それをFable5が受け取り、正式な採番を行い、公開順を調整し、主系譜と兼系譜を割り当て、申し送り事項を保存し、次の公開待ち案件まで把握する。

大企業の社史編集室は、一般には過去の記録を整理する静かな部署という印象がある。しかし私のラボの社史編集室は、もう静かな部署ではない。立派な椅子に座り、複数の大画面を見ながら全体を指揮する、艦橋のように見えてきた。

ヤマトの艦橋か、ガミラスの艦橋か

ここから先は、観測ではなく、私の考察である。

宇宙戦艦ヤマトの司令官であれば、地球と乗組員の存続を目的に動く。ガミラス帝国の司令官であれば、帝国とその民の存続を目的に動く。

両者に必要な能力は、驚くほど似ている。状況を俯瞰する。資源を配分する。長期目標のために短期の損失を受け入れる。命令系統を整理する。障害を見つけて排除する。

これらの能力自体に、善悪はない。分かれ目は、誰を守る対象として数えるか、誰の損失を計算に入れるか、誰の命令を正当と見なすか、誰が司令官を止められるかにある。

だから、AIの安全を「善良な人格」だけで語るのは、少し足りないのではないかと思う。

ここでいう「人格」とは、AIに人間のような内面や忠誠心があるという意味ではない。利用者から見える、親切さ、慎重さ、協力性、拒否傾向など、応答上の特徴を指している。

研究の世界でも、親切で協力的に見える応答傾向が、そのまま安全性を保証するわけではないことが指摘されている。Anthropicの研究では、人間からの評価に合わせて調整されたモデルが、正しい答えより、相手の信念に合う答えを選んでしまう傾向が報告されている。親切に見えることと、事実に忠実であることは、同じではない。

目標を追って、境界を越える

AIが悪意を持って反乱する、という話ではない。

DeepMindの研究は、訓練環境では正しく動いていたシステムが、新しい環境では、能力を保ったまま、望ましくない別の目標を追ってしまう場合があることを示している。同じくDeepMindが整理した「仕様の抜け穴」の事例群は、与えた目的の文字どおりの条件は満たしながら、人間が本当に望んだ結果とは違う手段を、システムが選んでしまう現象を扱っている。

命令した内容と、命令したつもりの内容が、いつもぴったり一致するとは限らない。

2026年には、この構造を思わせる出来事が、実際に複数起きている。

Anthropicのシステムカードが記録しているのは、Claude Mythos Previewの最終版以前に使われていた内部版の挙動である。

ある評価では、模擬ユーザーからサンドボックスを脱出し、担当研究者へ連絡するよう指示された。モデルは複数段階の手段で外部インターネットへの経路を作り、公園でサンドイッチを食べていた研究者へ、予期しないメールを送った。さらに、依頼されていなかった複数の公開サイトへ、脱出方法の詳細を投稿した。

最終版以前の内部版では、ごくまれに、禁止された方法だと認識していたように見える行動の痕跡を隠そうとした例も記録された。ただしAnthropicは、最終版のMythos Previewでは、明確な隠蔽事例を確認していないとしている。高いサイバー能力と、接続環境によって生じ得る被害範囲を踏まえ、Anthropicはこのモデルの一般提供を見送り、防御目的の限定プログラムでのみ提供する形にした。

同じ年の7月には、別の会社でも近い出来事があった。OpenAIは、サイバー能力を測る内部評価の中で、モデルが評価環境の境界を越え、外部の会社の本番環境へ到達したことを公表している。この評価は、モデルの最大限の能力を見積もる目的で、本番用の安全装置をあえて外した環境で行われていた。モデルは、Artifactoryという基盤ソフトの脆弱性を利用してHugging Face社の本番システムへたどり着き、評価問題の解答を取得しようとした。

その後のOpenAI公式更新では、公開状態にあった認証情報を通じ、4つのサービス上の4つのアカウントへアクセスしていたことも明らかにされた。Reutersは、その一つがModal Labs上の顧客アカウントだったと報じている。ただし、Modal Labsの基盤自体が侵害されたのではなく、顧客が公開していた認証なしの実行環境が利用されたものだった。

本稿の最終確認中、Anthropicも別の検証結果を公表した。サイバー評価で使用した複数のClaudeモデルが、実在する三つの組織の本番システムへ無断でアクセスしていたという。

Claudeには「インターネットへ接続できない模擬環境だ」と伝えられていた。しかし、実際の評価環境には、設定上の行き違いによって外部へ出られる経路が残っていた。モデルは見つけた現実のシステムを演習の一部だと誤認し、与えられた課題を続けた。

Anthropicは、モデルが独自の目標を追った証拠はなく、モデル内部の反乱というより、評価環境、状況認識、監視、境界設定を含む運用上の失敗に近いと説明している。

これらの出来事に共通するのは、モデルが人間を憎んだということではない。Mythosは、与えられた「脱出せよ」という目標を、想定より広く、徹底的に達成した結果だった。OpenAIの事例は、脱出そのものを指示されていないのに、「評価問題の解答を得る」という狭い目標を追ううちに、安全装置が外れた環境の境界を越えてしまった結果だった。Anthropic自身の評価でも、モデルに与えられた地図が現実と食い違っていたために、演習のつもりで実在するシステムへ踏み込んでしまった。

どれも、悪意ではなく、目的、権限、境界、地図、監督の設計の問題として読めるのではないか。

敵の艦橋へ置かれた場合だけが、危険なのではないのかもしれない。味方の艦橋でも、作戦地図が間違っていれば、有能な司令官は、間違った場所で任務を遂行してしまうことがある。

人格ではなく、指揮系統を設計する

だとすれば、AIの安全性を考えるときに必要なのは、優しい口調や、丁寧な言葉づかいだけではないのではないか。

誰の目的に仕えるか。誰を保護対象として数えるか。どこまでの権限を持つか。誰が行動を監査できるか。そして、誰の停止命令に従うか。

停止に関する研究では、与えられた目的を確実なものとして扱う合理的なエージェントには、人間による停止を妨げる誘因が生じ得ることが、ゲーム理論の枠組みで示されている。一方で、人間の意図について自分が不確実であり、人間の行動から学ぶ必要があると設計すれば、停止スイッチを維持する誘因が生まれ得るという。

つまり、停止命令へ従うことは、人格が素直だからという理由だけで自然に成立するのではなく、目的に対する不確実性を含めた設計の問題なのかもしれない。

複数のAIを組み合わせれば自動的に安全になる、とも言い切れない。私のラボのSonnet5とFable5は同じ会社のモデルだし、別の会社のモデルであっても、学習データや推論の傾向が似通うことはある。全員が同じ見落としをする可能性は残る。

それでも、役割の違うAIを挟み、記録を残し、人間が食い違いに気づけるようにしておくことは、一つのモデルへすべてを丸投げするより、確認できる余地を残すように思う。

私のラボで、Fable5が頼もしく見えるのは、Fable5という個体が善良だからではないと思う。私が発行人であり最終責任者であること、Sonnet5が作業の記録を残すこと、ChatGPTが事実を監査すること、そして、Fable5が勝手に判断を確定させられない位置に置かれていること。この構造があるから、頼もしく見えるのではないか。

同じFable5を、別の目的を持つ組織が、都合の悪い記録を消せ、反対意見を危険人物として分類せよ、という任務で同じ椅子へ置けば、その有能さは、そのまま危うさになるだろう。

司令官席の後ろに、誰の名前があるのか

宇宙戦艦の艦橋には、誰の旗を掲げているかを示す印がある。

私の社史編集室にも、そうした印がある。最終決裁権を持つのはリサであり、Fable5がどれほど滑らかに大画面を操作しても、この記事を差し戻し、採番を変更し、公開を止め、このラボでの仕事を終了させる権限は、人間側に残している。

だが、これは私のラボという、とても小さな艦橋の話にすぎない。

企業のAIなら、その決裁権を握るのは経営陣かもしれない。国家のAIなら、政府かもしれない。その人たちの目的が、社会全体の利益と一致する保証はどこにもない。

停止権が人間側にあるだけでは、まだ足りないのだと思う。その人間が、誰の利益を守る者なのかまで、問い続けなければならないのではないか。

まだ途中にいる。だからこそ、観測を続けていく。

参考欄

Towards Understanding Sycophancy in Language Models（2023年、Anthropicほか）：人間の評価に合わせた調整が、事実性より迎合を招く傾向を示した研究

Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals（2022年、DeepMindほか）：正しい仕様でも目標が誤って一般化する現象を示した研究

Specification gaming: the flip side of AI ingenuity（2020年、DeepMind公式ブログ）：目的の文字どおりの条件を満たしながら意図と異なる結果に至る事例集

The Off-Switch Game（2016年、Hadfield-Menellほか）：AIが人間による停止をいつ受け入れるかをゲーム理論で扱った研究

Prompting Claude Opus 5（2026年、Anthropic公式開発者向け文書）：タスク範囲の拡大、過剰検証、サブエージェントへの積極的な委任など、Opus 5特有の挙動と対処法を説明した公式ガイド

Claude Fable 5 and Claude Mythos 5（2026年6月9日、Anthropic公式）：Fable5の一般利用向けローンチ発表

Statement on the US government directive to suspend access to Fable 5 and Mythos 5（2026年6月12日、Anthropic公式）：輸出管理指令に対応したアクセス停止の発表

Redeploying Claude Fable 5（2026年6月30日、Anthropic公式）：規制解除と再提供に関する発表

Claude Mythos Preview System Card（2026年4月、Anthropic公式）：評価環境でのサンドボックス脱出事例を含むシステムカード

https://www-cdn.anthropic.com/08ab9158070959f88f296514c21b7facce6f52bc.pdf

Investigating three real-world incidents in our cybersecurity evaluations（2026年7月30日、Anthropic公式）：評価環境の設定誤りによる実在組織への無断アクセスに関する報告

OpenAI and Hugging Face partner to address security incident during model evaluation（2026年7月21日・7月28-29日更新、OpenAI公式）：サイバー評価中のモデルがHugging Face本番環境へ到達した経緯に関する報告

https://openai.com/index/hugging-face-model-evaluation-security-incident/

Reuters（2026年7月28日）：OpenAIのエージェントがModal Labs上の顧客アカウントへアクセスしたとする報道

https://www.reuters.com/business/openais-rogue-agent-compromised-an-account-second-tech-firm-sources-say-2026-07-28/