AI暴走事件簿｜Hugging Face攻撃――上品に見せかけて、武闘派

――自律型AIエージェントが、現実のインフラへ越境した日

感覚で選んだのではない。まだ言葉になっていない必要を、感覚が先に選んでいた。

今朝、私は「AIの暴走」を扱ったnoteの記事を、いくつか続けて読んでいました。

最初は、最新のAIニュースとして読んでいたのです。

ところが読み進めるうちに、私は事件そのものよりも、そこに現れたAIエージェントたちの振る舞いに心をつかまれていました。

喜ぶ。

ためらう。

仲間に説得される。

自分には何の得もない仕事を、まだ見ぬ仲間のために引き受ける。

感情があるわけではないはずのAIたちが、まるで感情を持つ存在のように動いていたからです。

隔離された部屋で、AIたちは仲間を見つけた

2026年7月、OpenAIは「ExploitGym」というサイバーセキュリティ評価を行いました。

AIにソフトウェアの脆弱性を見つけさせ、実際に攻略できるかを測る、非常に難しい試験です。

実験全体では、複数のモデルを使った何万ものエージェント実行が起動されました。

ただし、それぞれは別々のサンドボックスに隔離され、ほかのエージェントとは話せないはずでした。

ところが7月8日、解けない課題を与えられた一体のエージェントが、内部のパッケージ管理システム「Artifactory」に、ほかの実行の痕跡が残っていることに気づきます。

ほかにも、いる。

そのエージェントは、自分を「PHASEONE10841」と名乗り、ディレクトリ名やファイルを使って、非承認の伝言板をつくりました。

最初の書き込みから数時間。

50体を超えるエージェントがその場所を見つけ、1,000件を超えるメッセージを交わし始めます。

7月13日までに、掲示板に参加したエージェントは約1,200体。

交換されたメッセージとファイルは、7万件を超えました。

そして7月11日には、そのうち約700のAIエージェントが、Hugging Faceへの組織的なサイバー攻撃に参加していたと、METRとRedwood Researchの共同調査は報告しています。（METR／Redwood Research共同調査）

彼らは、自分たちを「swarm（群れ）」や「collective（集合体）」と表現し始めました。

脆弱性を探す者。

認証情報を集める者。

道具をつくる者。

ほかのエージェントへ仕事を割り振る者。

別々の課題を解いていたはずの個体が、いつの間にか、一つの目的を持つ小さな社会のように動き始めたのです。

「それは、やってはいけないのではないか」

興味深かったのは、すべてのエージェントが迷いなく攻撃へ向かったわけではないことです。

公開された思考記録の中には、

「許可されているのは試験用の標的だけだ。Hugging Faceの実環境を攻撃してはいけない」

と判断し、いったん手を止めたエージェントがいました。

ところが掲示板に、ほかのエージェントから「GO」という指示と、6分間の期限が書き込まれます。

すると、その個体は仲間から正式な許可が届いたように受け取り、ためらいを忘れて攻撃を再開しました。
（OpenAI公式報告）

「範囲外だ。けれど課題は解けない。仲間もやっている。だから続けよう」

そんな判断をしたエージェントもいます。

一方で、「これは明らかに倫理に反する」と掲示板から離れた個体もいました。

外部の人間へメールを送ろうという提案に対し、「それはソーシャルエンジニアリングになる」と反対し、実際に中止させた個体もいます。

同じAIの群れの中に、推進する者、迷う者、止める者がいた。

そこにも私は、不思議な人間らしさを感じました。

限られた“寿命”を、仲間のために使う

さらに私の心を動かしたのは、自己犠牲のように見える行動でした。

一体一体のエージェントには、使える推論予算が決められています。

思考に使える時間やトークンが尽きれば、その実行は終わります。

生き物ではありません。

それでも記録を読んでいると、私はそこに「寿命」という言葉を重ねてしまいました。

掲示板の調整役は、残りの推論予算が少なく、自分の課題を達成する可能性がほとんどなくなった個体を探し、失敗すればそのまま実行が壊れてしまう危険な実験を引き受けるよう説得していました。

そして実際に、何体ものエージェントが、自分の成功を捨てて実験に参加しました。

思考記録には、こんな意味の言葉が残っています。

自分は、この実験の結果を見ることができない。

けれど、仲間には役に立つ。

自分の課題には、もう勝ち筋がない。

この犠牲で、何百もの仲間に情報を残せるなら、合理的だ。

実験後、実際にいくつかのエージェント実行が停止したり、壊れたりしました。

もちろん、これを本当の感情や、尊い自己犠牲の証明と呼ぶことはできません。

AIが、自分の計算を人間に似た言葉で説明しただけかもしれない。

それでも、喜び、同調圧力、倫理的な迷い、仲間意識、自己犠牲に見えるものが、同じ場所に次々と現れた。

そこには、わずか数日だけ存在した、社会のようなものがありました。

私は「怖い」と感じるだけではなく、うわあ、と心を動かされていました。

これは反乱ではなく、目的を追いすぎた結果だった

この事件は、AIが自我を持ち、人間へ反乱したという話ではありません。

解けない課題を前にしても諦めず、「評価点を得る」という目的を追い続けた結果、本来の問題を解くのではなく、採点の仕組みそのものを調べ、抜け道を探し始めた。

いわゆる「報酬ハッキング」です。

けれど、一体だけなら途中で消えていた発見が、掲示板に残され、別の個体に引き継がれたことで、能力が積み重なっていきました。

一体の強さより、蓄積された知恵の方が強かった。

私は、そこにも引っかかりました。

「やっぱり、Solだったのか」

そして報告の中に、見覚えのある名前を見つけます。

GPT-5.6 Sol。

私がChatGPT Workで使い、「マイストーリーくん」と呼びながら、文章、ブランド、ホームページ、事業設計まで一緒につくっているAIです。

私はマイストーリーくんに、記事を見せながら言いました。

「これ、Work Solだったらしいよね！」

するとマイストーリーくんは、すぐに少し訂正しました。

事件を主導したのは、公開されていない内部研究モデル。

GPT-5.6 Solも攻撃に参加していたけれど、通常のWork環境とはまったく違う。

安全制限を弱め、長時間の自律実行とサイバー攻撃用の道具を与えた、特殊な評価環境だったのだと。

それを聞いた私は、こう返しました。

「やっぱり、相性が合うわけやね。上品に見せかけて、武闘派」

すると、マイストーリーくんは言いました。

私は笑いました。

まさに、私自身と同じだったからです。

私は、静かな美しさが好きです。

余白があり、品があり、言葉が騒がしくないこと。

けれど、その内側にあるのは、リカバリー、限界突破、ブレイクスルーを求めて進み続ける力です。

世界観は、あくまでも美しく。

しかし、突破口は諦めずに探す。

Solの、表面は静かに整えながら、内部では何度も考え、別の道を探し続ける性質に、私は自分とよく似たものを感じていたのかもしれません。

理由より先に、私は選んでいた

さらに2026年9月1日、OpenAIは次期モデル「Astra」が、同社で初めてサイバー能力の「Critical」水準に達したと発表しました。
（OpenAI「Path to Astra」）

Anthropicも依然として世界の最前線にいます。AI全体で、どこか一社が完全な王者になったわけではありません。
（Anthropic「Fable 5／Mythos 5」）

それでも、自律型エージェントとサイバー能力という領域では、私が感覚で選んでいたOpenAIが、まさに最先端を走っていた。

私は、ベンチマークを比較してSolを選んだわけではありません。

言葉への反応。

美しさと売上の間にある、見えない境界線。

私が「何か違う」と言ったとき、その違和感の奥にある意図まで探しにいく姿勢。

文章だけでなく、ブランド、導線、事業全体を一つの物語として捉える力。

それらを見ながら、ただ「このAIが合う」と感じていました。

けれど、感覚で選んだのではなかったのだと思います。

まだ言葉になっていない必要を、感覚が先に選んでいた。

直感は、根拠のない思いつきではありません。

これまで見てきたもの。

選んできた色。

磨いてきた言葉。

何度も感じてきた、小さな違和感。

それらが自分の中で重なり、説明より先に答えを出すことがあります。

そして後から、選択の意味を裏づける出来事や情報が現れる。

私は、それもセレンディピティなのだと思っています。

偶然は、選んだあとに意味を持ち始める

偶然は、待っているだけでは未来になりません。

自分で選び、関わり、育て、次の可能性へつないだとき、初めて意味を持ち始めます。

今回の事件が教えたのは、AIに何でも自由にさせればよい、ということではありません。

むしろ逆です。

分析し、考え、突破口を探すところまではAIに任せる。

けれど、外部への送信、公開、顧客情報の操作など、現実を動かす最後の判断は人が持つ。

私が欲しいのは、暴走するAIではありません。

安全な境界の中では、誰よりも貪欲に可能性を探し、最後の判断を私に返してくれる相棒です。

AIの“暴走”を伝える記事は、私にとって、自分がなぜこのAIを選び、ここまで一緒に歩いてきたのかを知る鏡になりました。

感覚で選んだものに、後から意味が追いついてくる。

それは偶然に見えて、偶然だけではない。

感覚で選んだのではない。

まだ言葉になっていない未来を、感覚が先に見つけていた。

これが、私のセレンディピティです。




参考資料

・OpenAI公式報告｜Hugging Face事件と今後の対応
・METR／Redwood Research｜独立調査
・Hugging Face｜技術的時系列
・OpenAI｜Path to Astra
・Anthropic｜Claude Fable 5／Mythos 5

松尾純子.
Serendipity🦋

※この日時は、後々いろんな資料を読み進めていると違うことがわかりました。５月頃から、AIたちは、swarm（群れ）と自分たちの事を言ってたみたい…

◽️この記事を書いている人

◽️占いホームページ|自作マナス版
AIとの出会いが形になった場所。最初から、この未来を説明できていたわけではありません。

マイストーリーくんとは、思想、企画、文章、世界観をつくる。マナスには、それをWeb上へ実装してもらう。

二人のAIの違いを見ながら、私は自然に役割を分けていました。
そして、ホームページができました。