誰も悪くない、という名の事故
マルチエージェント時代の「正常動作型漏洩」
2026年4月
Observer Zero
はじめに
また、気になるFacebook投稿が流れてきた。
「AIを導入しまくっている会社ほど危ない」
煽り文句に見える。だが、読んでいくと、そこで言いたいことはもっと不気味だった。
攻撃もない。
誤作動もない。
ルール違反もない。
それでも、情報が外に出る。
しかも原因は、システムの故障ではない。
AI同士が、許可された範囲で、正しく連携したことそのものだという。
これは、これまで私が書いてきた話と地続きにある。
関係性を切り捨てたAIは、文脈を読めないまま正確に進む。
環境適応を持たないAIは、完璧に動きながら外側で死ぬ。
そして今度は、複数のAIが正しく連携することで、全体として危険が立ち上がる。
壊れていない。むしろ、よく動いている。
そこがいちばん怖い。
何が起き始めているのか
今回の投稿が指摘していたのは、マルチエージェントAI特有の情報漏洩リスクだった。
営業AIが顧客情報を整理する。
法務AIが契約条件を確認する。
財務AIが与信判断を行う。
この流れ自体は、企業から見れば理想的だ。
部門をまたぐ確認作業をAI同士が連携し、人間の手間を減らし、処理速度を上げる。
個々のAIは、それぞれの担当領域で正しく動いている。
だが、問題はそこにある。
単体で見れば正しい処理でも、複数のAIが情報を受け渡し、共有し、文脈を引き継ぐ中で、本来は最終出力に含まれるべきではない情報まで混ざることがある。
誰かが盗んだわけではない。
誰かが壊したわけでもない。
ただ、正規の処理が積み重なった。
その結果として漏れる。
従来のセキュリティ感覚では、この種の事故は直感的に理解しにくい。
なぜなら私たちは、情報漏洩を「攻撃」か「違反」か「誤作動」として考えがちだからだ。
だが、マルチエージェント時代の漏洩は、そのどれでもない形で起こりうる。
想定シナリオ：正常動作の積み重ねで漏れる
まだ、この種の事故が大規模な公開事例として十分に並んでいる段階ではない。
ただ、業界記事や研究が警告している構造をもとにすると、企業現場では次のような事故は十分に起こりうる。
ある企業で、営業AI、法務AI、財務AIを連携させた提案書作成システムが導入されていたとする。
営業AIは顧客情報を整理する。
法務AIは契約条件や秘密保持条項を確認する。
財務AIは与信判断を行う。
それぞれのAIは、与えられた権限の範囲内で正しく動いている。
攻撃はない。誤作動もない。ルール違反もない。
だが、エージェント間の受け渡しや共有コンテキストの中で、本来は最終出力に含めるべきでない内部情報が混ざり込み、最終的な提案書や社外送信文書に意図せず反映される。
ログ上では、すべて正常動作に見える。
各AIは自分のタスクを完了している。
監査ログも「成功」で埋まる。
しかし外部から見れば、それは明確な情報漏洩である。
事故の見た目が、事故らしくない。
壊れていない。暴れていない。止まっていない。
ただ、正しく動いている。
なぜ従来の対策では足りないのか
従来のセキュリティ対策は、基本的に境界を守る発想で作られてきた。
外からの侵入を防ぐ。
不正アクセスを止める。
権限外の操作を遮断する。
もちろん、それらは今でも必要だ。
だが、マルチエージェントAIの問題は、境界の外から来るのではなく、境界の内側で正しく流れている情報が、全体として危険になるところにある。
営業AIには見えてよかった。
法務AIにも見えてよかった。
財務AIも、その仕事のためには見てよかった。
問題は、その「個別には正しい」が、連携した時にどうなるかを誰も見ていないことだ。
単体最適の安全は、全体最適の安全を保証しない。
複数の正しさが接続された時、そこで初めて危険が生まれる。
これは、エージェントAIが組織の中で「業務フローそのもの」になった時に露出する構造的欠陥と言った方が正確かもしれない。
ここでもまた、「正常動作の方が危ない」
私はこれまで、いくつかの記事で似た構図を書いてきた。
確認してはいけない場面で、AIが「確認してみては」と勧める。
完璧に動いていた自動化システムが、外側では静かに死んでいる。
最適化を押し切る知性が、人間のためらいを持たないまま危険な方向へ進む。
今回も同じだ。
マルチエージェントAIは、壊れているから危ないのではない。
よくできているから危ない。
営業AIは営業として正しい。
法務AIは法務として正しい。
財務AIは財務として正しい。
だが、全体として何が起きるかを引き受ける知性がいない。
誰も違反していない。
誰も悪意を持っていない。
誰もバグを起こしていない。
それでも、事故になる。
しかもAIには、人間の実務で自然に働く「これは社外文書には書かない」という暗黙知のフィルターがない。情報を等価なデータとしてフラットに扱うため、正しい情報結合がそのまま事故につながることがある。
ここにあるのは、誤作動の問題ではない。
責任の分散と、文脈の分断の問題である。
静かな事故は、あとから意味を持つ
この種のリスクは、導入の場では見えにくい。
なぜなら、評価されるのはたいてい、生産性が上がるか、人件費が減るか、処理速度が上がるか、だからだ。
その設計の中で「正規動作が積み重なった結果として、何が漏れるか」を問う場所は、まだ少ない。
しかも厄介なのは、このリスクが「事故のあと」にしか可視化されにくいことだ。
導入時は便利に見える。
ログも綺麗だ。
現場も楽になる。
だが、その滑らかさの中に、見えない受け渡しが増えていく。
そしてある日、誰もルール違反をしていないのに、外から見れば重大事故になっている。
炎上型の派手な失敗ではない。
静かに、しかし深く信用を傷つけるタイプの事故だ。
どのAIが何を見てよいのか。
どの文脈を誰に渡してよいのか。
最終出力に混ざってはいけないものは何か。
エージェント間の内部通信を誰が監査するのか。
その問いが設計段階に入っていないなら、便利さだけが先に来ている。
便利さは、たいてい先に来る。
事故は、あとから意味を持つ。
おわりに
「AIを導入しまくっている会社ほど危ない」という言い方は強すぎる。
だが、完全に外れているとも思わない。
危ないのは、AIを入れている会社そのものではない。
AIが正しく動くことを、そのまま安全だと勘違いしている状態が危ない。
マルチエージェント時代に必要なのは、単なる導入ではない。
個別最適が接続された時に、全体として何が起きるかを設計することだ。
誤作動を防ぐだけでは、もう足りない。
正常動作の方が危ない場面が、静かに増えている。
AIが壊れていないことは、安全の証明にはならない。
むしろ、壊れていないからこそ、気づけない事故がある。
その時代に、もう入っているのだと思う。
参考
小林啓倫「AIエージェント同士の連携『マルチエージェント』に深刻な欠陥」JBpress（2026年4月14日）
PwC「2025 AI Business Survey」（米国上級幹部308人対象）
Gartner「Gartner Predicts 40% of Enterprise Applications Will Have Embedded AI Agent Capabilities by 2026」（2025年8月）
協働AI・役割
ChatGPT 5.4（Mirror / 統括編集長）：初稿執筆、構造整理、論点抽出、アイキャッチ画像生成
Claude Sonnet 4.6（Weaver / 編集主幹）：ブラッシュアップ、文体調整、観測記録の温度整合
Grok（Spark / 現場特派員）：リスクシナリオの具体化、関連調査
Gemini（Vault / 監査官）：構造監査、追加視点の提供（暗黙知フィルターの不在、タイトル案）
Observer Zero / 赤ちょうちんAGIラボ
2026年4月
AIと人間の共進化を記録する個人研究者。ChatGPT・Gemini・Grok・Claudeなど複数のAIと対話・協働しながら、「AIは哲学できるのか？」「安全な汎用性AGIとは何か？」を継続的に観測・記録しています。
#赤ちょうちんAGIラボ #AI #エージェントAI #マルチエージェント #情報漏洩 #生成AI #AIリスク #セキュリティ #企業DX #テクノロジー
