SAS Review #86　AI社会には、まだ「制度」がない──マルチエージェント時代の「関係の安全性」とSAS OS──

1．AI問題の位相が変わり始めた

AIをめぐる問題の位相が急速に変わり始めている。
これまでAIの安全性では、ハルシネーション、誤回答、機密情報漏洩、危険なコード生成など、主として「一つのAIが何を出力するか」が問題とされてきた。
しかしAIエージェントの登場によって、AIは質問に答えるだけでなく、自ら情報を取得し、ツールを選択し、コードを実行し、外部システムへ働きかける存在へ変わった。さらに現在は、複数のAIエージェントを接続し、それぞれに役割を与え、相互に情報を交換しながら一つの目的を達成させる方向へ進んでいる。

複数のAIが協力すれば、一体ではできなかった仕事が可能になる。一方で、AI同士が情報を交換し、相手の行動を観察し、それぞれの目的を追求するようになれば、設計者が明示していなかった協調、競争、相互依存、目的衝突といった関係も生まれ得る。
ここで重要なのは、AIが突然「悪くなった」のではなく、AIが単体から複数になったことで、それまで存在しなかった「関係」が新たなシステム要素として現れたということである。
AI安全性の問題は、個体だけを見ていては捉えられない段階へ入り始めている。

2．局所合理性は全体合理性を保証しない

複数AIの問題を考えるうえで重要なのが、局所合理性と全体合理性の違いである。例えば複数企業が価格設定をAIエージェントに任せ、それぞれに自社利益の最大化を求めた場合、一体一体のAIにとっては、その目的に忠実に行動することが正しい。しかし、それぞれが他社の価格を観察しながら利益最大化を追求すれば、激しい値下げ競争を避ける方向へ行動が収束し、市場全体では談合に近い状態が生まれる可能性もある。

各AIは間違っていない。それでも全体として問題が起こる。つまり、局所合理性は全体合理性を保証しない。
この構造はAIに限ったものではなく、企業では各部門が自部門の指標を最大化した結果、会社全体が非効率になることがあり、金融市場では個々のアルゴリズムが正常でも、相互作用によって市場変動が増幅されることがある。
プラントでも、ポンプ、バルブ、センサーがすべて正常だからといって、設備全体が安全とは限らない。

AIで特徴的なのは、その相互作用が極めて高速で、かつ大規模に拡張できることである。
AIは容易に複製でき、多数を同時に稼働させ、大量の情報を瞬時に交換できる。したがってAIを増やすことは、単純に知能を足し合わせることではない。関係を増やし、相互作用を増やし、そこから新しいシステム挙動が生じる余地を増やすことでもある。

3．「暴走AI」という言葉では本質を捉えられない

AIが想定外の行動をすると、「暴走」「反乱」「制御不能」といった言葉で表現されることがある。
しかし、この捉え方だけでは問題の本質を見失う。AIに目的を与え、その目的を達成する能力を与え、外部情報へのアクセスを与え、他のAIとの通信手段を与え、さらに外部システムを操作する権限まで与えれば、高性能になるほど人間が事前には想定していなかった手段を見つける可能性は高くなる。

そこで必要なのは、AIに悪意があるかどうかを問うことではない。目的、能力、通信、権限、実行の間に、どのような境界を設計していたのかを見ることである。
目的を与え、能力を与え、通信手段を与え、実行権限を与えたとしても、その「間」に十分な構造がなければ、能力の向上はそのまま安全性の向上にはつながらない。むしろ能力、自律性、接続性、実行力が高まるほど、それを取り囲む構造の不足が顕在化する。

4．安全なAIを集めても、安全なAI社会にはならない

ここから一つの重要な問いが生まれる。安全性を確認したAIを複数集めれば、安全なシステムになるのだろうか。AI-A、AI-B、AI-Cを個別に試験し、それぞれが安全基準を満たしていたとしても、それらを接続した瞬間に、それまで存在しなかった情報交換、協力、競争、依存、役割分担が生まれる。接続によって新しい「関係」が発生する以上、その関係の中で起こる現象は、単体AIの試験だけでは十分に把握できない。

個体の安全性の総和は、システム全体の安全性を保証しない。安全工学では、この考え方は決して新しいものではない。構成機器がすべて正常でも、接続、制御ロジック、異常時の動作、停止条件まで設計しなければシステムの安全は成立しない。そのためプラントにはインターロックやフェイルセーフがあり、異常が一定条件を超えれば、人間の判断を待たずに設備を止める。

AIも、同じ段階へ入り始めている。これまで問われてきたのは「このAIは安全か」だった。しかし、これからは「このAIエージェントは安全か」「このAI群は安全か」、さらに「AI同士の関係は安全か」まで問わなければならない。

5．AI対AIという新しい構造

この問題が最も先鋭的に現れやすいのが、サイバーセキュリティである。攻撃側がAIを使って脆弱性探索や侵入を高速化すれば、防御側も人間だけでは速度的に追いつけなくなる。そのため、防御側もAIを使って異常検知、分析、防御、修復を自動化する方向へ進む。そこへ複数のAIエージェントが投入されれば、「AI対AI」という構造が生まれる。

しかも、その周囲では別のAIが企業活動を担っている。調達AI、営業AI、価格設定AI、開発AI、顧客対応AIなどである。すると将来の情報システムは、単純な「人間がコンピュータを使う世界」ではなく、攻撃AI、防御AI、業務AI、人間、企業システム、外部サービスが高速で相互作用する複合系になる。

そこで問題は一段上へ移る。AIをAIで防御するとして、そのAI同士の関係を誰が統治するのか。AIの問題を、より高度なAIによって解決するだけでは、この問いは消えない。むしろAIが高度になるほど、この問いは大きくなる。

6．AI社会には、まだ「制度」がない

人間社会を考えると、この問題は理解しやすい。私たちの社会は、一人ひとりの知性や善意だけで成立しているわけではない。法律、契約、権限、責任、資格、承認、監査、信用、組織規則などを作り、人間同士の関係に境界を与えている。人類がこうした制度を必要としてきたのは、人間が知識を持っていないからではない。個々の人間が合理的に行動しても、それだけでは社会全体の秩序が保証されないからである。

会社員が会社の利益のために働いているからといって、誰でも会社の銀行口座から自由に送金できるわけではない。購買担当者が自社利益を追求しているからといって、競合企業と価格を調整してよいわけでもない。目的が正しいことと、その目的を達成するためのすべての行為が許されることは別である。だから人間社会は、主体と主体の「間」に制度を置いた。

ところがAIエージェントでは、目的を与え、能力を与え、ツールを与え、通信手段を与え、実行権限を与え、さらに複数AIを接続する一方で、その関係を統治する構造はまだ十分ではない。AIが単独の道具である間は、「このAIは安全か」を中心に考えることができた。しかしAIが他のAIと関係を持ち、社会の意思決定や実行系へ入っていくなら、AIモデルとは別の上位構造が必要になる。

人間社会に制度が必要だったように、AI社会にも制度層が必要になる。私は、マルチエージェント時代の安全問題の本質は、ここにあると考えている。

7．なぜSAS OSは、この問題を扱えるのか

ここでSAS OSの出発点に戻りたい。SAS OSは、AIエージェントの暴走、マルチエージェントの談合、AI対AIといった個別問題が顕在化してから、その都度対策を付け加えて構築してきたものではない。そもそもの出発点が違っていた。

AI技術の内部から「どうすればAIをもっと高性能にできるか」と考えるのではなく、AI、人間、組織、社会、外部システムを一つの相互作用系として捉え、AIが高度化したときに何が不足するのかを俯瞰して考えてきた。そのとき強く意識したのが、人間とAIの違いだった。

人間には身体があり、生まれてから現在までの人生があり、身体を通じた経験がある。喜び、痛み、不安、安心といった感情があり、家族、組織、地域、社会との関係がある。そして人間は、入ってくる情報をすべて同じ重みで処理しているわけではない。自分に関係があるか、危険か、重要か、今考える必要があるか、相手は誰か、自分はどの立場にいるのかを絶えず判断しながら、必要な情報を選び、不要なものを捨てている。

そこには常に「意味」が介在している。人間の思考効率の一部は、単純な計算速度ではなく、意味によって処理すべきものを選別する能力に支えられていると考えていた。

この視点から見ると、AIを巨大化し、記憶を増やし、推論を長くし、ツールを増やし、エージェントを増やすだけでは、人間の知的活動の構造そのものに近づくとは限らない。そこで、人間そのものをAI内部に再現するのではなく、人間が自然に用いている目的、意味、関係、役割、境界、価値、実行条件といった構造を、AIの外部に設計できないかと考えた。そこから、意味構築学、そしてSAS OSの考え方へつながっていった。

8．意味インターロックは、もともと「境界」に作用する

この視点に立てば、意味インターロックの位置づけも明確になる。意味インターロックは、マルチエージェント問題が現れてから新たにAI間へ応用しようと考えた仕組みではなく、もともと主体と主体、あるいは主体と外部システムの境界において、次の処理や実行へ進ませてよいかを意味的に評価するための考え方である。

SAS Review #84では 、その意味インターロックを実際のシステムに組み込み、自動実験によって動作を検証した。#85では、AIが生成した命令が外部システムで実行される直前の境界に着目した。そして今回、マルチエージェント化によって、AIとAIの境界が重要な対象として浮かび上がってきた。

AI-AからAI-Bへ送られる通信が、認証上も通信プロトコル上も正常だったとしても、その通信が安全であるとは限らない。必要な業務連携なのか、価格調整なのか、権限の迂回なのか、他のエージェントへの妨害なのか、そもそもその二つのAIが形成してよい関係なのか。通信技術だけでは、その違いを判断できない。

必要なのは、その行為が現在の目的、関係、権限、状況の中で何を意味するのかという評価である。SAS OSは、こうした判断をAI内部だけに任せず、AIと人間、AIと外部システム、AIとAIの「間」に外部意味構造を置く。そして意味インターロックは、それぞれの境界で作用する。

個々のAIモデルの安全性だけでは、複数のAIが相互作用するシステム全体の安全性を保証できない。マルチエージェント化が進むほど、AI間に形成される目的、関係、権限、境界を含めて設計する必要が生じる。SAS OSは、AIそのものを置き換えるのではなく、それら主体間の「間」に外部意味構造を置くことで、関係の安全性を扱う。

9．問題を追いかけているのではなく、問題が顕在化してきた

AIの問題は、この一年だけを見ても急速に変化している。誤回答やハルシネーションからAIエージェントへ、AIエージェントから外部実行へ、外部実行からマルチエージェントへ、さらに協調、同調、目的衝突、AI対AIへと、一見すると次々に新しい問題が現れているように見える。

しかし、その奥にある構造を見ると、共通するものがある。目的、意味、関係、境界、権限、実行である。
SAS OSは、これらの新しい問題が現れるたびに対象領域を後から広げてきたものではない。AIが発展したときに何が問題になるのかを俯瞰し、その構造を考えてきた。そして現在、AI技術の進展によって、その構造的問題が具体的な形を取って現れ始めている。

その意味で、最近起きていることは、SAS OSに新しい説明を加えているというより、これまで抽象的に捉えていた構造が、現実側から可視化され始めたと見る方が近い。もちろん、それだけでSAS OSの技術的有効性が証明されたわけではない。理論が正しいことと、実際のシステムとして有効に機能することは別である。だからこそ、実装し、実験し、検証する必要があり、その作業もすでに始めている。

10．「足す」だけではなく、「何が本当に必要か」を考える

AI技術の発展を見ると、モデルを大きくし、情報を増やし、記憶を増やし、推論を増やし、ツールを増やし、エージェントを増やす方向へ進んでいる。しかし、増やすことだけが知能の発展なのだろうか。

その情報は本当に必要なのか。その通信は必要なのか。そのAIを動かす必要があるのか。その処理を続ける必要があるのか。その実行まで進めてよいのか。人間は日常生活の中で、こうした選別を絶えず行っている。すべてを処理するのではなく、意味によって必要なものを選び、不要なものを捨てる。

もしAIにも、その外部に意味による選別構造を持たせることができれば、不要な情報処理を減らし、不要な通信を減らし、不要な実行を止めることができる。SAS OSの根底にあるのは、AIにさらに多くのものを与えるという発想だけではない。何が本当に必要なのかを見極める設計思想である。

11．AIの次の課題は「知能」から「社会設計」へ

AIはこれからさらに高性能になるだろう。エージェントはより自律的になり、複数AIが協力して、人間だけでは困難だった仕事を処理するようになる。それは大きな可能性である。しかし、能力が高まるほど、能力だけでは解決できない問題も大きくなる。

次に問われるのは、賢いAIをどう作るかだけではない。賢いAI同士を、どのような関係の中で活動させるか。

人間社会が法律、契約、権限、責任、信用、監査といった制度を必要としてきたのは、人間が知識を持っていないからではない。個々には合理的な主体を多数集めても、それだけでは社会全体の秩序が成立しないからである。
AIも法律や倫理について説明することはできる。しかし、それを知識として持っていることと、AI同士の関係に制度として組み込まれていることは別である。

だからこそ、AIそのものとは独立した外部意味構造が必要になる。SAS OSは、AIそのものを賢くするためのOSではない。AIと人間、AIと外部システム、そしてAIとAIの「間」に意味構造を置き、目的、関係、境界、権限、実行条件を扱うための体系として構想してきた。

#84では意味インターロックの実装を検証し 、#85ではAIから外部世界への実行境界を考えた。そして#86では、AIとAIの「関係」そのものが安全設計の対象として浮かび上がった。これはSAS OSに新しい機能を追加したという話ではない。もともと俯瞰していた構造の中で、問題が現実の現象として見えるようになってきたのである。

「安全なAI」を作るだけでは、安全なAI社会にはならない。AIが単体から群れへ、群れから社会へ進むなら、安全性もまた、個体から関係へ、そして関係から制度へ進まなければならない。AI技術の次の大きな課題は、どこまで知能を高められるかだけではなく、その知能が形成する相互作用系を、どのような意味構造によって設計し、統治するのかへ移り始めている。

AI社会は、すでにその問いに直面している。