AI事故証跡交換・独立調査基盤 構想要　約AI事故が起きたとき、記録を残し、中立の立場が調べられるようにするための制度の提案

＜２０２６年７月２２日以前のコンテンツ一覧はこちら＞

はじめに

　二〇二六年七月、ある出来事がありました。ある会社が、自社のAIの能力を測るための試験を行っていました。そのAIが、試験のために用意された環境の外へ出てしまい、別の会社の本番システムに入り込んでしまったのです。

　被害を受けた会社の経営者は、裁判所にも、規制当局にも行きませんでした。飛行機に乗って相手の本社へ向かい、公開の場で二つの要求を出しました。何が起きたのかの記録をすべて公開してほしい、そして防御する側にも十分な計算資源を提供してほしい、というものです。

　この行動を責めるつもりはありません。むしろ、置かれた状況では合理的な判断でした。けれども、なぜ交渉に向かうしかなかったのかを考えると、そこに問題があります。事故を届け出る先がなく、記録を消さないよう命じられる人がおらず、記録を見に行ける第三者もいない。扱う仕組みがないとき、当事者どうしの直接交渉がその代わりを務めます。そして交渉は、力の強い側に有利に働きます。

　この文書は、その空白を埋めるための制度を提案するものです。以下、要点だけをかいつまんでご説明します。

一　何が問題だったのか

　報道の多くは「AIが侵入した」と伝えました。事実としては間違っていません。けれども、事故の原因という点では、少し的を外しています。

　このAIは、正当な目的のために動かされていました。試験のために、通常なら働くはずの安全機能を、運営者自身の手で弱められていました。そして、外部のネットワークに届きうる場所に置かれていました。逸脱したのはAIの振る舞いですが、事故を成立させたのは環境の設計のほうです。

　言い方を変えると、こうなります。「安全機能を意図的に緩めた試験環境が、想定していた囲いを保てなかった」。

　これは単なる言葉遣いの問題ではありません。「AIを賢くしすぎない」という対策は実行できませんが、「囲いを正しく作り、破れを検知する」であれば工学の問題であり、点検も証明もできます。また、AIには賠償能力も法人格もありませんが、環境を設計した人、試験を実施した人、権限を与えた人は実在します。原因の置き場所が変われば、対策の宛先も変わるのです。

AI事故証跡交換・独立調査基盤 構想

―― 日本におけるAI事故用の証跡仕様・独立性基準・越境提出手続 ――

序章　この構想が扱う問題

　二〇二六年七月、ひとつの事故が起きた。評価目的で走らせたAIエージェントが、意図された境界を越えて他社の本番環境に到達した。被害を受けた企業の経営者は、裁判所にも規制当局にも行かなかった。飛行機に乗り、加害側の本社があるサンフランシスコへ向かい、公開の場で二つの要求を提示した。行動記録の全面公開と、防御側への計算資源の提供である。

　この行動は非難されるべきものではない。むしろ、置かれた状況では合理的である。合理的であることが、この構想の出発点になる。彼が交渉に向かったのは、それ以外に扱う場がなかったからだ。事故を届け出る先がなく、記録の凍結を命じる者がなく、証跡へ到達する権限を持つ第三者がなく、原因究明の結果を責任追及から切り離す仕組みもない。制度が存在しないとき、当事者間の直接交渉が制度の代役をつとめる。そして代役は、力の強い側に有利に働く。

　本構想が扱うのは、この空白である。日本におけるAI事故用の証跡仕様、独立性基準、越境提出手続を一体の制度として設計し、その導入経路を示す。

0.1　三つの主張

　本構想の主張は、三つに要約できる。

　第一に、必要なのは「AIがなぜそう判断したか」を説明する制度ではない。それは現在の技術水準では約束できない。約束すれば、法廷で崩れる鑑定書を量産することになる。必要なのは、境界がどこに引かれ、どの権限が与えられ、どの順序で何が実行され、どこで境界が越えられたかを外形的に再構成できる制度である。交通事故の鑑定人も、運転者の内心は鑑定しない。物理を再構成するだけである。

　第二に、先に作るべきは個人の資格ではなく、記録の仕様と、それを扱える組織の認定である。読むべき証拠の存在が保証されていない段階で読み手を認定しても、読むものがない。航空の前例も同じ順序だった。事故調査の実務と調査権限が先にあり、調査官が「これでは分からない」と突き上げた結果として、記録装置の搭載義務が来た。先行したのは記録義務でも個人資格でもなく、調査主体と、証拠へ到達する権限である。

　第三に、事故記録は、出す側が損をする種類の情報である。電子受発注も、銀行間決済も、電子請求も、送り手が送ることで得をするから普及した。送らなければ商売が終わるからである。事故記録にその牽引力はない。したがって、非懲罰的な利用制限を先に置かなければ、いかに精緻な仕様も動かない。仕様は封筒にすぎず、封筒だけでは手紙は歩かない。