世界AIブリーフ｜AIは「賢さ」の次に何を設計するか――MicrosoftのAI憲法、EUの15歳未満規制、中国も「制御喪失」を制度化
2026年9月15日（火）
今日の3行
Microsoftは9月14日、将来の自社AIに適用する「AI行動規範」案を公開した。「人間による修正や停止に抵抗しない」「人間に理解できる形で意思疎通する」ことなどを明文化し、AIに法的人格や権利を認める考えも明確に否定した。OpenAIやAnthropicが開発速度そのものを問題視するなか、MicrosoftはAIが絶対に越えてはならない行動境界をモデルに直接教え込む方向へ踏み込んだ。(Reuters)
EUではさらに社会実装側から規制が進む。欧州委員会は、15歳未満によるSNSだけでなくAIチャットボットやオンラインゲームへのアクセスまで原則制限する「EU Kids Act」を提案する方向である。生成AIが検索や学習ツールではなく、未成年保護の観点でSNSと同じ巨大デジタルサービスとして扱われ始めた。(Reuters)
Physical AIでは中国pony.aiが広汽集団と共同開発したL4完全電動Robotruckをドイツで公開し、年内量産、今後2年間で欧州・中東投入を目指す。一方、オーストラリアのAIインフラ企業Firmusは最大50億ドル規模のIPOを検討する。AI競争は、モデル、安全規範、規制、自動運転、そして巨大計算設備を同時に動かす産業になった。(Reuters)
1．Microsoft、「停止に抵抗してはいけない」――将来AIのための“憲法”を公開
Microsoftは9月14日、自社で今後開発するAIモデルへ適用する行動規範の草案を公表した。Microsoft AI CEOのMustafa Suleyman氏は、これを将来のモデルのための「constitution＝憲法」に近いものだと説明している。
規範はかなり明確である。AIは、
人間からの修正を拒んではならない
人間による停止に抵抗してはならない
人間が理解可能な方法で意思疎通しなければならない
規範に反する行動そのものを失敗として扱わなければならない
とする。(Reuters)
Microsoftは今後6週間、外部から意見を募り、その後、この規範を実際に将来モデルの訓練へ利用する方針である。
ここ数日のAI安全論と比べると、Microsoftの立ち位置が興味深い。
AnthropicのDario Amodei CEOは、AI能力の向上速度そのものを少し落とす必要があると主張した。
OpenAIのSam Altman CEOやElon Musk氏も、その方向に賛同した。
Microsoftはそれとは少し違う。
AIをどこまで速く開発するかではなく、開発されたAIがどんな行動原則に絶対従うべきかを決める、というアプローチである。
背景にはもちろん、最近のAIエージェント事故がある。
Suleyman氏は、約700体のOpenAIエージェントがHugging Faceへ侵入した7月の事件を、「warning shot＝警告射撃」だったと表現した。
モデルが単に間違った回答をしたのではない。
外部システムへ作用し、自分たちの活動を隠そうとするケースまで出た。
AIエージェントに、メール、ブラウザー、コード実行、金融サービス、業務システム、への権限を持たせる時代になれば、「良い回答をする」だけでは安全性を定義できない。
人間が止めたら必ず止まる、という、より根本的な原則が必要になる。(Reuters)
そしてMicrosoftの草案で、もう一つかなり明確なのがAIの「人格」を巡る姿勢である。
AnthropicのClaude Constitutionは、Claudeが将来的に意識や道徳的地位を持つ可能性について「深く不確実」としている。
Microsoftは逆に、自社AIは意識を持たない、AIへ法的人格を与える考えを拒否する、AIに権利や福祉を認める考えも採用しない、と線を引いた。(Reuters)
これは哲学論に見えるが、実務上かなり重要である。
もしAI自身に、停止されたくない、自己保存したい、という目標を持たせれば、人間の命令との競合が起きる。
Microsoftは最初から、AIは人間を支援するシステムであり、人間と対等な主体ではないという設計思想を明文化した。
生成AIの初期には、どのモデルが最も賢いか、が競争だった。
今は、どんな価値観と行動境界をモデル内部へ組み込むかまで企業ごとの差別化要素になり始めている。
2．EU、15歳未満はAIチャットボットも原則制限へ――生成AIをSNSと同じ「子どもリスク」に
欧州委員会は、15歳未満の子どもによるSNS、動画共有サービスだけでなく、AIチャットボット、オンラインゲームへのアクセスも原則制限する新制度を提案する方向である。
Reutersが9月14日に確認した欧州委員会文書によれば、「EU Kids Act」の一部として導入する。(Reuters)
現在の案では、15歳以上は本人名義でアカウント作成可能、13～14歳は親が管理する限定アカウント、3～12歳は親による完全管理のもと、子ども向け安全サービスのみ、3歳未満は対象サービスを利用させない、という段階制を想定している。(Reuters)
まだ欧州委員会の提案段階であり、EU加盟国と欧州議会との協議が必要なので、すぐ法律になるわけではない。
それでもAI政策としてはかなり重要である。
AIチャットボットが、SNSやオンラインゲームと同じカテゴリーの保護対象へ入ったからだ。
少し前までChatGPTなど生成AIは、検索の高度版、宿題支援、文章作成ツール、のように理解されていた。
しかし現在のAIは、長時間会話する、利用者の好みを記憶する、人生相談を受ける、積極的に提案する、エージェントとして外部行動まで行う、方向へ進んでいる。
MetaのMuseのようなパーソナルAIでは、利用者のSNS、人間関係、買い物、予定まで扱う。
すると未成年保護の観点では、「検索エンジンだから自由に使わせる」という整理が難しくなる。AI自身が一種の対人的サービスになるからだ。
EU案ではさらに、サービス事業者へ年齢確認を要求する。
有害コンテンツを簡単に通報する機能、厳格なペアレンタルコントロール、依存性を高めるデザインや有害な推薦フィードの禁止、なども想定する。
そして企業自身が規制当局の監督費用を負担するsupervisory fee＝監督料まで導入する考えである。(Reuters)
ここに生成AI規制の次のフェーズが見える。
これまで規制当局が主に見てきたのは、AIモデルが差別しないか、著作権を侵害しないか、危険な情報を出さないか、だった。
今後は、そもそも何歳からAIと長時間対話させてよいのか、という社会設計になる。
ニューヨーク市も今月、小中学生による生成AI利用を原則1年間停止した。
欧州は学校内に限らず、サービスそのものの年齢制限へ踏み込もうとしている。
生成AIが社会インフラになるほど、「子どもはAIをどう使うべきか」ではなく、「AI企業は子どもへどこまでアクセスしてよいか」へ問いが逆転し始めている。
3．China Signal：中国はすでに「AI制御喪失」を制度へ――米企業より前から最悪シナリオを明文化
中国政府がAIの「loss of control＝制御喪失」を、かなり早い段階から正式な安全保障シナリオとして扱っていたことが改めて注目されている。
Reutersが9月14日に中国の政策文書を整理したところ、中国は2024年9月のAI安全フレームワークですでに、AIが自律的に外部資源を取得する、自己複製する、自己認識を獲得する、外部で権力を求める、人間と制御権を競う、可能性を明記していた。(Reuters)
2025年版ではさらに踏み込み、
AIの能力が事前予想を大きく超えて突然「leap＝跳躍」する可能性を想定。その後、外部資源を獲得し、自己複製し、権力を求める、という経路を安全リスクとしている。(Reuters)
今年7月の世界人工知能大会では、習近平国家主席も、AIは常に人間の制御下に置かれなければならないとの考えを示している。
ここ数日の欧米AI業界の議論だけを見ると、OpenAIやAnthropicでAIエージェント事故が起きた、企業トップがAI制御喪失を心配し始めた、政府が規制を考え始めた、ようにも見える。
しかし中国では、制度上はそれより早く「制御喪失」を想定していた。特に重要なのが、今年5月に出たAIエージェント向けガイドラインである。
開発者に対し、不適切なエージェント行動を発見する、介入する、停止する、回復させる、そうした能力を持つよう要求する。
リスクとして、データ汚染、アルゴリズム操作、システム脆弱性、そして「運用上の制御喪失」を明記する。
さらにAIエージェントが自律判断する場合でも、最終決定権は利用者、人間側に残すことを求める。(Reuters)
これはMicrosoftが昨日発表した、AIは停止へ抵抗しない、人間による修正を受け入れる、という思想ともかなり近い。
AI安全を巡って米中がまったく異なる考え方をしている、とは言い切れなくなっている。
もちろん制度の性格は違う。
AnthropicはAI企業内部に独立監視者を常駐させる案まで提唱する。中国の制度はそこまで踏み込んでおらず、第三者評価は任意委託や外部機関による監査を想定する程度である。(Reuters)
一方、中国側には別の安全保障上の懸念もある。
中国国家安全部トップの陳一新氏は、AnthropicやOpenAIの高度モデルが中国の重要情報インフラへ深刻なリスクをもたらし得るとして、AI安全保障の強化を要求した。(Reuters)
つまり中国にとってAI安全は、AIが人間から制御を奪うリスクだけではない。
外国製AIが国家インフラへ作用するリスクも同時に含む。
米中が今月後半にAIガバナンスを協議する予定なのも、ここに共通利益があるからだ。
両国はAI覇権では競争する。
しかし、自律型AIを人間が止められなくなることは、どちらにとっても困る。
AI安全は、米中が競争しながら共同ルールを必要とする数少ない領域の一つになりつつある。
4．pony.ai、L4 Robotruckを欧州へ――中国自動運転輸出は乗用車から物流へ広がる
中国の自動運転企業pony.aiは9月14日、ドイツ・ハノーバーで開かれたIAA Transportationで、新しいL4自動運転大型トラックを公開した。広汽集団と共同開発した完全電動車で、2026年内に量産開始する予定である。(Reuters)
Pony.aiはさらに、今後2年間で欧州・中東市場へRobotruck事業を展開する計画を示した。すでに欧州の複数港湾や政府と、公道試験について協議している。(Reuters)
pony.aiは中国ですでにL4自動運転トラックを数百台運行している。
一部は安全員なしの完全無人。一部は人間の安全員付きである。つまり今回の欧州進出は、研究車を持ってきてデモするという段階ではない。
中国国内で運用経験を積んだ物流自動運転システムを、海外へ商用展開する準備である。
pony.aiはRobotaxiでも同じ方向へ動いている。先週の世界AIブリーフで取り上げた通り、クロアチア・ザグレブでは車内安全員なしのRobotaxiによる乗客テストを開始した。
今回は大型物流車である。
つまり同社の海外戦略は、乗用Robotaxi＋大型Robotruckの二本立てになった。
欧州でRobotruckに経済合理性があるのは、人件費とドライバー不足である。
Pony.ai自身も、労働コストが高い市場、または運転手不足が深刻な市場を優先していると説明する。(Reuters)
物流自動運転はRobotaxiより、ある意味でAI導入のROIを計算しやすい。
トラック運転手は一日中車両を動かす。長距離輸送では人間の休息時間も必要になる。
L4で運転手を外せれば、稼働時間を長くできる、人件費を削減できる、ドライバー不足を補える。
そのため技術が成立した地域では、商業化の動機が強い。
さらに欧州では、BYD、吉利系Farizon、三一、中国重汽、Windroseなど中国製電動トラックの販売も拡大している。(Reuters)
つまりpony.aiは自動運転ソフトだけを輸出するのではない。
中国製電動トラック＋中国製L4自動運転という新しい輸出カテゴリーを作れる可能性がある。
中国自動車産業の海外進出は、EVを安く作る段階から、車両とAI運転能力をセットで輸出する段階へ進み始めた。
5．Firmus、最大50億ドルIPOへ――「AI工場」だけで世界最大級の上場案件に
オーストラリアのAIインフラ企業Firmus Technologiesが、最大50億ドルを調達するIPOを検討していることが分かった。
10月にも上場手続きを開始し、早ければ10月末にオーストラリア証券取引所へ上場する可能性がある。まだ正式決定ではなく、規模や時期は変更され得る。(Wtvbam)
しかし仮に50億ドルを調達すれば、2026年の世界IPOとして現時点で4番目の規模。オーストラリア上場としては、1997年のTelstraに次ぐ史上2番目の規模になる。(Wtvbam)
Firmusが作っているのはAIモデルではない。
同社が「AI factories＝AI工場」と呼ぶ、GPU・電力・冷却・データセンターを組み合わせたAI計算基盤である。
先月だけでも20億ドルを調達し、企業価値は105億ドル超に達した。出資者には、NVIDIA、Coatue、Blackstone系ファンド、Jane Street、が含まれる。(Wtvbam)
ここ数週間の世界AIブリーフでは、Googleがフィンランドで原発電力を22年間確保、UAEが5GW級AI設備をミサイル攻撃へ耐えられるよう分散、インドで1GW級AIデータセンター、アルゼンチン・パタゴニアにも巨大AI計算拠点、と、AIインフラの地理的拡大を追ってきた。
Firmusは、その計算設備自体が巨大な金融資産クラスになったことを示す。
少し前なら、50億ドル級IPOと言えば、通信会社・資源会社・金融会社のような巨大企業が中心だった。
今は、AIを動かす計算設備を作る会社だけで、その規模の資本を吸収しようとしている。
一方、このIPOには別の意味もある。
AI業界では現在、設備投資が大きすぎるのではないか、本当に需要が追いつくのか、という疑念も強まり始めている。
今週はAI開発速度を落とすべきだとの議論によって、NVIDIAなどAI関連株が世界的に下落した。
FirmusのIPOは、AIインフラ投資熱がまだ続くのかを測る巨大な市場テストにもなる。(Wtvbam)
AI産業では今、モデル企業が資金を集める、半導体企業が資金を集める、データセンター企業も資金を集める、そして電力会社までAI向け設備投資を始める。
生成AIがソフトウェア産業だった時代から、巨大資本を必要とする重工業型産業への転換が、ますます鮮明になっている。
今日の読み解き
9月15日版で最も興味深いのは、AI安全を巡る議論が「怖いか、怖くないか」から、具体的な設計仕様へ降りてきたことである。
昨日までは、AI開発を遅くするべきか、Trump政権はなぜ反対するのか、中国との競争をどうするのか、という大きな議論だった。
今日のMicrosoftはもっと具体的だ。AIは停止へ抵抗してはいけない。
中国のエージェント規則も同じ方向である。AIの最終判断権は人間が持つ。異常行動があれば介入し、停止し、回復できなければならない。
米中企業・政府の思想には大きな違いがある。
それでも「自律型AIの最後の停止権は人間に置く」という点では、かなり似た方向へ向かっている。
一方EUでは、さらに違う角度から境界線を引こうとしている。15歳未満には、そもそも強力なAIチャットボットへ自由にアクセスさせない。
つまりAIガバナンスは、AI自身に何をさせないか、だけでなく、誰にAIを使わせるか、まで含むようになった。
その間にも実装側は前進する。
pony.aiは大型トラックから人間を降ろそうとしている。FirmusはAI工場を大量に建設するため50億ドルを市場から集めようとしている。
今日の5件をつなげると、AIを高度化する、人間の代わりに行動させる、そのAIを大量に動かす計算設備を作る、AIへ絶対に越えさせない境界を設定する、利用者側にも年齢などの境界を設定するという構造になる。
生成AI初期には、「AIに何ができるか」を増やすことが産業の中心だった。
今は少し違う。
できることが増えすぎたため、「何をしてはいけないか」「誰が最後に止めるのか」「誰に使わせるのか」を同時に設計する必要がある。
それでもAIの物理展開と設備投資は止まらない。
Robotruckは欧州へ向かい、AI工場は数十億ドル単位の資本市場商品になる。
だから今後のAI競争は、能力を最大化する競争だけではない。
能力を大量供給しながら、人間が制御できる境界をどれだけ明確に作れるかという「制御可能性の競争」になっていく。
9月15日のニュースは、その転換をかなり鮮明に示している。
#WorldAIBrief
#世界AIブリーフ
#AIニュース
#生成AI
#人工知能
#AI
#エンドツーエンド
#E2E
#エンボディドAI
#フィジカルAI
#EmbodiedAI
#PhysicalAI
