豪州NSW州「AIアセスメントフレームワーク（2024年版）」に見るガバナンスのリアリズムと調達への実装雑感

0　はじめに

　生成AIの爆発的な普及以降、世界各国においてAIガバナンスの議論は「原則」の策定段階から、それをいかに実装するかという「実践」の段階へと急速に移行している。EUのAI法が包括的な規制枠組みとして成立し、リスクベースアプローチが法的拘束力を持つ基準として確立されたことは記憶に新しい。しかし、現場レベル、特に行政機関や企業のAI担当者が直面する、日々の調達・導入・運用において、具体的にどのような手順でリスクを評価し、プロジェクトのGo/No-Goを判断すべきかという点については、依然として模索が続いている組織も少なくない。

　こうした中、オーストラリアのニューサウスウェールズ州（以下、NSW州）政府が2024年に改訂・公開した「NSW AI Assessment Framework」は、実務家にとって極めて示唆に富む文書である。このフレームワークは抽象的な倫理規定ではなく、明確な停止メカニズムを備えた強制力のある実務ツールとして設計されている。

　今回は、公開された全88ページの文書に基づき、このフレームワークの構造、リスク評価の論理、そして調達プロセスへの統合について検討する。2024年版で強化された生成AIへの対応や、調達契約との有機的な連携は、日本のAIガバナンス構築においても参照に値するものと考える。

1　問題の所在

　AIガバナンスにおける最大の課題は、抽象的な倫理原則をいかにして具体的なシステム要件や運用ルールに翻訳するか、いわゆる「倫理から実装への死の谷」をどう超えるかという点にある。多くのガイドラインは「AIは公平であるべき」と説く。しかし現場の担当者が直面するのは、「どの程度のバイアステストを行えば公平とみなされるのか」「説明不可能なブラックボックスモデルを導入してよいのか」という実務的な問いである。

　NSW州のフレームワークは、この課題に対して自己評価という形式を用いつつ、明確なガードレールを設定することで回答を試みている。その特徴はリアリズムにある。重要な質問に答えられなければプロジェクトを一時停止させ、被害が不可逆的であれば展開を許可しない。明確な停止判断がプロセスに組み込まれている点が、他の多くのガイドラインと一線を画している。

　今回は、以下の3つの視点から分析を行う。第一に、対象範囲とリスク分類の定義、特にElevated Riskの閾値と生成AIの扱いについて。第二に、5つの倫理原則に基づく具体的な評価項目と不可逆的危害への対応について。第三に、AIガバナンスを契約実務に落とし込む調達プロセスとの統合についてである。

2　フレームワークの適用範囲とElevated Riskの定義

　このフレームワークは、NSW州政府機関がAIコンポーネントを含むシステムを設計、開発、配備、調達、または使用するすべてのフェーズにおいて適用が義務付けられている。ここで注目すべきは、リスクのスクリーニングプロセスである。

2.1　Elevated Riskの判定基準

　フレームワークは、自己評価の冒頭で、対象システムがElevated Risk（高められたリスク、実質的にはEU AI法のHigh Riskに相当する概念）に該当するか否かの判定を求めている。以下のいずれかに該当する場合、そのシステムはElevated Riskとみなされ、追加の緩和策や監視、場合によってはAIレビュー委員会による審査が必要となる。

　第一に、運用上の影響。法的またはそれに準ずる重大な影響を及ぼす行政決定に影響を与えるか、あるいは環境やシステムの状態に意味のある変化をもたらす実世界的アクションをトリガーするかという点である。違反切符の発行や給付金の判定、自動警報等がこれに該当する。第二に、自律性。人間の介入なしに自律的に動作するか、あるいは手動の開始を必要とせずに有害な出力を生成する可能性があるか。第三に、データの機微性。機微な情報で訓練されているか、またはそれを出力するか。生体情報や健康情報等がこれに当たる。第四に、予期せぬ害。システムの失敗、誤用、不適切な展開が個人やグループに害を及ぼすリスクがあるか。第五に、説明可能性。一般人や専門家が理解できない決定やコンテンツを生成するかという点である。

2.2　生成AIの特則

　2024年の改訂において「すべての生成AIソリューションはElevated Riskに分類されるべきである」と明記された点は特筆に値する。

　これは極めて強力なポリシー設定である。生成AIはその性質上、ハルシネーションや予期せぬバイアス出力のリスクを内包しており、またその動作原理がブラックボックスになりがちである。NSW州は、用途を問わず生成AIの導入を自動的に高リスク扱いとすることで、最高レベルの監視とガバナンスを強制するアプローチを採用した。現場判断での安易な導入、いわゆるShadow AIを防ぐ狙いがある。

3　5つの原則と不可逆的危害への対峙

　自己評価は、NSW州のAI倫理ポリシーに基づき、コミュニティの利益、公平性、プライバシーとセキュリティ、透明性、説明責任の5つの原則に沿って行われる。各項目には具体的な質問が設定されており、回答内容によってはプロジェクトの一時停止や中止が指示される。

3.1　コミュニティの利益と危害の可逆性

　コミュニティの利益のセクションでは、AIシステムがもたらす利益と危害のバランスが問われる。ここで極めて重要な概念として登場するのが危害の可逆性である。

　質問4では、AIシステムは可逆的な危害を引き起こす可能性があるかが問われる。もし危害が不可逆的であり、かつリスクレベルが中程度以上である場合、明確な法的助言を得るまでプロジェクトを進めてはならないとされる。誤った判断により年金受給が恒久的に停止され回復手段がない場合や、身体的な損害等がこれに該当する。さらに、重大または不可逆的な危害を引き起こす可能性がある場合、倫理委員会の承認や人権影響評価の実施が強く推奨される。AIのリスクを単なる確率論（発生頻度×影響度）だけで捉えるのではなく、取り返しがつくかという人権保護の観点からレッドラインを引いている点は評価に値する。

3.2　公平性とデータの代表性

　公平性のセクションでは、使用するデータの質と代表性が厳しく問われる。「なぜそのデータを選んだのか説明できるか」「データは影響を受ける集団を反映しているか」という問いに対し、NoあるいはUnclearである場合、プロジェクトは一時停止となる。

　マイノリティグループへの影響を具体的に考慮したかを問うている点は注目に値する。障害者、LGBTQIA+、先住民、CALD背景を持つ人々等への影響である。単に統計的にバイアスがないことを確認するだけでなく、特定の脆弱な集団に対する影響分析を義務付けている点は、行政AIならではの視点といえよう。

3.3　透明性とブラックボックス問題

　透明性のセクションでは、いわゆるブラックボックス問題への対処が規定されている。大規模言語モデルのような複雑なモデルは、内部動作の完全な説明が困難である。

　このフレームワークは、ブラックボックス性そのものを理由にAIの利用を一律に禁止してはいない。しかし、AIによる決定や洞察に至る要因を透明に説明できない場合、人間が最終決定を行うか、AIによる決定を容易に覆すプロセスを確立しない限り、プロジェクトを進めてはならないとする。ここでも可逆性と人間の監督が、技術的な不透明性を補完する必須条件として機能している。

4　調達プロセスへの統合と契約による制御

　このフレームワークの白眉は、自己評価の結果を調達プロセスに直接リンクさせている点にある。多くのAIガバナンス文書が自社開発・運用に焦点を当てる中、NSW州は「政府はAIの購入者である」という現実を直視している。

4.1　調達分類とリスクコントロール

　フレームワークは、AIの導入形態をBuy（購入して使用）、Embed（組み込んで共同訓練）、Develop（自ら開発）の3つに分類し、それぞれのリスク特性に応じた対応を求めている。

　既製品を購入するBuyの場合、代理店側のコントロールが効きにくいため、調達段階での要件定義が重要となる。フレームワークは、リスク緩和策をシステム要件や契約条件として明文化することを求めている。

4.2　リスクレベルと契約形態の連動

　NSW州にはICT調達の枠組みとして、低リスク・低額案件向けの簡易契約Core&と、高リスク・高額案件向けの包括契約ICTAが存在する。このフレームワークでは、自己評価の結果、残留リスクがLowを超える場合、より厳格な契約条件を付加できるICTA契約を使用しなければならないと規定している。

　これは法務・知財部門にとって極めて実践的な指針である。AIリスクが高い場合、標準的な契約約款では不十分であり、データの権利、モデルの監査権、責任分界点などについて、特約を盛り込む必要があることをシステム的に強制している。

4.3　サプライヤーへの問い

　フレームワークは、サプライヤーが回答すべき質問を特定し、それをRFx（提案依頼書等）に組み込むことを推奨している。これにより、行政機関はブラックボックスなAI製品を購入する前に、ベンダーに対してアルゴリズムの透明性やデータガバナンスに関する説明責任を課すことが可能となる。

5　説明責任とガバナンス体制

　AIシステムが自律的に動作する場合でも、最終的な責任は人間に帰属する。このフレームワークは、この原則を組織構造に反映させるため、4つの責任ある役職者を特定し、記録することを求めている。プロジェクトスポンサー、エグゼクティブビジネススポンサー、テクニカルシステムオーナー、データガバナンスオーナーの4者である。

　これらの役割は独立した責任を持つため、すべてを同一人物が兼任してはならないと明記されている点が重要である。開発のスピードを優先したいプロジェクトオーナーと、リスク管理を担うデータガバナンスオーナーとの間で健全な緊張関係を機能させようとする設計意図が読み取れる。

　また、AIシステムの運用者に対するトレーニング不足も重大なリスク要因として挙げられている。高性能なAIを導入しても、現場の職員がその限界や過信のリスクを理解していなければ、事故は防げない。運用者の教育状況についても評価対象としている点は実務的に妥当である。

6　残留リスクとエスカレーション

　すべての緩和策を講じた後も残る残留リスクの取り扱いについても、明確なプロセスが定義されている。

　残留リスクがHighまたはVery Highの場合、機関内での承認だけでは不十分であり、NSW AIレビュー委員会への提出と審査が義務付けられる。一方、中程度のリスクであっても、パイロット運用による検証と、独立したリスク監査が推奨される。

　このプロセスが自己評価でありながら、組織内の責任者の署名を必要とし、かつ公文書管理システムへの保存が義務付けられている点も見逃せない。万が一AIシステムが問題を起こした際、誰がリスクを承認したのかという説明責任の所在が明確化される仕組みとなっている。

7　むすびにかえて

　NSW州AI評価フレームワーク（2024）は、AIガバナンスを絵に描いた餅に終わらせないための、極めてプラグマティックな体系である。

　その特徴は4点に集約される。第一に、包括性と強制力。ライフサイクル全体をカバーし、かつ義務化されていること。第二に、生成AIへの厳格な対応。すべての生成AIを高リスクと定義し、監視を強化していること。第三に、レッドラインの明確化。不可逆的危害や説明不能な決定に対し、プロジェクトを停止させる権限を持たせていること。第四に、調達との結合。リスク評価を契約形態の選択に直結させ、サプライチェーン管理を具体化していること。

　日本の行政機関や企業においても、AI利活用ガイドライン等の策定は進んでいるが、ここまで具体的な停止基準や調達連動を盛り込んだ例はまだ少ない。リスク評価の結果次第で契約のひな型を変更するという運用や、生成AIの一律高リスク指定などは、法務リスク管理の観点から参考になる点が多い。

　ガードレールのない政府AIはイノベーションではなくリスクである、というSzarmach氏の言葉が示すように、このフレームワークはイノベーションを阻害するのではなく、安全に加速させるための強固なガードレールとして機能するよう設計されている。AI法規制の具体化が進む中、NSW州のこの実践的アプローチは、一つの到達点として参照できるものと考える。

（マガジン）「AIと法雑感」

※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。