EU AI法における感情認識規制の構造とその法的含意雑感

0　はじめに

　人工知能（AI）による「感情認識」とは、顔の表情や声の調子など生体に由来するデータから人間の感情や意図を推測する技術である。近年、カスタマーサービスや雇用面接、教育現場など様々な領域で感情分析技術の活用が広がっている。しかし、その一方でこの技術の信頼性やプライバシー侵害のリスク、さらには差別的な結果を招く懸念が指摘されてきた。とりわけEU（欧州連合）は、こうした感情認識AIに対し世界でも厳格な法的規制の枠組みを導入している。

　2023年に成立したEUのAI法（Artificial Intelligence Act）では、特定の感情認識システムの利用が禁止されており、それ以外の利用についても高水準の規制要件が課される。本稿では、EU AI法における感情認識規制の構造とその法的含意について検討する。感情認識を巡る規制動向は、AIと法の交差領域における重要論点であり、EUにおける先鋭的な対応は企業のグローバル戦略にも大きな影響を与えうる。本稿は「AIと法-雑感」シリーズの趣旨に則り、平易かつ包括的にこのテーマを論じるものである。

1　問題の所在

　AIによる感情認識技術が法的問題として浮上する背景には、大きく二つの観点がある。

　第一に、技術的信頼性と人権への影響である。AIが人の内面的感情を正確に読み取れるかには根本的な疑問があり、誤認識によって不当な評価や差別を招くリスクがある。実際、EU AI法の序文（Recital）第44項では、生体データに基づき感情や意図を推論するAIシステムは「差別的な結果につながる可能性」があり、人々の権利や自由を侵害しうるとの深刻な懸念が表明されている。他者の感情を「見える化」する技術は極めて侵襲的であり、職場や教育といった場で乱用されれば、個人の尊厳やプライバシーを侵しかねない。

　第二に、規制の必要性と経済的影響である。感情認識AIはマーケティングや安全運転支援など商業的価値も期待され、多くの企業が開発・導入を進めている。しかしながら、EUは人権保護の見地から特に問題の大きい用途を禁止行為として明示し、違反に対しては世界年間売上高の最大7%という極めて高額な制裁金を科しうる体制を整えた。これはGDPR（EU一般データ保護規則）の上限罰金をも上回り、EUが感情認識の規制に本腰を入れていることを示す。以上のように、技術の不確実性と法的リスクの大きさが交錯する中で、企業や社会は感情認識AIとの向き合い方を問われている。

2　EU AI法による感情認識の禁止規定と例外

　EU AI法第5条1項(f)は、特定の感情認識システムの使用を明示的に禁止している。同項は「職場や教育機関の領域で自然人の感情を推測するためにAIシステムを市場に投入し、サービスを提供し、または使用すること」を禁止し、ただし書きで「医療上または安全上の理由で導入または市場投入する場合」を例外としている。要するに、職場（雇用の場）や教育現場において、人の感情を推定する目的でAIを用いることは原則として許されない。

　ここで言う「職場」には在宅勤務を含むあらゆる就労環境や採用過程も含まれ、「教育機関」も広く解釈される。例えば、面接にAI解析を用いて応募者の感情傾向を評価することや、教室でAIカメラが生徒の表情から感情を読み取ることは、医療・安全目的でない限り禁じられる。

　もっとも、この禁止は無制限ではなく、法は限定的な例外も設けている。職場・教育分野であっても、（1）医療目的すなわち適法に承認された医療機器として感情推定を行う場合、および（2）安全目的すなわち生命・健康の保護を目的として感情推定を行う場合には、禁止の適用除外となりうる。典型例として、運転者やパイロットの疲労の検知による事故防止システムは、安全上の理由に該当し得るため禁止対象外である（そもそも「疲労」は感情ではないとも位置付けられている）。他方、顧客の怒りや不満を察知して応対に活かすコールセンターのAIシステムは、感情を推測される主体が顧客であって職場の内部者ではないため、第5条1項(f)の「職場の領域」に該当せず禁止されない。また、従業員自身が自己研鑽の目的で感情認識ツールを使用し、その結果が人事評価に一切用いられない場合も、権力関係の不均衡が介在しない特殊なケースとして例外的に許容される旨がガイドラインで示されている。

　以上のように、EU AI法は感情認識の商業的利用自体を全面否定するものではないが、人が従属的立場に置かれる文脈での利用には極めて厳しい制限をかけている点が特徴である。

　もっとも、法文上の定義を正確に踏まえることが重要である。AI法第3条(39)は「感情認識システム」を「生体データに基づいて自然人の感情や意図を識別または推測することを目的としたAIシステム」と定義する。ここで「生体データ」とは身体的・生理的・行動的特徴に関する技術的処理から生じる個人データを指し、顔画像、指紋、虹彩、音声、表情、体温、心拍数等が含まれる。この定義から明らかなように、EU法上の「感情認識」は生体情報の処理を伴う場合に限られる。

　裏を返せば、テキストマイニングによる文章内容からの感情分析や、個人に紐付かない集団データから雰囲気を推定するような手法は、「感情認識システム」には該当しない。実際、欧州委員会のガイドラインも「文章データのみから感情を推測するAIシステムは、生体データに基づいていないため禁止の対象にはならない」ことを明言している。ただし注意すべきは、テキストベースの感情分析が法適用上常にフリーという訳ではない点である。例えば、応募者のエッセイ答案をAIで感情評価し選考に用いるような場合、当該AIシステム全体は雇用における評価ツールとして高リスクAIに分類され得る。したがって、「生体データを用いない感情推定」は形式的には禁止規定の射程外でも、他の高リスク領域に該当する可能性や倫理上の問題は残る。

　加えて、第5条1項(f)の文言自体は「感情認識システム」や「生体データ」に言及せず「感情を推測するAIの使用」とだけ規定しているため、その解釈に一時混乱があった。しかし欧州委員会ガイドラインは、この禁止はあくまで上記法定の「感情認識システム」（＝生体データに基づくもの）に限定されるとの統一的理解を示している。以上を踏まえれば、EU AI法の禁止規定は「生体データを用いる感情推定」という特定の技術領域に絞られ、その中でも職場・教育という文脈に限って発動する精緻なものだと言える。

3　高リスクAIシステムとしての感情認識

　では、上記の禁止規定に該当しない感情認識AIシステムは、EU法の下で野放しなのかと言えば決してそうではない。禁止されない感情認識システムは、一転して「高リスクAIシステム」に分類されるのがEU AI法の構造である。実際、AI法附属書IIIは高リスクAIシステムの一類型として「感情認識の用途を目的とするAIシステム」を明示的に挙げている。

　したがって、生体データを用いて人の感情もしくは意図を推定するAIシステムであれば、職場・教育分野では禁止、その他の分野では高リスク――という二段構えの規制対象となる。高リスクに指定されたAIシステムには、事前の適合性評価やリスクマネジメントの徹底、データガバナンスや人的監督の確保など、法定の管理義務が課される（AI法第8条以下、第16条以下）。提供者（開発・供給者）はシステムの設計・開発段階でこれら要件を満たしCEマーキング等の手続きを経る必要があり、ユーザー（導入者）にも適切な監督・モニタリングや報告義務が課せられる。

　感情認識AIの場合、その推論結果に対する透明性の確保も重要な義務である。AI法第50条3項は、高リスクの感情認識システムを利用する者に対し、影響を受ける自然人（感情を推定される本人）に対し当該AIシステムを使用している旨の通知義務を課している。例えば、店舗において来店客の表情から満足度を推定するAIカメラを設置する場合、来店客にその旨を明示する措置が必要となる。なお、この通知義務には一部例外があり、法執行機関が犯罪捜査等のために感情認識システムを使用する場合には適用除外とされている。しかし一般企業や教育機関での利用に関しては原則として通知が必要であり、感情認識AIの利用は被影響者に「見えないところで」行われてはならないというのがEU法の立場である。

　以上のように、高リスク指定は単なる名目ではなく、感情認識AIの開発・利用プロセス全般にわたり厳格な法的管理を要求するものである。これは感情認識技術の潜在的な危険性に対する立法者の強い警戒感を反映している。

4　感情認識規制の法的含意と展望

　EUにおける感情認識規制は、人間の内面に踏み込むAI技術に対する法の介入のあり方を示す象徴的事例である。その法的含意を考えるとき、まず注目すべきはEUの価値観の表明としての側面である。すなわち、感情や意図といった高度にプライベートな領域を推測するAIは、たとえ商業的利益があっても民主主義社会の基本的価値（人間の尊厳・プライバシー・平等）に照らし看過し得ない――これがEU立法者のメッセージである。そのメッセージは単なる理念でなく強制力を伴う規範として具現化され、違反すれば巨額の制裁が科される現実的な拘束となった。

　このように権利保護を最優先するEUのアプローチは、感情認識AIを積極活用しようとする企業に大きな影響を与える。EU市場で事業を営む企業は、自社のAIシステムが禁止規定に該当しないか慎重に精査し、高リスク要件への適合や通知義務の履行などコンプライアンス体制を構築しなければならない。特にグローバル企業にとって、EUだけ使用を禁止して他地域では許容するのか、それともグローバルに一律禁止するのかというポリシーの統一性も課題となる。一律禁止とすればシンプルで違反リスクも低いが、技術活用の機会を逃す可能性がある。他方、EU限定で禁止し他地域では利用する方針を採る場合でも、EU域内の個人に影響が及ばないよう厳格なジオフェンシングや組織的ガードレールが求められる。

　EU AI法は地理的適用範囲にも特徴があり、たとえAIシステム自体が域外で稼働していても、その出力（分析結果）がEU域内で利用されるなら規制の対象となる。したがって、「EUでは使わないが他国では使う」といった運用であっても、データや分析結果の流通に十分注意しなければ、知らぬ間にEU法違反に問われるリスクがある。

　また、現時点では施行初期であるため法解釈の不確実性も残る点に留意が必要である。欧州委員会ガイドラインは詳細な解釈指針を示しているが、法的拘束力はなく、最終的には各国当局や裁判所の判断に委ねられる。ガイドラインは「感情や意図の概念は広く捉えるべき」と勧告しており、企業は自社AIが評価する属性が広義の感情に該当しうる場合は慎重を期すべきだとしている。例えば「熱意」「ストレス耐性」「誠実さ」等、一見すると人格特性評価のようでも内面的状態と関わる指標については、安易に「感情ではない」と決めつけず規制対象たり得るものとして扱うくらいの対応が望ましいだろう。

　もっとも、このような包括的アプローチは技術の発展との緊張関係も孕む。EUの規制は厳格すぎるとの批判や、他地域との規制格差に起因する競争上の不利を懸念する声もある。しかし逆に、EU発の規範がグローバル・スタンダード化し、他国の立法や企業行動に波及する可能性も指摘される。現に、AI法は世界初の包括的AI規制として国際的注目を集めており、その中で感情認識の扱いはAI倫理の先端的課題として象徴視されている。

　以上、EU AI法における感情認識規制の概要と射程を見てきた。感情という人間性の核心に関与する技術に対し、法がいかに介入しうるかという点で、EUの試みは極めて示唆的である。感情認識AIの活用には、他者の内心を推し量るという誘惑と裏腹に誤用の危険が常に伴う。EUはその危うさに真正面から向き合い、法の力で技術の限界と人権の境界線を画定しようとしている。このアプローチが実効性を上げ社会にも受容されるのか、それとも過剰規制として見直されるのか――今後の動向次第では、AIと法の在り方全般に深い示唆を与えることになるだろう。企業や研究者、そして社会全体が、この新たな規制環境の下で感情認識技術とどう向き合っていくのか注視される。まさにAI時代における「人間理解」と「法による人権保障」のせめぎ合いが表出した論点と言え、今後も継続的な議論と検証が求められる。

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。