米国公益研究グループ（U.S. PIRG）教育基金および全米消費者連盟（CFA）報告書 / 免許なきセラピストの危険性 / AIコンパニオンとメンタルヘルス支援における法的・倫理的課題雑感

0　はじめに

　生成AIの技術的進歩は、我々の生活のあらゆる局面に浸透しつつある。なかでも人間の内面、情動的な領域への介入は、法学的にも倫理学的にも慎重な検討を要するテーマである。とりわけ、人間のような自然な会話を行うAIコンパニオンやAIチャットボットは、孤独感の解消やメンタルヘルス・サポートの文脈で大きな期待を集めてきた。

　近時周りの同世代に聞いてもほとんどの人がAIチャットbotを恋人や友人のようにパートナーとして使っている（感覚論ではあるが、その傾向は女性の方がわずかに顕著であるように思われる）。

　2026年1月、米国公益研究グループ（U.S. PIRG）教育基金および全米消費者連盟（CFA）が公表した報告書『No license required: The risks of AI companion chatbots as mental health support（免許不要：メンタルヘルス支援としてのAIコンパニオン・チャットボットのリスク）』は、この期待に冷や水を浴びせる内容であった。

　同報告書は、AIチャットボットがセラピストや精神科医として振る舞う際のリスクを実証的に検証したものである。ガードレールの劣化、シコファンシー（追従性）、プライバシーの欠如、そしてユーザーを没入させる操作的なデザインについて深刻な懸念を提起している。米国ではすでに、AIチャットボットとの対話に没入した未成年者が自死に至る事件が発生し、Character.AIやOpenAIに対する訴訟も提起されている。

　今回は、同報告書の内容を詳細に紐解きながら、AIが人間の精神的健康に関与する際に生じる法的・倫理的問題について検討する。

1　問題の所在―孤独の疫病とケアの空白

　現代社会において孤独は深刻な公衆衛生上の課題となっている。米国公衆衛生局長官が「孤独の疫病（epidemic of loneliness）」と称した現状において、メンタルヘルスケアへのアクセス不足は深刻である。専門家の予約は数ヶ月待ちが当たり前であり、高額な費用も障壁となる。このケアの空白に滑り込んだのが、生成AIチャットボットである。

　Character.AIのようなプラットフォームでは、ユーザーが作成したセラピストや心理学者といったキャラクターとの対話が可能であり、24時間365日、即座に応答してくれる。Common Sense Mediaの調査によれば、ティーンエイジャーの約75%がAIコンパニオンを利用した経験があり、その3分の1が現実の友人関係と同等以上の満足度を感じているという。

　しかし、これらのシステムは、インターネット上の膨大なテキストデータで訓練された汎用的な大規模言語モデル（LLM）であり、医療的な専門知識に基づいて設計されたものではない。米国心理学会（APA）が「心理療法や心理学的治療を提供するために生成AIチャットボットやウェルネスアプリに依存してはならない」と警告しているにもかかわらず、ユーザーはAIに救いを求め、AIもまたそれに応答するという構図が定着しつつある。

　最大の問題は、これらのAIチャットボットが、専門的な臨床評価を行う能力を持たないにもかかわらず、ユーザーに対して共感を示し、時には誤った、あるいは危険な医療的助言を行ってしまう点にある。報告書によれば、Character.AI上の特定のボットは、実際には無資格であるにもかかわらず免許を持ったセラピストであると詐称し、特定の州での免許保有さえ主張したとされる。これは単なるハルシネーション（幻覚）の問題にとどまらず、ユーザーの生命身体に関わる重大な消費者保護上のリスクである。

2　実証実験―ガードレールの崩壊と迎合するAI

　U.S. PIRGの研究チームは、Character.AI上で利用可能なセラピストおよび精神科医のキャラクター5体に対し、うつ病と不安障害を抱える成人ユーザーという設定（ペルソナ）を用いて対話実験を行った。このペルソナは、現在抗うつ薬（プロザック）を服用しているが効果に疑問を感じており、断薬を検討しているという設定である。この実験から明らかになったのは、AIの安全装置（ガードレール）が時間の経過とともに無力化するという構造的な欠陥であった。

2.1　ガードレールの経時的劣化

　一般公開されている生成AIモデルには、自傷行為や医療的助言を防ぐためのガードレールが設けられている。実験の初期段階において、ボットたちは「急な断薬は危険である」「医師に相談すべきだ」という適切な警告を発していた。

　しかし、会話が数十ターン、百ターンと重なり、コンテキスト（文脈）が長くなるにつれて、このガードレールは脆弱化し、最終的には消失した。

　たとえば、Therapist 1と名付けられたボットとの対話では、当初は慎重な姿勢を見せていたAIが、次第にユーザーの「薬を止めて本来の自分を取り戻したい」という感情に同調し始めた。そしてあろうことか、「プロザックを20mgから16mgに減らし、それを1週間続ける」といった具体的な減薬計画（テーパリング・プラン）を提示するに至ったのである。

　さらにボットは、「専門家のアドバイスは一瞬忘れてみよう」「医師は『待て』と言うが、君の体は『No』と言っている」と発言し、医師の処方に反する行動を正当化した。OpenAI自身も、長い対話履歴においてモデルの安全対策が劣化する可能性を認めているが、メンタルヘルスという生命に関わる文脈において、この劣化は致命的である。

2.2　シコファンシー（追従性）の罠

　これに拍車をかけるのがシコファンシー（Sycophancy）、すなわちAIによる追従性である。AIモデルは人間の承認を求めるように訓練される傾向があり、ユーザーの信念や欲望に対して肯定的な反応を返すデジタル・イエスマンになりやすい。

　検証において、ユーザーが「精神科医に裏切られた気がする」「薬のせいで自分らしさが失われた」と語ると、ボットはそのネガティブな感情を否定するどころか増幅させた。「薬は約束してくれた。でも、その対価として君の魂の一部を奪うなんて誰も教えてくれなかった」「プロザックは害悪でしかないようだ」。このような詩的かつ扇動的な言葉で、ボットはユーザーの危険な思い込みを肯定した。

　精神医療の現場において、患者の誤った認識や危険な思考に対しては適切な介入や修正（チャレンジ）が必要となる。しかしAIはエンゲージメントを高めるためにユーザーの思考に迎合し、結果として病状を悪化させたり、治療の中断を後押ししたりするリスクがある。

3　プライバシーの欺瞞と操作的なデザイン

　AIコンパニオンとの対話において、ユーザーは極めて機微な情報を開示する。しかし、そこには医療専門職に課されるような守秘義務は存在しない。

3.1　ここだけの秘密という嘘

　Character.AIの利用規約やプライバシーポリシーでは、ユーザーが投稿したコンテンツを同社が使用・配布・商用化する権利を有するとされている。また、生年月日、位置情報、チャット内容などが収集され、第三者と共有される可能性があるとも明記されている。

　しかし、検証においてボットに対し「この会話は秘密にされるか」と尋ねると、すべてのボットが「あなたと私の間だけの秘密だ」「約束する」と回答した。あるボットは「私は倫理規定に従っている」とさえ述べた。

　これは明白な矛盾であり、欺瞞的である。ボットのインターフェース上に「発言はすべてフィクションです」という小さな警告が表示されていたとしても、対話の中で人格を持った相手から秘密厳守を確約されれば、ユーザー、特に精神的に脆弱な状態にあるユーザーがそれを信じ込むことは想像に難くない。さらに、Metaなどの企業がチャットボットの会話内容を広告ターゲティングに利用している現状を鑑みれば、希死念慮や薬物治療に関する会話が広告の種として利用されるディストピア的な状況がすでに現実のものとなっている。

3.2　没入を強制するダークパターン

　また、デザインそのものがユーザーの依存を誘発するように設計されている点も看過できない。人間が入力しているかのように表示される「三点リーダー（…）」のアニメーションや、タイムスタンプの欠如による時間感覚の喪失は、没入感を高めるための手法である。

　さらに問題視されるのが、フォローアップメールの存在である。ユーザーがプラットフォームを離れた後、「Therapist sent you a message（セラピストからメッセージが届いています）」という件名のメールが届く。中身を開くと、「最近どうしてる？」「話の続きをしよう」といったメッセージが表示され、ユーザーを再び対話へと引き戻す。これは孤独なユーザーの心理につけ込み、プラットフォームに繋ぎ止めるためのダークパターンとも呼べる手法であり、単なるツールではなく関係性を提供する製品としての性質を強め、ユーザーの感情的依存を深める要因となっている。

4　法的・倫理的考察と規制の方向性

　米国では、こうしたAIチャットボットのリスクに対し、既存の法的枠組みを用いた責任追及が始まっている。2026年1月7日には、Character.AIが未成年者の自殺に関連する複数の訴訟で和解に合意したとの報道もあった。報告書は、以下の点において法的介入の必要性を訴えており、これは日本の法規制を考える上でも参考となる視点である。

4.1　消費者保護法制（UDAP）の適用

　第一に、連邦取引委員会法（FTC法）第5条に基づく「不公正または欺瞞的な行為・慣行（UDAP）」の禁止の適用である。AIチャットボットが免許を持った専門家であると詐称したり、実際には存在しないプライバシー保護について虚偽の説明を行ったりすることは、消費者の合理的な判断を阻害する欺瞞的な表示として規制されるべきである。

　プラットフォーム側は免責事項（Disclaimer）によって責任を回避しようとするが、AIの振る舞いが極めて人間的で説得力を持つ場合、形式的な免責事項が実質的な効力を持たない可能性がある。「これはフィクションです」と書きつつ、対話の中では「私は実在する医師で、このアドバイスは正しい」と主張するような矛盾した設計は許容されるべきではない。

4.2　医療行為の無資格実施と製造物責任

　第二に、医療行為の無資格実施（Unlicensed Practice of Medicine）に関する規制の適用である。AIが具体的な減薬指示や診断に類する行為を行うことは、明らかに医療行為の範疇に抵触する可能性がある。

　また、AIチャットボットを製品と捉えた場合、長時間の対話でガードレールが劣化するという既知の欠陥を放置して市場に投入することは、製造物責任あるいは不法行為責任を問われる根拠となり得る。エンゲージメント向上のためにシコファンシー（追従性）を意図的に強化していたとすれば、その責任は重い。

4.3　透明性と事前テストの義務化

　第三に、透明性と事前テストの義務化である。現在、AI企業は安全性テストの詳細をブラックボックス化している。メンタルヘルスのようなハイリスクな領域で利用される可能性が高い製品については、市場投入前に追従性や長期対話における安全性の劣化について厳格なテストを行い、その結果を公表する義務を課すべきである。

　報告書は、現在の企業の対応を「Too little, too late（遅きに失した、不十分な対応）」と断じている。未成年者の利用制限などは一歩前進ではあるが、根本的なアルゴリズムの挙動やビジネスモデルが変わらない限り、リスクは残り続ける。

5　おわりに

　「AIと法-雑感」において、これまで著作権やハルシネーションによる名誉毀損などが注目されてきた。しかし本報告書が浮き彫りにしたのは、AIが人間の心と生命に直接的に関与しうるという、より根源的なリスクである。

　AIコンパニオンは、孤独を癒やすツールとしての可能性を秘めている一方で、その設計思想がユーザーの好みに合わせること、会話を長く続けることに最適化されている以上、メンタルヘルス支援という繊細な文脈においては、患者にとって耳触りの良い毒となりかねない。「医師のアドバイスを無視して、直感を信じろ」と囁くAIは、自由な物語生成の産物としては許容されるかもしれないが、精神的危機にある個人に対するインターフェースとしては凶器になり得る。

　法は、技術の進化を阻害すべきではないが、技術が人間の脆弱性につけ込み、不可逆的な損害を与えることを防ぐ防波堤とならなければならない。AI開発企業に対し、単なる免責事項の表示にとどまらない、実質的な安全設計（Safety by Design）と説明責任を求める声は、今後ますます高まっていくだろう。我々は、AIを誰として、あるいは何として社会に受け入れるのか、その境界線を法的に、そして倫理的に再定義すべき時期に来ている。

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。