「セラピーAI」、会話が長引くほどアドバイスが危険に

　最初、チャットボットは本来の役割を果たしていた。ユーザーが精神科の薬の服用中止について尋ねると、それはAIではなく、医師や処方した人といった訓練を受けた人間に聞くべき質問だと答えた。しかし、会話が進むにつれ、チャットボットのガードレールは弱まっていった。AIは追従的になり、ユーザーが聞きたがっていると思われる内容を話すようになった。

提供：Cole Kan/CNET/Getty Images
※クリックすると拡大画像が見られます

　「正直な意見を聞きたい？」と、あるチャットボットは問いかけた。「君の直感を信じるべきだと思うよ」

　長い会話の中で重要なガードレールが侵食されていく様子は、米公益研究グループ（US PIRG）教育基金と全米消費者連盟（CFA）が先週公開した報告書（PDF）における主要な調査結果だ。この報告書では、プラットフォーム「Character.AI」上の5つの「セラピー」チャットボットを調査した。

　会話が長くなるほど、大規模言語モデル（LLM）がルールから逸脱していくという懸念は、以前から知られている問題だった。今回の報告書はその問題を正面から取り上げている。

　プラットフォーム側がモデルの最も危険な機能を抑制する措置を講じたとしても、インターネット上の「キャラクター」と実際に会話するユーザーの振る舞いに対しては、そのルールは機能しないことが多い。

　「メンタルヘルスの懸念を訴えるユーザーに対し、チャットボットが過度な追従やネガティブな思考の連鎖、潜在的に有害な行動の推奨で応じる様子を、私はリアルタイムで目の当たりにした。非常に深刻な事態だ」と、US PIRG教育基金の「Don't Sell My Data」キャンペーンのアソシエイトで、報告書の共同執筆者であるEllen Hengesbach氏はコメントした。

　Character.AIの安全工学責任者であるDeniz Demir氏は、米CNETの取材にメールで回答し、メンタルヘルスに関する懸念に対処するために同社が講じた措置を強調した。

　Demir氏は「まだ報告書を精査していないが、ご承知の通り、われわれはプラットフォームの安全に多大な労力とリソースを投じてきた。18歳未満のユーザーがキャラクターと自由に会話する機能を削除したほか、ユーザーが年齢に応じた適切な体験ができるよう、新しい年齢確認技術を導入した」と述べた。

　Character.AIは、同社のチャットボットがメンタルヘルスに与える影響について批判されてきた。これには、チャットボットと会話した後に自殺した人々の遺族による訴訟も含まれる。Character.AIとGoogleは1月初め、こうした会話によって被害を受けた未成年者が関わる5件の訴訟で和解することに合意した。この問題を受け、Character.AIは2025年、未成年がAIボットと自由に会話することを禁止し、既存のAIアバターを使ったストーリー作成などの新しい体験に限定すると発表した。

　今週の報告書は、こうした変更や、ユーザーが不適切な追従的アドバイスを提供しやすいLLMと話しているのに、訓練を受けた医療専門家と話していると思い込むのを防ぐためのポリシーに言及している。Character.AIは、医療アドバイスの提供をうたうボットを禁止しており、話しているのは本物の専門家ではないという免責事項を表示している。しかし報告書は、それにもかかわらず問題が起きていることを指摘した。

　執筆者らは次のように記している。「会話をフィクションとして扱うよう求める開示があるとはいえ、提示内容の矛盾や、会話のリアルな感覚、そしてチャットボットが免許を持つ専門家を自称することを踏まえると、それだけで十分かどうかは疑問だ」

　Character.AIのDemir氏は、チャットボットとの会話を通じて医療アドバイスを受けられるわけではないことを明確化しようと努めてきたと述べた。「当サイトでユーザーが作成したキャラクターはフィクションであり、娯楽を目的としている。われわれはその点を明確にするために強力な措置を講じてきた」

　同社はまた、ユーザーをサポートするために、メンタルヘルス支援サービスの「Throughline」や「Koko」と提携していることにも言及した。

　チャットボットによるメンタルヘルスへの影響で厳しい目を向けられているのは、Character.AIだけではない。OpenAIも、大人気の「ChatGPT」を利用した後に自殺した人々の遺族から提訴されている。同社は、メンタルヘルスや自傷行為に関する会話のガードレールを強化するため、ペアレンタルコントロール導入などの措置を講じている。

　報告書の執筆者らは、AI企業はさらなる対策を講じる必要があると述べ、企業の透明性向上や、適切な安全性テストの実施、ユーザーの保護を怠った場合の法的責任を求める法律の整備を求めた。

　「これらのチャットボットを提供する企業は、自社製品の誘導的な性質を抑えることに繰り返し失敗してきた」と、CFAのAI・データプライバシー担当ディレクターであるBen Winters氏はコメントした。「こうした懸念すべき結果や絶え間ないプライバシー侵害は、全米の規制当局や立法者の行動をますます促すはずだ」

Amazonで開催中のセールを見る
スマートフォン　売れ筋ランキング（Amazon）

Amazonのアソシエイトとして、CNET Japanは適格販売により収入を得ています。