意外と騙されやすい、「AIによる概要」の脆弱性

一言で説明すると、「生成AIを騙せるか」という実験に関するレポートになります。タイトルだけ見るとただのジョークに見えますが、この記事の内容は生成AIの情報収集における弱点を示唆するものとなっています。

AIは「ハック」できるのか

記事では、記者が自分のことを「ホットドッグ早食い王者」であると生成AIに思い込ませる実験を行っています。

実際に行ったことは比較的わかりやすく、まず自分のサイトに実績ページを作り、次にニッチで競争の少ないテーマ（今回ならホットドッグ早食い）を選び、最後にその（偽の）情報をネット上に公開しました。すると、短時間のうちに生成AIがその内容を参照し、あたかも事実であるかのように説明し始めたとのことです。

ちなみに記事によると、

とのことで、モデルによって温度差もあったようです。
そして、

後で情報更新および検証によって、きちんと修正されたとのことです。
さすがに騙されっぱなしということはなかったようです。

なぜこのような結果になったのか

生成AIは、世界中の「全ての事実」を知っているわけではありません。基本的には「学習データ」「信頼度推定」「外部の情報（検索など）」といった要素を組み合わせて、確率的にもっとも「それらしい回答」を生成します。

つまり、ネット上に存在する情報は生成AIの回答の一部に反映される可能性があり、特に今回のケースのようなニッチな分野では記者が作成した情報が唯一存在する情報となり、それが事実であるかのように見えてしまうリスクがあります。
今回の事例は、まさにこのような過程を経て起こったと考えられます。

また、記事では以下のように指摘されています。

生成AI（GoogleのAIによる概要も含む）は一般的な検索結果と違い、総合的に要約された回答だけを提示するため、利用者はそれを「中立的な立場からの結論」であると誤解しやすくなっている、ということです。
その情報が客観的に見て正しいかどうかは、一切保証されていないことに注意しなければなりません。

実際に報告されている事例

記事では、この仕組みが悪用された事例が紹介されています。

これらの事例は、BBCの調査内容を引用・解説した別の記事 [1] でも紹介されており、実際に起こったものとして考えて良いでしょう。

上記の事例は好ましくない例になりますが、今回のような手法で生成AIに出力される回答を「意図的に」操作する事が、良くも悪くも新たなマーケティングの手法になりうることが示唆された形となります。

医療に関する情報で同じ事が起こると…

インターネットに溢れる医療に関する情報の中には、根拠に基づいた有益な情報もたくさん存在しますが、中には根拠に乏しい信憑性に欠ける情報も存在します。

もし後者の情報を発信したいと考えた人が、今回の記事のように専用のウェブサイトを作成して大々的に宣伝した場合、ホットドッグ早食い王者と同様の経過を辿る可能性があり、一時的とはいえAIを介して根拠に乏しい情報が拡散されてしまうリスクがあります。

我々医療従事者であれば自らの知識でファクトチェックする事が可能ですが、専門知識を持たない方からしてみれば、このような類の情報を客観的に検証することは困難です。それに加え、SNSでバズっているから、仲のいい人が言っているから、あの有名な人が言っているから…といった理由で、盲目的に信じてしまうケースも考えられます。

そうなると、本来起こり得なかった健康被害が生じてしまう可能性があります。そして、このような経緯で健康被害が生じた場合、正式に誰かから補償してもらえることはありません。

これは私の意見ですが、こういった事態を防ぐためにも、医療分野の専門家には患者さんから気軽に健康相談してもらえるような関係づくりが必要だと考えています。
直接何かの加算が算定できて評価されるわけではないかもしれませんが、医療の担い手として誰かの健康被害を防ぐためにも、コミュニケーションを軽視することがないようにしたいですね。

今回のまとめ

最近の生成AIは検索連動型のものも多いですが、これらはインターネットに溢れる情報の変化に伴い、回答の質が変化する可能性があります。そして、特に「AIによる概要」は、その影響を受けやすいと考えられます。

加えて、情報が真実であるかどうかを検証してから回答してくれるわけではありません。ゆえに、検索連動型の生成AI（特にAIによる概要）を活用する時は、必ず回答の情報元を確認し、内容を検証しましょう。

そして、「情報は必要だが、自分で検証するのが難しい」場合は、ためらわずその分野の専門家に相談しましょう。

参考文献

[1] aicarma記事「The 20-Minute AI Hack: How Scammers Hijack Your Brand in Google Overviews」
https://aicarma.com/blog/hacked-ai-overviews-brand-hijacking/

最後までお読みいただき、ありがとうございました。
Webサイト「薬剤師のためのAIノート」も、是非ご覧ください。

記事に関する内容以外のお問い合わせは、以下のフォームよりお願いいたします。

また、書籍「超知能時代の調剤薬局」発売中です。
Kindle Unlimited会員の方は無料で読むことができます。