AIでファクトチェックしていた私が、ある調査で考えを根本から変えた話

「AIに聞いたら、すぐに答えが出た」——最近、そんなことが当たり前になってきましたよね。実は私も、医療情報の裏付けを取るとき、ニュースの真偽を確かめるとき、AIをファクトチェックに活用してきた一人です。便利だし、速い。そう思っていました。ところが2026年5月に公表されたある調査を読んで、正直に言います——やり方を、根本から考え直さなければならないかもしれないと感じました。1,000件の主張を5つの最先端AIに検証させたところ、67%のケースで——3件に2件で——AIの答えが一致しなかったというのです。

これは「AIが使えない」という話ではありません。でも、この調査結果を見たとき、思わず手が止まりました。「67%」という数字は、あまりにも大きすぎる。

調査を行ったのは「Lenz Research」という機関で、2026年5月に「Snapshot v1.0」というレポートとして発表されました。今の世界でトップクラスとされる5つの大規模言語モデル（LLM）に、1,000件のリアルなユーザーの主張を検証させた実験です。その結果、672件（67%）において、AIモデルの間で意見が一致しませんでした。

モデル間の合意の程度を示す統計指標「クリッペンドルフのα」は0.639。専門的な数字ですが、一言で言えば「各AIはランダムに答えているわけではない。でも、単一の信頼できる審判として使うには一致性が足りない」という水準です。つまりAIたちは、それぞれが独自の論理を持ちながら、互いに相容れない「真実」を返してくる——そういうことなのです。

私はここで、少し立ち止まって考えました。これまで私は「AIに問いかけ、返ってきた答えを起点に裏付けを確認する」という使い方をしてきました。でも、その「起点」自体がモデルによって真逆になりうるとしたら、どうでしょう。最初の一歩の方向が間違っていれば、どれだけ丁寧に歩いても、たどり着く場所がずれていく。そんな感覚が、じわじわと湧いてきました。

「だいたい正しい」が、一番難しい

この調査で特に目に留まったのが、評価の中間地点での一致率の話です。

検証では評価を「True（真実）」「Mostly True（概ね真実）」「Misleading（誤解を招く）」「False（偽）」の4段階で行いました。「True」や「False」という極端な判断では、ある程度足並みが揃う場面もあります。しかし「Mostly True（概ね真実）」という中間的な評価で全モデルが一致したケースは——驚くべきことに——0%でした。

医療の情報を扱う私には、これが非常にリアルな話として響きます。医学の世界では、「確実に効く」とも「確実に効かない」とも言い切れないことが、むしろ大半です。「一部の人には有効だが、別の文脈では誤解を招く可能性もある」——そんな情報が圧倒的に多い。人々が日常で触れる情報の大半がまさにこのグレーゾーンにあって、AIはそこで最も足元をすくわれるのです。

白か黒かを決めることはできる。でも「この色は白寄りのグレーです」と正確に示すことは、どのモデルにとっても難しい。AIを「正解を出してくれる機械」として期待してきた私たちへの、静かな警告だと思います。

3件に1件、真逆の答えが出る

さらに見逃せないのが、34%のケースで「致命的な乖離」が起きているという事実です。

「致命的な乖離」とは、あるモデルが「True（真実）」と判断した一方で、別のモデルが「False（偽）」と判断するような、評価が2段階以上離れた真逆の結論のことです。3件に1件の割合で、AIによって「真実と偽が入れ替わる」世界に、私たちはいます。

レポートには具体的な事例も掲載されています。インドの元クリケット選手ムティアー・ムラリダラン氏の発言——「IPLは純粋なビジネスであり、スポンサーのためにあえて点数が入りやすいグラウンド設定にしている」という主張——を5つのAIに検証させた結果、GPT-5.4は「True（真実）」、Claude Opus 4.7は「Mostly True（概ね真実）」、Gemini 3 Proは「False（偽）」、検索機能付きのGemini 3 ProとSonar Proはそれぞれ「Misleading（誤解を招く）」と判断しました。

同じ文章、同じ問い。にもかかわらず、答えは真実から偽まで完全に分かれています。

私はこれを見て、こんな光景を思い浮かべました。5人の専門医が同一の検査データを見て、全員がまったく異なる診断を下している——患者さんは、誰の言葉を信じればいいのか。現実の医療では議論を経て合意形成が行われますが、AIはそのプロセスを持ちません。それぞれが独立して「正解」を返してくるだけです。

「法務は77%が割れる」——専門性が高い領域ほど要注意

分野ごとの不一致率も、注目すべきデータです。法務（Legal）分野で77%、金融（Finance）分野で67%、歴史（History）分野で53%という結果が出ました。

なぜ歴史は比較的ばらつきが少ないのか。歴史的な事実の多くはすでに確定しており、AIの学習データも安定しているからです。一方、法務は法改正や判例の積み重ね、金融は市場の変動や規制の解釈——どちらも「今まさに変化している」世界を扱っています。変化の速い領域ほど、AIの答えは割れやすい。

医療も同様です。治療ガイドラインは数年おきに改訂され、新たなエビデンスが既存の「常識」を覆すことも珍しくありません。法務で77%の不一致が出るなら、医療分野でも同水準の問題が生じていてもおかしくない——私はそう考えます。「専門的な分野だからこそAIを信じていい」という発想は、むしろ逆かもしれないのです。

「ベンチマーク」という名の試験対策問題

なぜ既存のAI評価テストではこの深刻な不一致が見えにくかったのでしょうか。

答えは「ベンチマークの汚染」にあります。従来のテストデータは公開から時間が経過しており、AIがその正解を学習過程で事実上暗記してしまっている可能性が高い。試験問題の答えを事前に丸暗記した学生が、本番で高得点を取るようなものです。テスト成績は良くても、本物の思考力とは別の話になっています。

今回の調査が優れていたのは、過去180日以内に投稿された最新の主張を使い、かつAIに「わからない（棄権）」という選択肢を与えない「強制選択」形式をとった点です。「空欄はダメ、必ず何か書け」と言われたとき、人間でも追い詰められて苦し紛れの答えを書くことがある——公認心理師として、そういう状況下での判断の危うさはよく理解できます。AIも同様に、不確かな情報に対して無理に答えを生成する「ハルシネーション（幻覚）」のリスクが高まり、各モデルの限界が白日の下にさらされたのです。

私自身が、やり方を変えることにした

では、私たちはどうすればいいのか。

この記事を書きながら、自分自身の使い方を整理し直しました。これまでの私のファクトチェックは、一つのAIの返答を「出発点」として使いつつも、どこかで「このAIが言うなら大体正しいはず」という甘えがあったと思います。でも、67%が割れ、34%が真逆になる——その現実を知った今、その甘えは手放すべきだと感じています。

具体的には、同じ問いを複数のモデルに投げかけ、答えが一致しているか、どこで割れているかを確認するプロセスを加えることにしました。「このAIはこう言っているが、別のAIは違う解釈をしている。ならば自分はどう考えるか」——そこまで問い直すことが、本当の意味でのファクトチェックになると気づいたのです。

医療の現場でも、優れた指導医は「正解はこれだ」と一方的に告げるのではなく、「なぜそう判断した?」「別の可能性は?」と問い続けます。AIとの関係も、これと似てきているのかもしれません。答えを教えてもらう道具ではなく、自分の思考に問いを立ててくれる壁打ち相手として——そういう使い方ができたとき、AIは本当の意味で私たちの力になると思います。

まとめ

最後に、今回お伝えしたかったことを整理して終わります。

最先端のAIが同じ問いに対して67%のケースで異なる答えを出すという事実は、AIを「唯一の正解源」として扱うことへの明確な警鐘です。特に「概ね真実」のようなグレーゾーンの評価においては、モデル間の合意はほぼ達成されていません。34%のケースでは「真実」と「偽」が真逆になるという致命的な乖離も起きています。法務・金融・医療のように専門性が高く変化の速い分野ほど、AIへの依存リスクは高くなります。そして、AIでファクトチェックをしてきた私自身も、この結果を受けてやり方を根本から見直すことにしました。

「AI時代に必要なのは、考えることをやめないこと」——この言葉を、あなたにも届けたいと思います。情報に振り回されず、自分の軸で判断できるあなたは、きっとこの時代を賢く生き抜いていける。私はそう信じています。

長文にもかかわらず、最後までお付き合いくださりありがとうございます。これからも、いい意味で"ちょっとだけマニアックな"情報を届けていけたらと思います。

#AI活用 #情報リテラシー #ファクトチェック #批判的思考 #note医療