メインコンテンツへスキップ
見出し画像

同じURLを複数のAIに投げたら、全部違う答えが返ってきた

    きっかけは、ただの横着

    NewsPicksの記事URLをAIに投げて「要約して」と頼む。いつものやつだ。

    GensparkというAI検索サービスに記事のリンクを貼った。テレンス・タオという数学者がAI時代の生き方を語った記事で、コメント欄の発言を一つずつ拾った丁寧な要約が返ってきた。

    同じURLをPerplexityにも投げてみた。Perplexityは対話型のAI検索ツールで、Web上の情報を横断的に集めて回答を作る。

    返ってきた内容が、けっこう違う。

    Gensparkがコメント欄を忠実に紹介していたのに対して、Perplexityはコメント欄を完全に無視。代わりに別のニュースサイトやRedditの議論を引っ張ってきて、ビジネス向けの活用法まで独自に展開していた。

    方向性は似ている。でも素材も構成も違う。同じURLなのに。

    面白くなって、ChatGPT、Gemini、Claudeにも同じことをやってみた。


    古い記事が、勝手に「最新版」になっていた

    ほか2つの記事も含め、計3つのURLで試した。最新記事、2019年の古い記事、情報がほぼない書籍紹介ページ。すべてNewsPicks。
    条件を変えれば違いが見えるかもしれない、くらいの気持ちだった。

    一番驚いたのは、2019年のイラン問題の記事だ。

    Gensparkは当時の内容をそのまま返してきた。2019年のコメント欄の議論も含めて、7年前の記事として忠実に要約した。

    Perplexityは、元記事をほぼ無視した。代わりに2026年現在の米イスラエルによるイラン攻撃やその後の情勢で、回答をまるごと組み替えていた。

    ユーザーへの確認は、なかった。

    便利だなと思った自分が、少し怖かった。

    「今の情勢を知りたい」なら助かる。でも「2019年当時どう語られていたか」を確認したかったら、これは親切な誤回答だ。しかもその判断を、AIが黙ってやっている。


    情報がないページで、答えが割れた

    最も差が出たのは、書籍紹介ページだった。「人生のOS」という書影と価格くらいしか載っていない、ほぼ空のページ。

    Claudeは「書籍の詳細はわかりません」と返してきた。正直だ。

    Gensparkは著者情報や価格をWeb検索で拾い、控えめな紹介文にまとめた。

    Perplexityは書籍の枠を超えて書籍タイトルから人生のOSに関する概念を横展開し、関連するnote記事やYouTube動画まで引いてきた。最後は「一緒に設計しましょう」とコーチングを始めた。

    ChatGPT無料版は外部ソースを一切使わず、独自の「3階層モデル」なるものを構築して返してきた。出典はない。

    同じURLから、まったく別のジャンルの回答が出た。

    ここで一つ、はっきり見えたことがある。情報が豊富なページでは、どのAIも似たような答えになる。情報が少なくなるほど、答えがバラける。空白を埋める方法が、サービスごとに違うからだ。

    画像
    与える情報量により出力がバラける。係数は感覚。

    同じモデルが「別人」になる

    もう一つ、予想していなかったことがある。

    例えば、Claude Sonnet 4.6という同じAIモデルが、サービスによって4通りの答えを出した。

    画像
    claudeの同モデルでも土台のサービスにより出力は異なる

    claude公式アプリでは「わかりません」。Gensparkでclaudesonnet 4.6モデル選択時では構造化された書籍紹介。Perplexityでclaudesonnet 4.6モデル選択時(通常モード)では概念の横展開。Perplexityでclaudesonnet 4.6モデル選択時(思考モード)ではYouTube動画ベースの解説。

    モデルは同じだ。違うのは、サービスがモデルに渡す素材と指示。

    「どのAIモデルが賢いか」をよく気にしていたが、それよりも「どのサービスが何を集めてモデルに渡しているか」のほうが、回答への影響がずっと大きかった。


    まだ途中だけど、使い方は変わった

    使い方は少し変わった。

    ページに書かれている内容を正確に知りたいときは、GensparkかClaudeに投げる。元ページに忠実だからだ。
    テーマを広く探りたいときはPerplexityに投げる。勝手に関連情報を集めてくるのが、この場合は強みになる。

    どのAIも「事実をそのまま返す機械」ではなかった。何を検索し、何を省き、何を足すか。その編集が、サービスごとに違う。

    画像
    今回の検証範囲ではこんなイメージ

    「どのAIが正しいか」より、「この回答はどう編集されたものか」を考えるようになった。それだけでも、今回の横着には意味があったと思う。

    なお、この記事自体もGenspark上のClaudeと一緒に書いている。別のAIに頼んだら、たぶん違う記事になる。

    この記事が参加している募集

     
     
    育児で詰まった夜、AIに何を渡したか。 ChatGPT・Claude・Gemini・perplexityなど を使い分けた記録です。 「整える力」と「運ぶ力」、そして自分が握っていた採点表のこと。 🖋 マガジン『複数AIで詰まった育児の現場』更新中。

    あなたへのおすすめ