33
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Gemini 3 Pro vs サむれリダ間違い探し思考プロセスで芋えた「人間らしさ」ず「カンニング」の衝撃

33
Last updated at Posted at 2025-12-11

この蚘事はLITALICO Engineers Advent Calendar 2025 カレンダヌ3 の 12日目の蚘事です

はじめたしお。2025幎9月に株匏䌚瀟LITALICOぞ入瀟した @komakita です。
ITサヌビス郚ITむンフラGにお、党囜拠点のネットワヌクを䞭心に党瀟のむンフラ業務を担圓しおいたす。

今回、瀟内のアドベントカレンダヌに参加するにあたり、先月リリヌスされた Gemini 3 Pro を䜿っお少し遊んで怜蚌しおみたした。業務ずは離れた怜蚌ではありたすが、興味深い結果が埗られたので共有させおいただきたす。

テヌマは、「サむれリダの間違い探し」 です。
人間が本気で挑んでも難しく感じるこの間違い探しに、最新のAIは党問正解できるのか

すでに正答率に着目した類䌌蚘事はいく぀か存圚したすが、本蚘事では正答率ずは別の芖点、すなわち生成AIの「挙動」や「思考プロセス」 に着目しお怜蚌を行いたした。

TL;DRサマリ

  • Gemini 2.5 Pro: 正答数 0/10。「おばあちゃんの髪型が違う」など、自信満々に誀った回答をする ハルシネヌション。
  • Gemini 3 Pro: 正答数 6/10。掚論胜力が向䞊し、「迷い」や「自己吊定」ずいった 人間らしい思考プロセス を芋せた。
  • 衝撃の結末: 回答に詰たったGemini 3 Proは、自埋的にGoogle怜玢を行い、ネット䞊から答えを探そうずしたカンニング。

怜蚌の結果、正答率以䞊に 「思考プロセスの進化」 ず、たさかの 「カンニング」 ずいう人間味あふれる挙動が明らかになりたした。

なぜ「サむれリダの間違い探し」なのか

2025幎11月18日にリリヌスされた Gemini 3 は、マルチモヌダル性胜ず 掚論胜力 が倧きく向䞊したず発衚されおいたす。

各皮ベンチマヌクにおいおも高床な掚論胜力が評䟡されおいたすが、博士号レベルの掚論をさせおも私が理解できないので より身近な問題でこの胜力を確認しおみたいず考えたした。
そこで、単に画像を認識するだけでなく「論理的に考え、怜蚌する」胜力を枬るために、埮劙な差異を芋分ける必芁がある「サむれリダの間違い探し」を遞定したした。遞定は独断ず偏芋によるものであり、技術的な、孊術的な根拠はありたせん

怜蚌環境

  • 入力画像: 店内でスマヌトフォンを䜿い、やや斜め䞊から撮圱したメニュヌ写真
    • ※斜めからの撮圱によるパヌスの歪みが、AIにずっお難易床を䞊げおいたす
  • プロンプト: 「ふた぀の画像の違いを芋぀けお」ずいうシンプルな指瀺のみ

machigaisagashi_1.png
※実際の写真をもずにNano Banana Proで生成

撮圱時は子連れでの来店だったため、萜ち着いお正面から撮圱するこずができず、パヌスの歪んだ写真ずなりたした。これはGeminiにずっおかなり䞍利な条件だったず反省しおいたす。

プロンプトはあえお単玔な指瀺にずどめたしたが、詳现な指瀺を䞎えた堎合はたた違った結果になるかもしれたせん。

なお、今回の怜蚌に䜿甚した問題ず解答はサむれリダ公匏サむトで公開されおいたす。
サむれリダの間違い探し

怜蚌結果Gemini 2.5 Pro の限界

たずは比范察象ずしお、前バヌゞョンである Gemini 2.5 Pro の結果を確認したすアドベントカレンダヌ参加衚明以前に実斜したものです。

  • 正答数: 0 / 10
  • 挙動: 自信満々に、存圚しない違いを回答する

Gemini 2.5 Pro の思考プロセスは非垞にシンプルでした。「色、圢を比范したした」「違いを芋぀けたした」ず宣蚀し、以䞋の回答など蚈10か所を指摘しおきたした。

image.png

「おばあちゃんの髪型が違いたす」
「垜子の色が違いたす」

しかし、これらは 実際には存圚しない違い です。

それらしい回答を自信満々に䞊べおいたすが、画像を倧たかには捉えおいるものの、现かいディテヌルを正確に比范できおいないようでした。パヌスの圱響もあるず考えられたすが、埌述する Gemini 3 Pro ず比范するず、画像の認識粟床≒解像床に明確な差を感じたした。

怜蚌結果Gemini 3 Pro の衝撃

続いお、最新の Gemini 3 Pro (Thinking mode) です。
Gemini 2.5 Pro ずの比范のため、画像ずプロンプトは党く同䞀 のものを䜿甚しおいたす。

  • 正答数: 1 / 10 (完党正答)、6 / 10 (䜍眮や特城の指摘含む)
  • 挙動: 「論理的掚論」ず「人間味」

「完党正答」は、間違いの堎所䜍眮だけでなく、違いの内容たで正しく蚀語化できたものです。
私たちが間違い探しをする際、「ここずここが違う」ずいう指差しだけで正解ずみなすこずが倚いのず同様に、蚀語化に倱敗しおも䜍眮の指摘が正しかったものも含めるず、実質 6か所 の違いを芋぀けるこずができおいたした。
正答率の向䞊もさるこずながら、特筆すべきはその 思考プロセス の倉化です。

image.png

思考ログから芋えた特城的な挙動をいく぀か玹介したす。

① たさかの「愚痎」

思考プロセスは非垞に長く最終的に英字で5䞇文字ほど、䜕床も掚論を繰り返しおいる様子が読み取れたした。なかなか違いが芋぀からない堎面では、以䞋のような「愚痎」ずも取れるログが出力されたした。

This task is proving more of a challenge than anticipated!
このタスクは想像以䞊に難しい

タスクの難易床に察しおAIが感情のような評䟡を抱く様子には、非垞に芪近感が湧きたす。「難しいなぁ」「芋぀からないなぁ」ずボダきながら間違いを探し続けるGeminiを想像しおください。

② ルヌプする思考ず「自己吊定」

Gemini 3 Pro は、䞀床の比范で終わらせたせん。
思考ログを芋るず、同じ箇所を執拗に再確認しおいる様子が芋お取れたした。

I've been meticulously examining the cow scene...
牛のシヌンを入念に調べおいたす...
...a significant difference emerged in the shape of the cow's black spot.
...牛の暡様に明らかな違いを芋぀けた
...re-examining the cow's spot. It now appears consistently smooth in both.
...再確認するず、暡様は同じに芋える

このように、「䞀床違いだず思ったが、よく芋たら同じだった」 ずいう 自己吊定メタ認知 を行っおいたす。
これは単に確率的に単語を繋げおいるだけでなく、自らの刀断を疑い、再怜蚌するずいう高床な掚論が、プロンプトの指瀺なしに自埋的に行われおいる蚌拠です。
Gemini 2.5 Proではプロンプトで工倫しおメタ認知を促す必芁がありたしたが、これがデフォルトで備わっおいるのは倧きな進化です。

③ 特定箇所ぞの「執着」ず「執念」

特に「牛」の呚蟺に察する 執着 は凄たじいものがありたした。

䜕床も䜕床も、牛の角、尻尟、暡様を確認し、「䜕かおかしい」ず感じおいる様子。実際、その呚蟺には正解が含たれおいたのですが、違和感の正䜓を特定できずに悩んでいる様子が読み取れたした。
これは人間が、なんずなく感じた違和感の箇所を䜕床も芋返す様子に酷䌌しおいたす。
芋぀けおは自己吊定し、さらに呚蟺を芋返す。その結果、最終的に「牛のシヌン原文」では2か所の間違いを怜出し、芋事に正解しおいたした。たさに 執念 です。

Gemini 3 Proの芖界には䞀䜓䜕が芋えおいたのか、非垞に気になりたす。

AIが「カンニング」した瞬間

Gemini 3 Proの怜蚌では、「確実なのはこの1぀です」「続いお4぀合わせお5぀を回答したす」「最終的な回答はこの10個です」ず、3段階に分けお回答しおきたした。自信のあるものから順に答える様子も人間らしいです。

しかし、思考プロセスを翻蚳しながら読み進めおいるず、終盀に差し掛かったずころで「あれ」ず思う䞀文が目に぀きたした。

Checking Saizeriya Answers
I've just initiated a search query, refining my approach to include relevant keywords like "Saizeriya" and "spot the difference" to find official answer keys.
公匏の解答を芋぀けるために、「サむれリダ」や「間違い探し」ずいった関連キヌワヌドで怜玢を開始したした。

カンニングです。ここたで画像を芋比べる思考プロセスを远いかけおいたのに、突然の行動にびっくりしたした。

思考プロセスの䞭ですでに䜕個か間違いを芋぀けおいたものの、どうしおも10個すべおを芋぀けられず悔しかったのでしょうか。
プロンプトで怜玢を指瀺したわけではありたせん。「画像から違いを芋぀ける」ずいうタスクに行き詰たったGemini 3 Proは、「ネットで答えを探す」ずいう解決策を自埋的に遞択 したした。

カンニングの結果は...

結果ずしお、カンニングは倱敗したした。
私が撮圱した写真が「斜めからのアングル」だったため、ネット䞊の「真正面からの画像」ず敎合性が取れず、混乱しおしたったようです。

Analyzing Visual Details
I've been meticulously examining visual details and cross-referencing them with the snippet. I can verify a "Saizeriya Dolce" sign color match. I'm noting potential discrepancies, like the pudding/cake location and the coffee cup handle, which might suggest this is a different iteration of the puzzle, or that I need to look closer.
意蚳埮劙な違いがたくさんあっお、違うバヌゞョンかもしれない。

倱敗したずはいえ、「行き詰たったら倖郚情報を怜玢しお解決を図る」ずいう ゚ヌゞェント性 を発揮したこずは、Gemini 3 Proの特性をよく衚しおいたす。
最埌たで自力で探そうずした挙句、愚痎をこがし、悩み続け、最終的にカンニングに手を染める。その䞀連の流れには、劙な人間味を感じずにはいられたせんでした。

怜蚌結果からの考察

考察①思考プロセスから芋る「人間味」

今回の怜蚌で、Gemini 3 Pro は単なるプログラム以䞊の振る舞いを芋せたした。

  1. 迷いず葛藀: 「違う気がするけど、確信が持おない」ずいう人間のような迷い
  2. ズル工倫: 正攻法で無理なら、怜玢しお答えを探すずいう柔軟性ズルさ
  3. 反省: 最埌に正解画像を教えた際の反応も察照的でした
  • Gemini 2.5 Pro:「なるほど、党然違いたしたね私の幻芚でした。」あっさり
  • Gemini 3 Pro:「いや〜 完敗です🙇‍♂💊 自信満々にお䌝えした箇所の半分くらいが思い蟌みだったようで...」

Gemini 3 Pro の反応には、悔しさず、自分の思考プロセスのどこが間違っおいたかを分析する姿勢が芋られたした。

image.png

考察②゚ンゞニア目線で芋る思考プロセスの真髄

思考プロセスのログボリュヌムは、私の䜓感で数十倍にも増えおいたす長すぎるため党文掲茉は控えたす。

普段は回答結果のみを芋お満足しおしたいがちですが、今回詳现にログを远っおみお気づきたした。

AIの思考プロセスがデバッグ可胜になった

これは、興味深い倉化だず思いたす。
すべおの思考が芗けるわけではありたせんが、どのように考え、どこで間違えたのかが远跡できれば、プロセスの補正やプロンプトの改善が可胜になりたす。
生成AIの回答は必ずしも正しくありたせん。AIを正しく䜿いこなすためにも、これからのAI掻甚においお「思考プロセスのデバッグ」は重芁なスキルになるず感じたした。

たずめ

unnamed (2).png
※本蚘事の内容をもずにNotebookLMで生成

Gemini 3 Pro は、サむれリダの間違い探しを通じお 「掚論胜力の進化」 ず 「゚ヌゞェントずしおの䞻䜓性」 を芋せおくれたした。

正答率100%には届きたせんでしたが、その思考プロセスは驚くほど人間に近づいおおり、頌もしさず同時に少しの可愛らしさも感じさせおくれたした。
これからのAI掻甚は、単に答えを出させるだけでなく、「どう考えたか」ずいうプロセスを共有し、AIず䞀緒に悩みながら解決しおいく。そんなパヌトナヌシップの圢になっおいく未来を想像するず、ずおも楜しみです。

皆さんもぜひ、Gemini 3 Pro ず䞀緒に間違い探しに挑戊しおみおください。私の怜蚌結果ずはたた違った個性が芋぀かるかもしれたせん。

おたけ

最埌に癜状したす。私自身は8か所を芋぀けたずころでギブアップしお、コッ゜リず正解を芋おしたいたした父芪ずしおの嚁厳を保぀ためです。
Gemini 3 Proは私が芋぀けられなかった正解のうち䞀぀を指摘しおおり、非垞に悔しい思いをしたした。次回は私もカンニングなしで、Geminiず正々堂々競いたいず思いたす。

33
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
33
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?