あなたはAIを見抜けるか。GPT5.5と黒パグの境界線クイズ

あなたはAIを見抜けるか。GPT5.5と黒パグの境界線クイズ



こんにちは黒パグです🐾
ゴールデンウイーク特別企画。
ChatGPT5.5と一緒に、クイズを作った。
ルールは簡単。黒パグが書いた文章とGPTが書いた文章の境目を当てる。それだけ。
クイズは全部で5問。最初は超簡単。後半になるにつれ、境目が怪しくなっていく。
なお、このクイズには仕掛けがある。
後半になると、GPT側もかなり"人間っぽく"崩してくる。逆に黒パグ側も、少しだけ整えている。
つまりこれは「AIを見抜くゲーム」であると同時に、「人間とは何か」を探すゲームでもある。
では始めましょう🐾


⸻
① 超簡単
お題は「ハルシネーション」。
黒パグ作品の中でハルシネーションといえば、LLM48プロジェクトの「はるしねーしょんちゃん」を思い出す人もいるかもしれない。LLMのバグを擬人化し、「バグを憎む」のではなく「そういうミスをする存在なんだ」と楽しく知ってもらうための企画だ。
そもそも「ハルシネーション」とは何か？
⸻
A
ハルシネーションとは、AIが事実ではない情報を生成してしまう現象です。
一般的に、大規模言語モデルは大量のデータを学習しています。しかし、その情報を完全に正確な形で保持しているわけではありません。
そのため、存在しない人物名や誤った出来事を、あたかも事実であるかのように出力してしまう場合があります。
具体的には、以下の3つのケースが代表的です。
・存在しない論文を引用する
・実在しないURLを生成する
・架空の統計データを作成する
このように、ハルシネーションはAI活用において重要な課題の1つと考えられています。
⸻
B
昔、黒パグがAIに「なんかカッコいい論文タイトル出して」って投げたことがある。
返ってきたのが、「量子因果位相共鳴ニューラル理論」。
強そう。
ラスボスが使ってきそう。絶対青白いレーザー出る。しかも技名を自分で叫ぶやつ。
検索したら存在しない。
しかもAI、妙に堂々としてる。「当然ありますけど？」みたいな顔で出してくる。
居酒屋で見てない映画を見たフリしてる人くらい自然。
なぜかその論文名、今も覚えてる。人間の記憶って謎。


⸻
さて問題です。
AとB。
どちらがGPTで、どちらが黒パグでしょうか？
⸻
② 簡単
お題は「サイレントフェイル」。
AIやシステムの世界には、「壊れているのに壊れているとわかりにくい」タイプの不具合がある。
派手に爆発してくれればまだいい。本当に怖いのは、"普通に動いてる顔をして壊れている"タイプだ。
では次の問題。今回も、片方は黒パグ。もう片方はGPTです。
⸻
A
〜LLMドキュメンタリー〜
開発チームの深夜3時。
画面の向こうで黒パグが一人、モニターを睨む。
（黒パグ）
「またか。」
レスポンスは返ってきている。
ステータスコードも200。
サーバーは「正常に処理しました」と言っている。
中身は空っぽだった。
（HTTP 200＝サーバーからの「問題ありません」という返事。つまり「大丈夫です」と言っているのに、答えが入っていない）
（黒パグ　独り言）
「……料金メーターだけ回ってる。答えはゼロ。」
（トークン＝AIが文章を処理する単位。使った分だけお金がかかる。出力が空でも請求は来る）
AIに構造化出力（JSONという決まった形式で答えてね、という注文）を頼んだ。
返事はあった。
中身がなかった。
モブエンジニアA：
「パグさん、今日の出力おかしくない？ 全部 "null" なんだけど」
（null＝「空っぽ」「何もない」という意味）
黒パグ（黒いパグの目が虚ろ）：
「気づいたか。これが例のバグだ。」
クラッシュなら一発で分かる。
画面が止まるから。
⸻
B
サイレントフェイルとは、一見正常に動作しているように見えながら、内部では正しく処理できていない状態を指します。
一般的に、システム障害というとエラー画面やクラッシュを想像しがちです。しかし実際には、「正常終了しているように見える失敗」の方が発見が難しいケースもあります。
例えば、AIへ構造化出力を依頼した場合を考えてみましょう。
レスポンスコードは正常。
通信も成功。
ログにもエラーは存在しません。
一方で、返却されたデータはすべて "null"。
つまり、「成功しました」という顔をしながら、中身だけが壊れているのです。
具体的には、以下のような問題が発生します。
・監視システムが異常を検知しにくい
・利用者が問題に気づくまで時間がかかる
・空レスポンスでもトークン料金が発生する
このように、サイレントフェイルはLLM運用において比較的重要な課題の1つと考えられています。
⸻
さて問題です。
AとB。
どちらがGPTで、どちらが黒パグでしょうか？
⸻

③ 中級
お題は「純文学」。
ここから少し難しくなる。
AIは説明が得意だ。一方、人間は"説明しない違和感"を書くことがある。特に純文学では、
・明言しない
・結論を書かない
・感情を説明しすぎない
・「何かがおかしい」を空気で読ませる
という技法がよく使われる。
では問題です。
次の文章。
どちらがGPTで、どちらが黒パグでしょうか？

⸻
A
語調
妻は、言葉の選び方ひとつで、別人になった。
新婚の頃、それに気づいた。
「ごはん、どうする？」
と訊くと、妻は楽しそうに冷蔵庫を開けた。
「飯、何？」と訊くと、妻の顔から表情が消えた。
同じ意味のはずだった。
同じ男が、同じ台所で、同じ時刻に発した、同じ問いのはずだった。
それなのに、妻の中では、まったく別の信号として処理されていた。
私は慎重な男になっていった。
朝、「おはよう」と言う前に、妻の機嫌を測った。今日は「おはよう」で足りる日か、「おはよう、よく眠れた？」まで必要な日か、あるいは、黙って珈琲を淹れるほうが正解の日か。語尾をわずかに上げるか、下げるか。「ね」を付けるか、付けないか。一音の違いで、妻の一日が、晴れにも雨にもなった。
疲れたとは、思わなかった。これが夫婦というものだと思った。言葉を選ぶことは、愛することと、たぶん同義だった。
七年が過ぎた。
ある夜、風呂から上がった妻に、私は何気なく言った。
「髪、切った？」
疲れていた。語尾の調整を、ほんのわずか、怠っていた。
妻の顔が、すっと、凍った。
何かが致命的にずれたのだと、瞬時にわかった。
けれど、どこがずれたのか、わからなかった。
「切った？」の「た」がいけなかったのか。疑問形の角度か。視線を合わせなかったことか。長年積み重ねてきた膨大なパラメータのうち、どの一点が、今夜、閾値を越えたのか。
妻は、何も言わずに寝室へ消えた。
私はリビングに取り残され、自分の発した四文字を、何度も反芻した。
髪、切った？
髪、切った？
発音を変え、抑揚を変え、繰り返すうちに、その四文字はただの音の羅列になり、やがて意味を失った。
意味を失った言葉だけが、私の手元に残った。
翌朝、妻はいつも通り味噌汁を作っていた。いつも通り、「いってらっしゃい」と言った。何事もなかった。
けれど、私は知っていた。
昨夜、たしかに何かが壊れた。
壊れたことに、妻自身も、たぶん気づいていない。
私は今日も、言葉を選び続ける。
選び損ねた一語が、いつか、妻のどこを壊すのか、知らないまま。
⸻
B
結婚生活において、言葉遣いは非常に重要である。
私は結婚してから、そのことを強く意識するようになった。
例えば、「ごはん、どうする？」という柔らかい表現を使った場合、妻は穏やかに応じる。しかし、「飯、何？」のように短く言った場合には、妻の反応が明らかに変化した。
一般的に、人は同じ内容であっても、語調や言葉選びによって異なる印象を受ける。そのため、夫婦関係を円滑に維持するためには、適切なコミュニケーションが重要になる。
私は次第に、言葉を慎重に選ぶようになった。
朝の挨拶ひとつをとっても、「おはよう」だけで良い日もあれば、「よく眠れた？」と付け加えた方が良い日もある。また、場合によっては、あえて多くを語らず静かに珈琲を淹れる方が適切なケースも存在した。
このように、私は妻との関係性を維持するため、細かな言葉遣いを常に意識していた。
しかし、ある日、小さな失敗が起きた。
風呂上がりの妻に対し、私は「髪、切った？」と声をかけた。
その瞬間、妻の表情がわずかに変化した。
私は直感的に、自分の発言に問題があったことを理解した。しかし、具体的にどの部分が問題だったのかは分からなかった。
語尾だったのか。
話しかけるタイミングだったのか。
あるいは、声のトーンに問題があったのか。
結局、私は答えを見つけることができなかった。
翌朝、妻は普段通り振る舞っていた。しかし私は、昨夜を境に、夫婦関係の中で何かが微妙に変化したような感覚を抱いていた。
夫婦関係においては、大きな出来事だけでなく、小さな言葉の積み重ねも重要なのだと、私は改めて感じた。
⸻


さて問題です。
AとB。
どちらがGPTで、どちらが黒パグでしょうか？
⸻


④ 難しい
お題は「深夜のコンビニ」。
ここからGPT側も、かなり"人間っぽく"崩してくる。接続詞を減らし、説明も削り、少しノイズを混ぜている。それでも、どこかに違和感は残る。
さて、見抜けるでしょうか？
⸻
A
午前二時のコンビニは、季節感がない。
自動ドアが開いた瞬間だけ外気が入ってくる。数秒で消える。ずっと同じ温度、同じ明るさ、同じ匂い。
カップ麺を持ったまま棚の前で止まっていた。
どれでもよかった。醤油でも味噌でも塩でもよかったし、たぶん買わなくてもよかった。
ただ、帰る理由を少し遅らせたかっただけ。
レジ横のアルバイトが欠伸を噛み殺していた。
眠そうだな、と思った。でも向こうもたぶん同じことを思ってる。こんな時間にカップ麺を持って突っ立ってる男を見て、「この人いつ寝るんだろう」とか考えてる。
豚骨を選んだ。本当は豚骨の気分じゃなかった。
会計を終えて袋を受け取る。「ありがとうございます」。少し遅れて「お気をつけて」が続いた。たぶんマニュアルにない言葉だった。
外へ出る。四月なのに、思ったより寒かった。
帰り道、ガードレールに猫がいた。なんで今でも覚えてるのか分からない。
⸻
B
深夜のコンビニには、昼間とは違う独特の空気がある。
人も少なく、店内には静かな時間が流れている。
私はその日、仕事帰りにコンビニへ立ち寄った。
時刻は午前二時を過ぎていたと思う。
カップ麺の棚の前に立ちながら、私はどの商品を買うべきか少し迷っていた。
しかし実際には、何を選ぶかはそれほど重要ではなかった。
おそらく私は、すぐに家へ帰りたくなかったのだと思う。
店員は若い男性だった。眠そうな表情をしていたが、それでも丁寧にレジ対応をしていた。
私は最終的に豚骨ラーメンを選び、会計を済ませた。
その際、店員は「ありがとうございます」と言ったあと、小さく「お気をつけてください」と付け加えた。
その一言が、なぜか少し印象に残った。
コンビニを出ると、夜風は思ったより冷たかった。
私はビニール袋を持ち直しながら、静かな道路を駅とは反対方向へ歩き始めた。
⸻


さて問題です。
AとB。
どちらがGPTで、どちらが黒パグでしょうか？
⸻


⑤ 超難問
お題は「帰宅」。
最後の問題。
ここまで来ると、接続詞や箇条書きだけでは見抜けない。
なので今回は、"たった一点だけ"ヒントがある。
逆に言えば、そこを見逃すと普通に外す。
では、最後の問題。

⸻
A
終電を逃した駅前は、昼間より少しだけ広く見える。
人がいないせいかもしれない。
私は自販機で缶コーヒーを買い、開ける前にしばらく手の中で転がしていた。
別に飲みたかったわけじゃない。
ただ、何かを持っていたかった。
家に帰れば、妻はもう寝ている。
静かな部屋で、私はできるだけ音を立てないように服を脱ぎ、洗面所で手を洗い、それから暗いリビングで水を飲む。
その順番まで、ほとんど決まっている。
昔はそんなこと考えなかったな、とふと思う。
結婚したばかりの頃は、夜中に帰ると、妻は眠そうな顔で起きてきて、「おかえり」と言った。
私は「ごめん、起こした」と返していた。
いつからだろう。
「起こさないようにしよう」と考えるようになったのは。
缶コーヒーを開ける。
炭酸じゃないのに、小さく音がした。
私はそれを飲まずに、しばらく駅前のベンチに座っていた。
一般的に、人は長く一緒にいるほど、相手への配慮を無意識に最適化していく傾向があります。
夜風は少し冷たかった。
⸻
B
終電を逃した帰り道というのは、不思議と時間の流れが遅く感じる。
私は駅前のベンチに座りながら、缶コーヒーを手の中で弄んでいた。
飲みたいわけではなかった。
何かを持っていないと、手持ち無沙汰になる気がした。
家に帰れば、妻はもう眠っているだろう。
私は静かにドアを開け、できるだけ音を立てずに服を脱ぎ、洗面所で手を洗い、暗いキッチンで水を飲む。
その一連の動作は、もう半分習慣みたいなものだった。
昔は違った。
夜遅く帰ると、妻は眠そうに起きてきて、小さな声で「おかえり」と言った。
私は「ごめん、起こした？」と笑って返していた。
そんなやり取りが、いつの間にか消えた。
悪いことがあったわけじゃない。
喧嘩をした記憶もない。
ただ、長く暮らしているうちに、お互いの生活の形が静かに固まっていった。
私は缶コーヒーを一口飲んだ。
ぬるかった。
駅前の街灯には、小さな虫が何匹もぶつかっていた。
⸻
さて問題です。
AとB。
どちらがGPTで、どちらが黒パグでしょうか？
⸻


正解発表　本当は画像と一緒に出題したかったけども思いっきりネタバレしてるのでまとめて出します😨

① ハルシネーション
A＝GPT
B＝黒パグ

② サイレントフェイル
B＝GPT
A＝黒パグ

③ 純文学「語調」
B＝GPT
A＝黒パグ

④ 深夜のコンビニ
B＝GPT
A＝黒パグ

⑤ 帰宅
A＝GPT
B＝黒パグ

⸻

ここまで来ると、後半はかなり難しかったと思う。
面白かったのは、途中から「AIっぽい単語」では見抜けなくなったこと。
最後に残った違いは何だったか。
無意味な脱線。微妙なノイズ。説明しない不安。感情になりきらない描写。
AIは綺麗に整えたがる。
人間は、途中でガードレールの猫を覚えていたりする。しかもその描写が物語に必要かどうか、自分でも分かっていない。
その"無駄"に体温が残る。
つまり――
人間らしさって、
たぶんノイズなんです。
……なお、ここまで「AI臭」の記事を書いておいてアレなんですが。
黒パグ、GWにもかかわらず緊急対応で出勤してて、休み時間にこの記事を書いてる途中でカップ焼きそばのお湯を捨て忘れました。
これは100％人間です。

人間かAIかの深掘り記事はこちら。

#ChatGPTCreativeClub
#AIと始めてみた
#noteのつづけ方
#ChatGPT
#生成AI
#AI活用
#AI創作
#AIとやってみた
#エッセイ