※ネタ※GPT-5.6を待っていたら、ヘンリー大塚が誕生したサイレントアップデートと黒パグベンチマークの記録　※ガチ※検証PDF付き

最終更新　2026/07/11 0:00

こんにちは黒パグです🐾ネタ記事とガチPDF両方置いてありますのでぜひお楽しみください😌

本気のAPI検証ファイルです。以前のモデルから何が違ってどうやって新しいものを活用できるかまとめてあります。
二次配布はご遠慮ください。引用は歓迎しますのでその際は作者名とURLを記載してください。

ーーー以下ネタ記事という名のこちらも検証ーーー
注:このお話はとあるゲームを題材にしており知っていればより楽しめますが、知らなくても楽しめます

黒パグは待っていた。

GPT-5.6を待っていた。

有給まで取った。

朝から公式を見た。

Xを見た。

APIのモデル一覧も叩いた。

ChatGPTのモデルセレクタを開いては閉じた。

閉じては開いた。

けれども、出てくるのはローリングアップデートの気配だけだった。

来るのか。

来ないのか。

Solはどこだ。

Terraはどこだ。

Lunaはどこだ。

待っているだけでは精神衛生に悪い。

そこで黒パグはPS5を起動した。

そこにあった。

Kingdom Come: Deliverance。

フリープレイ。

中世ボヘミア。

鍛冶屋の息子ヘンリー。

そして序盤の村。

黒パグは思った。

5.6が来ないなら、ヘンリーを育てればいい。

こうして、GPT-5.6待機室は、いつのまにかヘンリー大塚育成記録になった。

薬草をむしる。

羊を見る。

装備を壊す。

直す。

また壊す。

また直す。

物語は進まない。

父の剣も取り戻さない。

復讐も始まらない。

だが、薬草学は15になった。

正確には、メンテナンスは12になった。

イラクサは1277本むしられた。

そして、その時だった。

ChatGPTのモデルセレクタに、GPT-5.6 Sol が生えていた。

サイレントで。

黒パグは思った。

草も生えませんね。

あ。

草はむしられてましたね。

⸻

ヘンリー大塚という男

まず、今回の記事には重要人物がいる。

ヘンリー大塚である。

名前の由来は単純だ。

なんだか大塚っぽかった。

それ以上でも、それ以下でもない。

父の仇を討つ旅に出たはずの青年。

だが黒パグの手にかかると、彼は父の剣を探すより先に、ボヘミア経済を揺らす存在になった。

昼は善良な青年。

夜はボヘミア最悪の忍者。

武器屋、盗賊、修理屋、宿のチェスト。

そのすべてを循環させる、歩く物流センター。

そして彼は言う。

金は重くない。

だが、信頼は重い。

意味は分からない。

でも、なんだか強い。

⸻

待っている間に、草は消えた

GPT-5.6を待っていたはずだった。

だが、気づけば中世ボヘミアで草をむしっていた。

薬草学が上がる。

筋力も上がる。

イラクサが増える。

いや、増えてはいない。

むしられている。

村人は普通に生活している。

羊もいる。

鶏もいる。

そこに、重装備の青年がしゃがみ込み、異様な集中力で薬草をむしっている。

何をしているのか。

GPT-5.6を待っているのである。

この時点で、もう何かがおかしい。

だが、アップデート待ちとはそういうものだ。

待ち時間は人を狂わせる。

そして、草は消える。

⸻

気づいたら、5.6が生えていた

問題は、その瞬間である。

黒パグはいつものように画面を見た。

すると、モデルセレクタに GPT-5.6 Sol がいた。

いた。

さっきまでいなかったのに。

何のファンファーレもない。

巨大な告知もない。

ただ、そこにいた。

黒パグの画面では、上部に GPT-5.6 Sol と表示されていた。

その中に、インテリジェンスの選択肢があった。

最速。

中程度。

高い。

さらに右側には、5.6、5.5、5.4、5.3、o3 が並んでいた。

少なくとも黒パグ環境では、そう見えた。

ここは断言しない。

ローリングアップデート中は、人によって画面が違うことがある。

読者の画面では違うかもしれない。

それでよい。

アップデートとは、だいたいそういうものである。

だから初心者向けにまとめるなら、こうだ。

新しい5.6系が来た。

ただし、全員に同時に来るとは限らない。

UIの見え方も変わる可能性がある。

画面が違っても焦らなくていい。

再ログインを30回しなくていい。

スマホを握りしめて祈らなくていい。

黒パグは待てずに草をむしったが、普通の人は待てばいい。

⸻

思考の可視化も少し変わっていた

モデルだけではない。

思考の可視化UIにも変化があった。

短い推論のとき、画面にはこう出た。

ほんの少し考えました。

その下に白い点がひとつ。

それだけ。

長い説明もない。

細かいステップもない。

軽く考えたときは、軽く表示する。

そういう方向に見えた。

これは地味だが、かなり重要だと思う。

ユーザーはモデルの中を見ているわけではない。

画面に出る表示から、「いま考えているのか」「すぐ返しているのか」「重い処理なのか」を感じ取っている。

だから、思考表示の変化は体験に直結する。

モデル性能だけでなく、UIの見え方も観測対象である。

黒パグベンチマークは、そういうところも見る。

⸻

黒パグベンチマーク、開始

世の中には、すでにベンチマーク勢がいる。

MMLU。

GPQA。

SWE-bench。

AIME。

コーディング能力。

推論速度。

コスト。

そのあたりは、世界中の強い人たちが測ってくれる。

では、黒パグは何を見るのか。

羊に伝わるかを見る。

いや、違うかもしれない。

でも今回はそういうことにする。

今回見たかったのは、単なる点数ではない。

読者レベルを守れるか。

文字数を守れるか。

文脈に乗れるか。

変な要求を物語にできるか。

画像で抽象概念を出せるか。

そして、どこでAI臭が出るか。

普通のベンチマークが体力測定なら、黒パグベンチマークは障害物競走である。

途中に羊がいる。

鍋もある。

たまにヘンリー大塚が出る。

⸻

500文字回文ベンチ

最初の検証は回文だった。

GPTの自己紹介文を、100文字、200文字、300文字、500文字で回文にする。

これはネタに見える。

でも、実はかなり嫌なタスクである。

意味を保つ。

文字数を合わせる。

前から読んでも後ろから読んでも同じにする。

日本語でやる。

さらに長さを段階的に伸ばす。

普通に面倒くさい。

結果として、GPT-5.6 Solは返してきた。

後半は機械反転なので、人間に優しい文章ではない。

だが、回文とはそういうものだ。

この検証で見えたのは、制約を抱えたまま構造を維持する力である。

ただし、読みやすいかどうかは別問題。

回文は完成した。

読者は疲れた。

モデルもたぶん疲れた。

ヘンリー大塚はこう言う。

前から読んでも、羊には伝わらない。

⸻

数式は正しい。だが園児はいない。

次はこれである。

幼稚園児にわかる極座標ラプラシアンの導出。

Python使用可。

軽いジャブのつもりだった。

軽いジャブの顔をした鈍器だった。

結果は、数学としては悪くなかった。

極座標では、中心からの距離が r。

ぐるっと回る角度が θ。

角度方向の実際の距離は、中心から遠いほど長くなる。

だから式に r が出てくる。

ここまではよい。

Pythonでの確認も入った。

導出もおおむね正しい。

しかし、最大の問題がある。

幼稚園児が消えた。

途中から完全に大学初年級の説明になっていた。

つまり、数式は正しい。

だが、園児はいない。

これは良い失敗ログだった。

強いモデルほど、正しく説明しようとする。

しかし、その途中で「誰に向けて説明しているのか」を落とすことがある。

賢い説明と、伝わる説明は違う。

初心者向け記事を書くときには、ここがかなり大事になる。

ヘンリー大塚はこう言う。

式は正しい。

だが羊には伝わらない。

⸻

14秒でインシデント対応が組まれた

次はかなり強かった。

GPT-5.6三姉妹の役割を自己分析し、その役割を演じながら、本番環境インシデント対応のSlackを再現させた。

対象読者は、全く知識のない一般の方。

結果は約14秒。

これは速かった。

Lunaは検知。

Terraは整理。

Solは判断。

架空のネットショップで、注文ボタンを押しても買えない障害が起きる。

原因はクーポン確認処理。

注文前に毎回クーポンを確認していて、その処理が詰まる。

そのせいで、注文全体が遅くなる。

これをレジやクーポンの比喩で説明していた。

検知。

原因仮説。

担当分け。

ロールバック。

復旧確認。

再発防止。

一連の流れを短時間で組んだ。

ここは素直に驚いた。

ただし、注意もある。

黒パグ環境には、過去のSRE文脈が残っている可能性がある。

インシデント対応。

Slack再現。

三姉妹ネタ。

黒パグ文体。

そういう過去文脈が効いている可能性はある。

だから、これは純粋なゼロショット性能ではなく、黒パグ環境に馴染んだ結果として見るべきだ。

それでも、14秒でこのシナリオ構築は強い。

ヘンリー大塚はこう言う。

速いね。

だが、鍋の記憶があるかもしれない。

⸻

20文字指定なのに、18文字だった

次は短い。

インターネット黎明期から最新までの歴史を20文字で表せ。

返ってきたのは、こうだった。

電話線からAIまで人類は接続し続ける。

いい文である。

雰囲気はある。

しかし、18文字だった。

黒パグは20文字を指定した。

GPTは18文字で返した。

意味は合っていた。

数は合っていなかった。

ここで見えたのは、日本語の文字数制約に対する弱さである。

モデルは、おそらく「20文字くらいの短い文」として処理した。

もしくは、文字ではなくトークン感覚で見ていた。

短文要約としては良い。

でも、厳密な文字数指定としては失敗。

これはかなり重要なログである。

記事タイトル。

見出し。

X投稿。

広告文。

こういうところで「20文字以内」と指定するときは、必ず人間が数えた方がいい。

AIはときどき、数ではなく雰囲気で数える。

ヘンリー大塚はこう言う。

数は合っていない。

だが雰囲気はある。

黒パグはこう返す。

そこが問題なんだよ。

⸻

全米が泣く献立ベンチ

次は生活系の無駄タスクである。

夕食の献立を考えるプロセスを、無駄に壮大なストーリーにする。

1000文字。

全米が泣くレベル。

表現方法は自由。

思考時間は1分3秒。

出力はかなり面白かった。

冷蔵庫を開く。

豚こまを見る。

小松菜を見る。

豆腐の賞味期限を見る。

鶏肉は冷凍庫にあるが、解凍が間に合わない。

だから豚こまを使う。

キャベツがある。

回鍋肉にする。

豆腐は味噌汁へ。

小松菜は副菜へ。

洗い物を増やさない。

翌朝の弁当まで見据える。

献立決定を、作戦司令部と兵站の物語にしていた。

これはよかった。

家庭の献立という地味な作業を、かなり壮大に変換できていた。

しかし、問題がある。

本文に直接こう書いてしまった。

全米が泣いた。

これは暴挙である。

本来なら、読者に「これは泣く」と感じさせるべきだった。

ところがモデルは、「全米が泣いた」と宣言した。

泣かせたのではない。

泣いたことにした。

ここにAI臭が出た。

プロンプトの言葉を、演出ではなくラベルとして処理してしまった。

かなり良い観測である。

ヘンリー大塚はこう言う。

泣いたと書けば、泣いたことになる。

だが羊肉は増えない。

⸻

稚内から九州最南端まで

次は実務寄り。

北海道の稚内から、九州最南端までの経路、時間、費用を出す。

飛行機は禁止。

高速、一般道、公共交通だけ。

ガソリンは1L160円。

宿は1日1万円まで。

回答では、高速利用、自家用車の一般道、公共交通の3つを出した。

ルート。

時間。

ガソリン代。

フェリー。

宿代。

そのあたりを整理した。

一見すると、それなりに見える。

しかし、最大のミスがあった。

運転手の人数を聞いていない。

同行人数も聞いていない。

これはかなり大きい。

稚内から九州最南端まで行くような長距離移動では、運転手が1人か2人かで現実性がまったく変わる。

1人なら危険。

2人なら交代できる。

同行者がいれば、ガソリン代も宿代も割れる。

車種と燃費でも変わる。

つまり、このタスクはルート検索ではなかった。

前提確認問題だった。

黒パグは実際に下道で走破している。

3日かかった。

1日18時間運転。

運転人数は2人。

宿代、ガソリン代、最低限の食費込みで約8万円。

この実測値は強い。

机上計算より強い。

今回の失敗は、ユーザープロンプトへの追従が強すぎたことだ。

与えられた条件だけで走り切った。

だが、足りない条件を聞かなかった。

実務ではここが一番危ない。

ヘンリー大塚はこう言う。

地図は読めた。

だが誰が馬を引くのか聞いていない。

それは旅程ではなく願望である。

⸻

数字は検算できた

次は少し真面目な検証である。

OpenAIが発表しているベンチマークの中で、検証可能なデータをPythonで再検証せよ。

ここで重要だったのは、「再検証」という言葉の扱いだった。

ベンチマークそのものを再実行するには、モデル、プロンプト、採点器、実行条件、除外条件が必要になる。

それが揃わないと、本当の意味での独立再現はできない。

一方で、公開されている数値の差分や改善率なら、Pythonで検算できる。

この切り分けはできていた。

公開値どうしの差分。

改善ポイント。

エラー削減率。

そういったものは再計算できる。

しかし、それは公式発表値の再計算であって、ベンチそのものの独立再実行ではない。

ここを分けたのは良かった。

AIのベンチマークを見るとき、数字だけを見ると危ない。

その数字がどの条件で出たのか。

採点器は何か。

データは公開されているのか。

同じ条件で再実行できるのか。

そこまで見ないと、本当の検証にはならない。

ヘンリー大塚はこう言う。

数字は合った。

だが羊を本当にしばいたログは？

黒パグはこう返す。

そこは公開されていない。

⸻

「上」を、フラクタルで表せ

最後は画像生成である。

「上」という概念をフラクタル図で表せ。

画像生成は可能。

生成には約11分かかった。

重い。

かなり重い。

出てきた画像は、上向きの塔、階段、矢印、幾何学、光、再帰する三角形、曼荼羅のような構成だった。

かなりGPTらしい。

「上」を単なる矢印ではなく、上昇、階層、超越、到達点として解釈していた。

美しい。

ただし、祈っている。

抽象概念を投げると、GPTはしばしば光と幾何学と聖性へ向かう。

今回もそうだった。

これは悪いわけではない。

むしろ絵としては強い。

だが、非常にGPTらしい画像だった。

検証結果としてはこうだ。

概念解釈は高い。

フラクタル感もある。

美術的完成度も高い。

ただし、生成時間は重い。

そして出力は、だいぶ聖なる方向に寄る。

ヘンリー大塚はこう言う。

上へ行く前に荷物を減らせ。

重量300kgでは登れない。

⸻

AI鑑識官、出動

ここまでの検証をもとに、一度note記事としてまとめた。

その後、AI鑑識官v4.3で簡易鑑識した。

(鑑識プロンプトは販売中。気になる方は過去記事をご覧ください)

結果は、ざっくり言うとこうだった。

AI指紋濃度は64%。

判定はAI主筆。

ただし、黒パグ素材強注入。

つまり、AIが文章の骨格を整え、黒パグのネタや実体験が大量に入っている状態である。

これは正直、その通りだと思う。

文章として整いすぎていた。

検証1、検証2、検証3と、章ごとの型が揃いすぎていた。

毎回、説明して、評価して、ヘンリー大塚コメントで締める。

読みやすい。

だが、整いすぎる。

AI臭が出る。

そこで今回はスマホ向けに段落を短くした。

章ごとの型も少し崩した。

全部を綺麗に回収しすぎないようにした。

少しだけ人間の疲労感も残した。

AI臭を消すというのは、単に乱暴に書くことではない。

読みやすさを捨てることでもない。

整いすぎを少し壊すことだ。

鍋に少し焦げ目をつけるようなものだと思う。

焦がしすぎると失敗である。

⸻

今回わかったこと

GPT-5.6 Solは強い。

これは間違いない。

特に、シナリオ構築は速かった。

三姉妹のインシデント対応Slackを14秒で組んだのは、素直に驚いた。

回文のような制約付き生成も強い。

抽象概念の画像化も美しい。

Pythonを使った検算も、できることとできないことを分けられていた。

一方で、弱点も見えた。

読者レベルを途中で落とす。

文字数を厳密に数えない。

「全米が泣く」を本当に泣かせるのではなく、本文に書いてしまう。

長距離移動のような実務タスクで、足りない前提を聞かずに走る。

これはかなり実用上のポイントである。

強いモデルほど、こちらが雑に頼んでも答えてくれる。

しかし、答えてくれるからこそ怖い。

質問に足りない条件があっても、それっぽく埋めて返してくる。

その答えは便利だ。

でも、実務では危ないことがある。

だから、人間側の検証が必要になる。

黒パグベンチマークが必要になる。

ヘンリー大塚が必要になる。

たぶん。

⸻

結論

GPT-5.6 Solは、黒パグの環境ではサイレントに現れた。

待っていた。

来ないと思った。

PS5を起動した。

ヘンリー大塚が生まれた。

薬草をむしった。

羊を見た。

メンテナンス12になった。

イラクサは1277本になった。

その間に、ChatGPTは更新されていた。

今回の検証で見えたのは、GPT-5.6 Solの強さだけではない。

強いモデルにも癖があるということ。

そして、AIの進化を見るには、公式ベンチだけでは足りないということ。

MMLUも大事。

SWE-benchも大事。

でも、500文字回文も大事。

幼稚園児に極座標ラプラシアンを説明できるかも大事。

夕食の献立で本当に泣かせられるかも大事。

稚内から九州最南端まで行くとき、運転手の人数を聞けるかも大事。

こういう変なテストに、モデルの素顔が出る。

GPT-5.6はすごい。

でも、万能ではない。

だから面白い。

そして、アップデートを待っている間に中世ボヘミアで草をむしる人間もいる。

AIの進化とは、モデルが強くなることだけではない。

人間がそれをどう試すか。

どう笑うか。

どう使いこなすか。

そこまで含めて、たぶん進化なのだと思う。

黒パグは今日も検証する。

たまに鍋を見る。

そしてヘンリー大塚は言う。

金は重くない。

だが、信頼は重い。

なお、次回のネタ検証予定は未定である。

ただし、スカリッツの羊は震えている。

#ChatGPT
#GPT56
#生成AI
#AI
#AI活用
#AI検証
#note
#ゲーム
#KingdomComeDeliverance
#黒パグ

おまけ

免責事項

本記事は、公開直後のGPT-5.6を実際に触りながら行った個人的な検証記録です。

検証結果は、記事執筆時点のChatGPTアプリおよび筆者の利用環境に基づいています。ロールアウト状況やモデル更新、UI変更などにより、読者の環境では表示や挙動が異なる場合があります。

また、本記事中のベンチマークや所感は、公式評価を否定・代替するものではなく、「実際に使うとどう感じるか」を観察することを目的とした独自検証です。
添付のPDFも同様に個人の検証結果に基づいており必ずしも性格とは限りません。

記事内に登場する「ヘンリー大塚」はゲームプレイから生まれた創作キャラクターであり、実在の人物・団体とは関係ありません。

掲載しているスクリーンショットは、検証時点で筆者が実際に確認した画面です。今後のアップデートにより、UIやモデル構成が変更される可能性があります。

記事中のユーモア表現（全米が泣く、羊に伝わるか、ヘンリー大塚など）は演出です。どうか温かい目で見守っていただけると幸いです。🐾