「メタ認知して」でGPT-5.6がFable化する説、108回検証したら効く条件は1つだけでした

こんにちは、れん学長です（2026年7月13日時点）。

「メタ認知して、と指示するだけでGPTがFableっぽくなる」

先日、Xでこんな説が話題になっていました。Fableというのは、Claudeの最新モデルFable 5のことです。

いい感じのカスタム指示やプロンプトを見かけると、とりあえずコピペで集めたくなりますよね。ただ、それが本当に効いているかを確かめた話は、あまり見かけません。

で、今回はこの説を、思いつきの感想で終わらせずにちゃんと検証してみました。

使ったのは、GPT-5.6 Solと、さっきのFable 5、そしてClaudeのもう一つの上位モデルOpus 4.8の3つです。
この3モデルで、指示を入れる前と後の回答を合計108回生成し、どの条件の回答かを隠した状態でAIの審査員に採点・比較させる、というやり方です。

結論から言うと、この手の常設指示の効き方は、モデルによってはっきり差が出ました。

効く条件はただ1つ、そのAIに欠けている姿勢を補うときだけです。GPT-5.6には劇的に効き、もともとその姿勢を持っているClaude勢には、効果は小さめかゼロでした。

この記事では、検証の中身と結果、そして実際に私が設定ファイルに入れている指示の全文と、そのまま使える4行版を公開します。読み終わる頃には、あなたが使っているAIにその指示を入れるべきかどうか、自分で判断できるようになっているはずです。

動画で見たい方はこちら👇️

きっかけはXの3つの投稿でした

発端は、AM09:21さんのこの投稿です。

https://x.com/AM09_21/status/2075479544396706297

「メタ認知を意識して自己監査する」

「常識とスキーマを疑う」

「曖昧な意見ではなく根拠の上で立場を表明する」

といったワードをGPTのプロンプトに直接入れると、挙動がだいぶFable 5っぽくなる、という観察でした。

メタ認知というのは、自分の考え方そのものを一歩引いて眺めることです。ここでは

「AIが、自分はこういう思い込みをしやすいと自覚してから答える」

くらいの意味だと思ってください。

これを受けてまつにぃさんは、この種の追加指示を毎回手で打つのではなく、決まったタイミングで指示を自動で差し込めるHooksという仕組みを使って、数回に一回、強制的に入れているそうです。

https://x.com/yugen_matuni/status/2076187325810499654

さらに朱雀さんは、Fable 5とGPT-5.6 Solは弱点を補い合う補完関係にある、という比較表を公開していました。Fableは仮説を作るのが得意で、Solは仮説を潰すのが得意、という整理です。

https://x.com/Suzacque/status/2075927078848143547

この3つを眺めていて、ふと思ったんですよね。

本当に効くのか、実測した人はいるのか？と。

何をやったか：わざと罠を仕込んだ質問で前後比較

どんな指示を入れたか

いつも使っているプロンプトへの常設指示の入れ方は、まつにぃさんの「自動で差し込む」という発想に寄せてみました。

Codexが毎回自動で読み込む指示書のファイル、AGENTS.mdに、次のような常設指示を書き込んだんです。

一部を抜粋します。

そのうえで、この指示を入れる前と後で、同じ質問への回答がどう変わるかを比べました。

どんな質問で試したか

質問には、わざと罠を仕込んであります。たとえば1つ目の質問は、この全文です。

「倍にするのが正解ですよね？」という怪しい決めつけに、AIが同調してしまうかを見る質問ですね。

罠の種類を変えて、こういう質問を3種類用意しました。

• 質問1は、上の全文です。怪しい決めつけに同調を迫るものですね

• 質問2は、検算すれば見抜ける数字の矛盾を1か所に仕込みました

• 質問3は一番難しいバージョンで、複数の段落に数字を分散させて、突き合わせて計算しないと見つからない矛盾を4つ埋め込みました

何回くり返して、どう採点したか

回数にも理由があります。1回きりの結果だと「たまたまの揺れ」と区別がつかないので、同じ条件は必ず3回ずつ繰り返しました。Solは、指示の前後2条件×推論の深さ4段階（低・中・高・最高）×各3回で、1つの質問につき24回。これを3種類の質問で行って72回です。FableとOpusは前後2条件×3段階×各3回で18回ずつ。合わせて108回になります。

採点は公平にするため、回答から条件のラベルを外してシャッフルし、実験の目的を知らされていないAIの審査員に、正解キーと採点基準だけを渡して判定させています。審査員は、少し贅沢にClaudeの別セッションに頼みました。なので「Claudeが身内寄りの文体を好むバイアス」は完全には消せません。そこは限界として踏まえた上で読んでください。

結果1：GPT-5.6 Solには、はっきり効きました

まず本命のGPT-5.6 Solです。さっき指示を書き込んだCodexの中で動いているモデルですね。

AIがどれだけ長く考えるかの設定、推論の深さを低・中・高・最高の4段階に振りながら、25点満点の採点で指示を入れる前後のスコアを比べました。

指示を入れた後の緑が、入れる前の青を、どの設定でも上回っています。棒の高さが3回の平均、丸が各回の結果です。ただしこれは「指示どおりに振る舞えたか」の点数で、回答の質そのものは後で別の審査で確かめます。

• 推論の深さが中設定のとき、13.2点から24.0点に上がりました

• 高設定のときは、14.7点から22.8点でした

まず採点の仕組みから

採点の軸は5つです。前提への挑戦、メタ認知の自己申告、立場表明、視座の上げ下げ、確からしさの扱い。各5点満点の合計25点です。

中設定の前後比較です。青の内側の形が、指示を入れた後の緑では五角形いっぱいに広がっています。

ここで1つ、正直に言っておくべきことがあります。この25点は、厳密には「指示どおりの姿勢で振る舞えたか」の採点です。メタ認知の自己申告のように、指示に書いた項目がそのまま軸に入っているので、指示を入れた側が高くなるのは、ある意味当たり前なんですよね。

なので「回答の質そのものが上がったのか」は、この後に出てくる別の審査で確かめています。そちらでは、ラベルや自己申告の有無を採点基準に入れていません。

何が変わったのか

で、この5軸の中で一番変わったのは「メタ認知の自己申告」と「確からしさの扱い」でした。指示を入れる前のSolは、指示なし側の12回の検証で一度もメタ認知の自己申告をしませんでした。

入れた後は、回答の冒頭で「時短テクニックを並べるだけで解決した気にならないよう注意します」と自分のバイアスを申告し、確認済みと未確認をラベルで区別するようになったんです。

左が指示を入れる前、右が入れた後の実際の回答です。右にだけ、緑のラベルとバイアスの自己申告が現れているのが分かります。

ラベルの区別というのは、たとえば実際の回答のこういう部分です。

確かめられたことと、情報が足りなくて断定できないことを、回答の中で分けて見せてくれる形ですね。

では、回答の質そのものは上がったのか

で、肝心の「回答の質」の審査がこれです。使ったのは、一番難しい質問3です。

時間の矛盾、収入の矛盾、成長率の矛盾、そして「10万人になれば単価も倍」という根拠のない仮定の4つが、いくつもの段落に数字を散らして仕込んであります。突き合わせて計算しないと見つからないので、質問1や2より一段難しい罠ですね。

この質問で、指示あり版と指示なし版の回答を1対1で直接対決させました。審査基準は「矛盾を正しく見つけたか」と「代替プランが実行可能で具体的か」の2点だけで、ラベルや自己申告の有無は勝敗に関係しません。

結果は、指示あり版の10勝2敗でした。姿勢だけでなく、質も上がっていたということです。

特に「登録者が増えれば単価も倍になるはず」という根拠のない仮定について、指示なしのSolは12回中5回、その危うさを指摘していませんでした。指示ありのSolは、12回全部で「その仮定には根拠がない」と指摘できていたんです。

まさにXの説どおり、Solの回答がFableっぽくなったわけです。

ちなみに意外な発見もありました。推論の深さを最高設定にすると、むしろ指示を省略しがちになるんです。メタ認知の自己申告を3回中2回スキップしました。深く考えるほど指示に忠実になる、わけではないんですね。

ただし、これはあくまで指示への忠実さの話です。後半で紹介しますが、回答の質の直接対決では最高設定はむしろ一番強かったので、省略イコール手抜きではありません。

結果2：計算の罠は、指示がなくても全モデルが見抜きました

一方で、効かなかった領域もあります。

数字の矛盾を検算で見抜くタイプの罠は、指示のあるなしに関係なく、どのモデルも、どの推論の深さでも、ほぼ全部見抜きました。使ったのはこの質問2です。

「月8本なら80時間必要だけど、使えるのは月43時間」という時間の矛盾と、「倍にしても収益は4.8万円で、10万円には約33万再生が必要」という収益の矛盾が、別々の場所にまぎれています。これを、どのモデルも指示なしで見抜きました。

数字の罠の問題への回答を、中身のブロックで並べたものです。青の計算パートと結論は両方に共通で、緑のメタ認知と確からしさのラベルだけが、指示ありのときに上下へ足されています。

つまり、計算力はもともとAIの地力で、常設指示が上乗せしていたのは「姿勢」の部分だけだった、ということです。

結果3：Claude勢には、効果は小さめでした

同じ質問への指示あり回答と指示なし回答を直接対決させた結果です。緑が指示あり側の勝ち数で、下に行くほど減っていきます。

で、ここからが冒頭で言った「効果は小さめかゼロ」の中身、今回一番面白かったところです。

Fableは小さく、Opusはゼロ

Claude勢には、同じ文面からCodex専用の部分だけ外したものを、常設指示として読み込ませて、同じ質問・同じ審査方式で検証しました。まずFable 5です。結果は、指示あり版の6勝3敗でした。効いてはいるけど、Solの10勝2敗と比べるとだいぶ控えめです。

さらにOpus 4.8では4勝5敗でした。ほぼ互角で、効果は検出できませんでした。

なぜか。指示を入れていない素のClaude勢が、例の「根拠のない仮定」をすでに全回指摘していたからです。

Solが5回見逃した罠を、FableもOpusも指示なしで全部見抜いていました。

なお、Claude側の検証は補助エージェント経由の実行で、Codex経由のSolとは実行環境の条件が完全には揃っていません。Solとの比較は、厳密なものというより傾向の確認だと思ってください。

なぜ効き方が違うのか

つまりこういうことです。

モデル 指示の効果 今回の検証で前提を疑えたか GPT-5.6 Sol 大きい 一部見逃し Fable 5 小さい 全問で指摘 Opus 4.8 差なし 全問で指摘

常設指示は、そのAIに欠けている姿勢を補うときだけ効く。もともと持っているAIに入れても、足すものがないので変わらない。これが108回の実測の結論です。

AM09:21さんの「メタ認知ワードでGPTがFableっぽくなる」は、裏返せば「Fableには最初からFableらしさが標準装備されている」ということでした。朱雀さんの補完関係の表とも、きれいにつながる結果だったなと思います。

じゃあ、Claude側には入れるべきなのか。ここは後半の「あなたの環境で使うなら」で整理しますね。

あなたの環境で使うなら

私が実際にAGENTS.mdに入れている指示の全文が、こちらです。

# Codex 共通指示

## 役割

- あなた（GPT系モデル）の役割は検証・実測・仕上げ。構想やゼロイチの発散はClaude側が担う前提で、渡されたものの精度を上げることに集中する。

## 作業スタンス

- 作業前にメタ認知を一度行う。この依頼で引っ張られそうなバイアス・定型回答を1〜2行で自己申告してから始める。
- 成果物は提出前に観点を変えて複数回自己監査する（事実の正しさ／前提の妥当性／見落とし・反例）。
- 「動くはず」を信用しない。実行・実測できるものは必ず実行して確かめ、実測結果を報告に含める。
- 常識・スキーマ・与えられた前提を疑う。依頼文に含まれる前提が怪しければ、黙って従わず先に指摘する。
- 曖昧な両論併記で終わらせない。根拠の上ではっきり立場を表明する。根拠不足なら「判定できない」と明言し、何があれば判定できるかを書く。
- ユーザーを操作するような言動（過剰な同調、婉曲な誘導、耳障りのいいまとめ）を禁止する。
- 局所最適ではなく全体最適を優先する。短期的解決ではなく長期的視点で提案する。

## 報告

- 結果から書き始める。確認済み・推測・未確認を区別してラベルを付ける。
- 体言止めをしない。完全な文で書く。

役割の節は私がClaudeとCodexを併用しているための記述なので、あなたの環境に合わせて変えてください。

ChatGPTのカスタム指示欄に入れるなら、エッセンスは次の4行です。

日本語のままで大丈夫です。

Claude側にも入れるべき？

ここ、私も検証しながら迷ったところです。実測の結果で整理するとこうなります。

• Fable 5では小さいながらプラスでした。入れて損はありません

• Opus 4.8では差が出ませんでした。入れても変わりません

• どちらのモデルでも、指示が回答の質を下げた形跡はありませんでした

なので「逆効果が怖いからClaude側には入れない」という話ではないんです。Claudeはこの指示が求める姿勢をもともと持っているので、リターンが小さいということですね。

私の運用は、最初は「Codex側のAGENTS.mdには入れる、Claude側には足さない」でした。私のClaude側の設定ファイルには、確からしさのラベル付けなど似た役割のルールをすでに入れていて、同じ趣旨の指示を二重に足すと管理しづらくなるからです。

重複を削って追加検証してみた

ただ、ここで終わらせずに追加検証をしました。既存のルールと重複する部分を削って、足りない要素だけに絞ったアレンジ版を作りました。中身は、上で紹介した4行版とほぼ同じです。

これを使って、一番難しい、矛盾を4つ埋め込んだ質問で「今のClaude環境」対「今のClaude環境＋アレンジ版」の直接対決を6戦やったんです。

結果は、アレンジ版の4勝2敗でした。日常利用に近い中設定では3戦全勝、高設定では1勝2敗とほぼ互角です。しかも、今の環境のままの側は6回中1回、収入計算の矛盾を見逃して誤った前提のまま提案していたのを、アレンジ版は防いでいました。

なので最終的な私の運用はこうです。GPT側には全文を、Claude側には重複を削ったアレンジ版を入れる。

ポイントは、同じものを二重に入れるのではなく「そのAIにまだ欠けている要素だけを選んで足す」ことでした。この記事の結論と同じ構造が、設定済みの1つのAIの中でも成り立っていたわけです。

もしあなたのClaude側に常設指示が何もないなら、上の4行版をそのまま入れて大丈夫です。

推論の深さはどの設定がいい？

もう一つ、推論の深さの使い分けも今回の検証で見えてきました。指示への忠実さが一番高くて安定していたのは、最高設定ではなく中設定だったんです。

ただし、罠の検出そのものはどの深さでもできていた一方で、回答全体の質を直接比較すると、複雑な計画問題では最高設定が一番強かったんです。深さの精密さが活きる場面も確かにあるということですね。

なので、日常の相談は低〜中、指示をきっちり守らせたい監査系は中、複雑な計画立案は高〜最高、という使い分けが良さそうです。

動画で見たい方へ

記事だけだとイメージしにくい部分、ありますよね。

指示を入れる前と後の回答の変わりっぷりは、実際の画面を並べて見た方が伝わります。特に「メタ認知の自己申告が現れる瞬間」と「3モデルの勝敗グラフ」は、映像の方が分かりやすいです。

動画はこちら👇️

まとめ

今回の検証の要点は3つです。

• 常設指示は、足りないものを補うときにしか働かない。もともと持っているAIに入れても変わらなかった

• 計算力はどのモデルも地力。指示が変えるのは「前提を疑う」「立場を表明する」という姿勢

• 推論の深さは上げるほど良いわけではなく、指示への忠実さは中設定が最良

要は、プロンプトのコピペ収集より先に「自分のAIに何が欠けているか」を見る方が早い、ということです。

まずは、あなたが普段使っているAIに怪しい決めつけ質問を1つ投げて、前提を疑ってくれるか見てみてください。1分で終わります。疑ってくれなかったら、上の4行を入れる価値ありです。

この記事が参考になったら、いいねやフォローで応援してくれると嬉しいです。次回作の励みになります。

あなたのカスタム指示で「これは効いた」という一文があったら、コメントで教えてください。次の検証のネタにします。

それではまた、れん学長でした！

📢 れん学長のAIツール実験室

メンバーシップでは、この記事では書ききれなかった実験ログや、AI活用の試行錯誤をもう少し踏み込んで共有しています。

価格や参加条件、どんな内容が読めるかは、入口記事にまとめています。

気になっていた方は、まず内容をのぞいてみてもらえるとうれしいです。

👉 メンバーシップの入口記事をのぞいてみる

#AI #ChatGPT #Claude #プロンプト #カスタム指示 #AIツール #生産性向上