黒パグさん焦る。AI鑑識プロンプト、arXiv最新論文に先回りされたかと思った話　

※本記事で扱う「v4.3」は現在検証中の次期バージョンです。販売中はv3.2系（v3.3.1）になります。アップデート概要は記事末尾に記載します。

こんにちは黒パグです🐾
朝、AIDBさんの投稿を見て、ちょっと嫌な汗をかきました。
うちの鑑識プロンプト、有料記事として販売しています。ありがたいことにnoteでの販売は40件を超えて、企業様からのライセンスのお話もいくつかいただいています。Claude Opus 4.7や最新のGPT-5.5に対応するためのメジャーアップデートに向けて、ここ数週間ずっと検証と実験を繰り返していたところでした。GWに仕事しつつ…

そんな朝、AIDBさんのタイムラインで一文が目に入りました。
「人間が書いた部分とAIが生成した部分が混ざった文章から、AI部分を検出する理論的に高精度な手法が出た」
……あれ？
それ、今まさに黒パグが追いかけてるテーマでは？
論文を見に行きました。
arxiv:2605.03723

タイトルは
Segmenting Human-LLM Co-authored Text via Change Point Detection
arxiv:2605.03723（2026年5月5日投稿、わずか2日前）
LSEとバーミンガム大学の統計屋さんの仕事です。投稿日は2026年5月5日。かなり新しい。arXivなのでプレプリント段階ですが、内容を読みに行ったら思った以上に本気でした。
正直、一瞬だけ焦りました。
数ヶ月かけて「混在文章をどう見るか」を考えていたら、統計ガチ勢が理論証明付きで突っ込んできた感じです。

論文の発想

論文の発想自体は、骨組みだけ抜き出すとかなりシンプルです。
まず、文章を文ごとに分ける。
その上で、「この文はどれくらいAIっぽいか」のスコア列を作る。
例えば、
0.12
0.15
0.11
0.83
0.87
こんな感じですね。実際にはFastDetectGPTなどの既存検出器を使ってスコアを付けるんですが、そこは枝葉。
すると、人間が書いている区間とAIが書いている区間で、スコアの分布が急に変わる。
その「切り替わり地点」をchange point、つまり変化点として検出する。
なのでこの論文、実は「AI検出」というより「文章分割」に近いんですよ。
ここ、結構重要でした。

従来のAIチェッカーって、「この文章はAIです」「人間です」みたいな二択が多かったんですよね。
でも現実の文章ってそんな綺麗じゃない。
冒頭だけ人間。
途中からAI。
AI下書きを人間が修正。
最後だけAIが補足。
普通にあります。
論文は、そこをちゃんと扱いに行っていました。
しかも面白いのが、単なるベンチマーク大会で終わっていないところです。
変化点検出の問題として定式化して、統計理論まで持ち込んでいる。論文の中でminimax optimalityという言葉が出てきます。
ざっくり言うと、
「この条件なら、どんな天才が来ても劇的には超えられない」
というタイプの主張です。
統計屋さんの本気だな……となりました。

焦った後、改めて読み直す

じゃあ黒パグプロンプト終わったのか、という話なんですが、改めて読み直してみると、意外とそうでもありませんでした。
むしろ、見ている場所が違いました。
ここを説明するために、少し時系列を遡ります。

v4.2系で先に向かっていた方向

実は、論文を見る前のv4.2系で、黒パグはすでに方向転換をしていました。
v4.1.2までは「AIが出した癖」を見る鑑識でした。
「一方で」「重要な」「明確に」「網羅的な」みたいな、表面に出る癖を拾うやり方ですね。これでも2024〜2025年あたりまでは結構効きました。
ところが2026年に入ってからのAIは、その手の癖を意図的に消す方向に進化を始めます。
象徴的だったのが、2026年5月5日のOpenAIのアップデート。GPT-5.5 Instantは、過剰な共感を減らし、絵文字を減らし、見出しを減らし、フォローアップ質問を減らした。要するに「派手な指紋」を全部抑えにかかってきました。

これに対応するためには、表面の単語を見ているだけでは追いつかない。
そう考えてv4.2系では、「AIが癖を消した痕」を見る方向に振りました。
具体的には、
段落ごとの役割分担が綺麗すぎないか
説明の抜けが少なすぎないか
意味接続が滑らかすぎないか
最後が安全に着地しすぎていないか
この辺りです。
逆に人間の文章には、わかりやすい「ノイズ」が結構あります。
急に主観が入る。
途中で飽きる。
変な比喩を入れる。
説明が一個抜ける。
書いてる途中で「あ、これ話逸れたな」みたいな瞬間が普通にある。
AIは最近かなり自然になりました。
でも、その揺れ方はまだ均質なんですよ。
「均質である」ということ自体を疑うのが、v4.2系のコンセプトでした。

そこに論文が刺さってきた

で、論文を見に行ったわけです。
論文の核心って、「AIっぽい単語があるか」ではなくて、
「AIっぽさの分布がどこで変わるか」
を見ることなんですよ。
これ、v4.2系で黒パグがやっていた方向と、かなり近い。
こちらも「AI語彙を拾う」より、「整いすぎた構造」を見る方向に寄せていました。
同じ山を登っていた、と思いました。
ただ、ルートは違いました。
論文側が見ているのは「境界」です。
どこで人間からAIに切り替わったか。
どこからLLMが書いたのか。
かなり外科的です。
一方、v4.3側が見ているのは「指紋」です。
どのAIっぽいか。
AI臭を消したあとに何が残るか。
段落構造がどのモデル寄りか。
安全結論の残り方はどうか。
SNSやnoteみたいな現場文章で、どこに違和感が出るか。
論文は「境界検出のメス」を持ってきた。
こちらは「現場文章を見る鑑識眼」を磨いていた。
役割が違うんですよ。

v4.3で入れたばかりの三点

ここからが今回、一番おいしかった話です。
論文を読んだ前後で、ちょうどv4.2.1からv4.3への改訂作業を進めていました。v4.3では具体的に、以下の三つを入れています。
段落重み付けの4段階化
文体断層閾値の段落数依存スケーリング
短文補正ルールの明文化
順に説明します。

段落重み付けの4段階化

v4.2.1までは、段落の重みを「50字未満は0.2、それ以上は1.0」という二値で扱っていました。
これだと、80字の段落と1000字の段落が同じ重みで扱われてしまう。
短い段落って、指紋が一つか二つ入るだけで局所スコアが跳ねるんですよ。それをそのまま代表値計算に入れると、過剰検出になる。
逆に長い段落は揺らぎが小さくなるぶん、信頼性が高い。
なのでv4.3では、
30字未満 → 重み0.2
30〜80字 → 重み0.5
80〜200字 → 重み1.0
200字以上 → 重み1.3
という4段階の階段関数に変えました。

文体断層閾値の段落数依存スケーリング

文体断層というのは、隣接する段落間でスコアが急に変動した箇所のことです。「AI下書き＋人間リライト」のような混在文章を捕まえるための指標です。
v4.2.1までは閾値が固定でした。「軸Aで20点以上、軸Bで12点以上」。
ところが、長文では段落間のスコアの揺らぎが自然に大きくなる。固定閾値のままだと、長文のnote記事で偽陽性が増えるんですよ。
なのでv4.3では、
段落数3以下(短文) → 文体断層検出を保留
4〜8段落(中文) → 軸A=20、軸B=12（従来通り）
9段落以上(長文) → 軸A=24、軸B=14
と、段落数に応じて閾値をスケーリングするようにしました。

短文補正

短文って、構造が綺麗でも普通なんですよ。
逆に長文でずっと均質だと怪しくなる。
だから短文と長文を同じルールで見ると、誤爆しやすい。
v4.3では「段落数3以下、または総文字数800字以下の短文」では、
段落均質性チェック → 無効化
見えない整形痕(P4) → 無効化
文体断層検出 → 保留
近接ブロック評価 → 保留
としました。
短文では、これらの規則性を語る母数がそもそも足りない。だから判定対象から外す、というシンプルな話です。

後ろから照らされた

この三つの改訂、論文を読んだ前後で確信度が上がりました。
論文側も結局は「分布」を見ているんですよ。
文ごとのスコア列。
それが急に変わるところ。
窓を区切って統計を取る。
やっていることは、こちらの「段落重み付け」「文体断層」「短文補正」と方向としては近い。
論文は理論証明付きでそれをやっている。
こちらは経験則の積み重ねでそこに辿り着いていた。
否定された、ではないんですよ。
「その方向でいいと思うよ」
と、後ろから照らされた感じに近かったです。


もちろん、調子に乗れる話ではないです。
論文には理論保証があります。
v4.3にはありません。
ここはかなり大きい違いです。
論文の手法は、「弱い信号でも数を集めれば検出できる」ことが数式で証明されている。一方v4.3の散布ボーナス（「AI痕が複数項目に薄く広がっていたら加点」というロジック）は、根拠が経験則です。「7体のAIに自白させた指紋データベース」と「現場で何百件と見てきたnote記事の感触」。
ただし、見ている場所が違うので、優劣を直接比較する話ではない、というのも事実です。
論文は、文ごとにスコアを付けて境界を検出する。あくまで「人間 vs LLM」の2クラス分離が前提です。
v4.3が見ているのは、もう一階層手前です。
「これはClaude癖か、GPT癖か、Grok癖か」というモデル別の解像度。
論文の枠組みでは、ここは扱えないんですよ。FastDetectGPTスコアは「LLMっぽさ」の連続値であって、「どのLLMっぽさか」ではない。
それから解釈可能性。
論文の手法は「文番号17に変化点がある」と返してくれる。
v4.3は「A-H7断言回避が3連続、A-H5因果締め、A-M3三段構成、これはGPT-5.5 Instantの隠れGPT型(D-Flag)に近い」と返してくれる。
書き手にどう直せばいいかを伝える機能（v4.3の「改ざんマニュアル」）は、論文には存在しない。
それから、実装コスト。
論文の手法は、トークンレベルの確率分布を取るためにローカルLLMが必要です。GPU環境が要る。
v4.3はプロンプト一発で動きます。
note記事を貼って、Claudeに食わせる。それだけです。
実用ハードルが3桁違います。

役割が違う

つまり、こうです。
論文は境界検出のメス。
v4.3は現場文章を見る鑑識眼。
論文は外科医で、こちらは鑑識官。
問題設定をどこまで綺麗に切るか、で見ているものが違うんですよ。論文側はトレーニングセットも実験条件も統制された、綺麗に切られた問題を扱っている。
v4.3が相手にしているのは、note、SNS、創作、AI対話転載みたいなぐちゃぐちゃの現場です。
柔軟ではあるけれど、数学的な保証までは持っていない。
逆に論文側は、問題設定を綺麗に切って、その中で理論最適を出している。
どちらが上というより、役割が違うんですよね。

2026年型の鑑識

ただ、今回かなりヒントもありました。
文ごとのスコア。
段落ごとの局所濃度。
変化点。
局所的なAI化。
この辺、v4.4系では多分かなり重要になる気がします。
例えば、
「この文章はAIっぽい」
だけじゃなく、
「第3段落からAI整形が濃くなる」
「中盤だけ安全結論が出る」
「冒頭は人間文だが途中から均質化する」
みたいなところまで見え始めると、もう単なるAIチェッカーではなくなる。
AI鑑識です。
2026年型の鑑識って、たぶん表面の接続詞だけ見ても足りない。
「どこが整いすぎているか」
「どこで急にAI濃度が変わるか」
「どの段落だけ手つきが違うか」
その辺を見ないと厳しくなってきている気がします。
論文側はそこに統計的なメスを入れてきた。
こちらは現場の鑑識眼でそこを見ようとしている。

黄色信号、ではなかった

というわけで、今回の「黄色信号」、実際には黄色ではありませんでした。
むしろ、「あ、そっちルートから来たんだ」という確認に近い。
学術側は変化点検出というメスを持ってきた。
こちらは現場文章を見る鑑識眼を磨いている。
この二つ、たぶんそのうち合流します。
v4.4、次は境界検出に踏み込むかもしれません。
文ごとのスコアを取って、段落ごとの局所濃度を見て、どの位置でAI濃度が変わったかを返す。論文の発想を、現場運用版で取り込む。
まあ、その瞬間からだいぶ危ない世界に入る気もしますが。

現在地

現在、v4.3を元にさらに検証を進めています。
誤爆テストを別アカウントで並行で回していて、その結果次第で散布ボーナスや条件閾値の微調整を入れていきます。
イタチごっこに参戦してしまった以上、責任を持ってアップデートしていく所存です。
論文側がメスを研いできたら、こちらも鑑識眼を研ぐ。
それだけの話です。

販売中のv3.2系から、検証中のv4.3へ

最後に、販売中の鑑識プロンプトの近況も書いておきます。
現在販売しているのはv3.2系（v3.3.1）です。「AIが出した表面の癖」を20項目のチェックリストで拾う設計で、合計100点満点＋物的証拠加点＋20点の単軸スコアリング。2025年型のAI出力を相手にする限り、この設計でかなり戦えます。実際、note記事の鑑識ではv3.3.1で十分な精度が出ています。
検証中のv4.3は、設計思想そのものを切り替えました。
主要なアップデート内容は以下です。

1. 検出哲学の転換
v3.2系は「AIが出した癖」を見る鑑識でした。「一方で」「重要な」「明確に」のような、表面に出る癖を拾う方式です。
v4.3は「AIが癖を消した痕」を見る鑑識です。段落の均質性、説明の抜けの少なさ、安全結論への着地、意味接続の滑らかさ。AIが指紋を消したあとに残る「整いすぎ」を読みます。

2. 三軸スコアリングへの移行
v3.2系の単軸（AI臭さスコア20項目）から、v4.3では三軸構造に拡張しました。

・整えすぎ軸（軸A）：最大115点。AIが綺麗に整えてしまう癖を捕捉
・崩しすぎ軸（軸B）：最大30点。Grok型の演出断言・人工口語・反語テンプレを捕捉
・カメレオン軸（軸C）：最大20点。語彙と構造のねじれ、ペルソナの均質性を捕捉
満点は115＋30＋20＋物的証拠35＝200点。

3. 隠れフラグ判定の新設
「派手な指紋」を消したAI出力を、別系統で捕まえるためのフラグを3種類追加しました。

・D-Flag（隠れGPT型）：派手指紋を抑制した新型GPT-5.5 Instantを捕捉
・C-Flag（隠れClaude型）：括弧書きのメタ独白・自己分析メモといったClaude特有の癖を捕捉
・E-Flag（編集者型AI疑い）：人間の手で整えられたAI出力を捕捉
これらはモデル別の解像度を上げるための仕組みで、v3.2系の単純なスコアリングでは届かない領域です。

4. 段落単位の評価への拡張
v3.2系は全文一括スコアリングでしたが、v4.3では段落単位で評価します。
・段落重み4段階化：30字未満／30〜80字／80〜200字／200字以上で重みを階段化
・近接ブロック評価：3段落単位の局所濃度を見る
・文体断層検出：隣接段落間のスコア変動から「AI下書き＋人間リライト」を捕まえる
・短文補正：段落数3以下では誤爆を抑える保留ルールを発動
混在文章への対応力が、v3.2系から大きく上がっています。

5. 2026年5月のGPT-5.5 Instant対応
OpenAIが2026年5月5日のアップデートで派手指紋を意図的に抑制してきました。共感・絵文字・見出し・フォローアップ質問が減り、回答が短く直接的になった。ただし段落設計の綺麗さ・安全結論への着地・情報の欠落の少なさは残っています。
v4.3ではこれを物的証拠P4「見えない整形痕」として捕捉します。Markdownなし・箇条書きなし・段落構成が綺麗すぎる、という4条件で検出する物証ベースの判定です。

6. ジャンル拡張（4種類→7種類）
v3.2系の「ビジネス／創作／SNS／歌詞」に加えて、v4.3では以下を追加。
・note記事：個人ブログ的長文への補正を専用ルール化（主戦場）
・強ペルソナ指定：「太宰治風」等の文体模倣への対応
・AI対話転載：話者ラベルでブロック分割し、AIブロックのみを評価

7. 出力モード切替の導入
v4.3では「簡潔モード（デフォルト）」と「詳細モード」を切り替えられるようにしました。
普段は判定結果と該当チェック項目だけ簡潔に出る。詳細プロファイルが必要なときは「詳細モード」「フル出力」「完全版」のいずれかを指定すれば、従来のフル出力が出る。用途に応じてボリュームを選べる設計です。
誤爆テストを別アカウントで並行で回しているところで、結果次第で散布ボーナスや条件閾値の微調整を入れます。テスト完了後にv4.3として正式リリースを予定しています。
朝、嫌な汗をかいたあとで、夜にはちょっとだけ気が引き締まる。
そういう一日でした。

#AI
#生成AI
#ChatGPT
#Claude
#LLM
#プロンプト
#プロンプトエンジニアリング
#AI鑑識官
#AI検出