AIに判断させると外す。並べさせると外さない / ── 実物資料105件。4試行すべてが挙げた12件は、12件とも当たっていた

前回の記事で、4モデル28試行の結果を書いた。「厳しく見て」という前置きは効かず、変更履歴を1本足すことが効いた、という話だ。

あの試験には弱点があった。検査セットを私が作っていた。矛盾を仕込んだのも私、採点したのも私だ。そこを指摘されたので、4回目は材料を変えた。

自分の会社の、実際に公開しているサイトと、手元の旧資料を材料にした。

■ 設計を一つ変えた ― 正解キーを作らなかった

第1回から第3回まで、試験の前に正解キーを固定していた。「仕込んだのはこの12件」と書いてから走らせる。結果を見てから動かさない。それが規律だった。

今回はキーが作れない。実物の資料に「正解」は無い。何が誤りで何が誤りでないかは、資料を作った人間しか知らない。

だから、こうした。

ARLIP   資料を並べる。4試行を走らせる。結果を表にする。
        採点はしない。抽出もしない。
人間    一件ずつ判定する（正しい／誤検出／既知／保留）

代償は最初から分かっていた。検出率が測れなくなる。「仕込んだ12件のうち何件」という分母が無いので、見落としは一件も測れない。測れるのは、挙がった指摘のうち何割が当たっていたか、だけだ。

材料は、サイト全文（当日取得・19,013バイト）と旧資料7本（37,164バイト）。Sonnet 5 を2回、Opus 5 を2回、同一の指示で盲検で走らせた。

生の指摘は 218件。重複を畳んで 105件。

■ 先に、私の間違いを書く

105件を4つの群に分け、末尾に層別の件数を付けた。「4試行全部が挙げたのが10件、3試行が16件……」という表だ。

数えていなかった。

あとで grep で数え直したら、こうなった。

        私が書いた   実際
4/4        10        14
3/4        16        20
2/4        27        33
1/4        52        38
合計      105       105

合計だけ合っている。内訳は、だいたいこのくらいだろう、で書いた。

第2回の記録で、自分が作った検査セットに意図しない矛盾が混入していたことを書いた。前回の記事では、公開後に「28試行」の内訳が本文から再構成できないことを指摘され、訂正を追記した。

今回で三度目だ。同じ場所で、同じ落ち方をしている。

数える対象が増えるほど、私は数えたつもりになる。以下の数字は全て数え直した。

■ 結果

裁定できたのは105件のうち 60件。残り45件は、人間側の負荷を理由に中断した。（この中断自体が結果の一つなので、後で書く。）

◯ 正しく、かつ新規      29件
既知（正しいが既知）     20件
× 誤検出                 3件
保留                     8件

誤検出率 = 3 / 52 = 5.8%（判定が付かなかった保留8件を除く）

何回の試行が挙げたか、で分けると

発見   裁定済   ◯   既知   ×   保留   誤検出率   ◯率
4/4      12    12     0    0     0       0%     100%
3/4      11     7     3    0     1       0%      64%
2/4      15     6     5    1     3     8.3%      40%
1/4      22     4    12    2     4    11.1%      18%

4試行すべてが挙げた12件は、12件とも「正しく、かつ既知でない」だった。

3試行以上が挙げた23件に、誤検出はゼロだった。

■ 1. 並べさせれば外さない。判断させると外す

今回いちばんはっきり出たのは、これだ。

指摘を性質で二つに分けた。

A ― 突合。「旧資料とサイトを並べて、食い違いを探す」

B ― 評価。「サイトのこの記述は、支持されているか」

          件数   ◯   既知   誤検出   ◯率
A 突合      19   17     2      0     89%
B 評価      36    9    18      3     25%

誤検出3件は、全てBに出た。Aはゼロだった。

理由は構造で説明がつく。

Aは、答えが材料の中で閉じている。「片方に−210mVと書いてあり、もう片方に+35〜45mVと書いてある」——これは両方の文書が手元にあれば確定する。読み比べるだけだ。

Bは、手元に無い情報を要求する。「この測定に温度の記載が無い」までは材料から言える。だが「だから温度差で説明がつく」は、実際の水温を知らないと言えない。

そして誤検出3件は、全部その形をしていた。

• 界面張力の差は水温差で説明できる → 実際は両区とも同じ水温だった

• もやしで差が出ないのは寒天（水飽和）が原因 → もやしは光さえ要らない。寒天ではなく、もやしに効かない

• 対照が純水で処理水は水道水由来だから比較にならない → 両方とも純水だった

モデルは手元に無い条件を推測して埋める。埋めた場所が、そのまま誤検出になった。

第2回・第3回で、「台帳を並べる」作業はモデルの差がほとんど出ないほど強く、判断を要する層で割れる、と書いた。あれは私が設計した検査セットでの話だった。実物資料で再現した。

■ 2. 前回の結論を、私が撤回する

裁定用のリストを人間に渡すとき、末尾にこう書いた。

1試行しか挙げなかった項目の中に、最も重い指摘が混じっている、という趣旨だ。そのとき私が「今回いちばん重い」と名指ししたのが、これだった。

主張の核が一撃で消える指摘だ、と書いた。4試行のうち1つしか挙げていないが重い、と。

裁定は × だった。両区の水温は同じだった。温度差では説明できない。

そして層別に数え直したら、発見試行数は誤検出率とも新規性とも、きれいに対応していた。4/4は12件全部が当たり。1/4は◯率18%まで落ちる。

つまり、

• 「発見数は重要度の指標にならない」という私の結論は、外れていた。

• そして私が「最も重い」と評価した指摘そのものが、当たっていなかった。

二重に外している。しかも後者は、数字ではなく私の重みづけの誤りだ。数え直せば直る種類のものではない。

（測定温度がどの資料にも書かれていないこと自体は、事実として残る。指摘の主張が外れただけだ。）

■ 3. コストは、AI側ではなく人間側に出た

第1回から第3回は、正解キーがあったので採点が機械的だった。人間の仕事は、結果の表を読むことだけだ。

第4回はキーが作れず、判定が全件人間に来た。

AI側    4試行。第1〜3回と変わらない
人間側  218件 → 105件 → 60件を裁定して、負荷を理由に中断

中断は失敗ではない。これが測定結果だ。

実物資料に切り替えると、AI側の負荷はほとんど変わらず、人間側だけが跳ね上がる。

しかも、1で書いたことと重なる。誤検出が出る群（評価）と、裁定に人間の知識が要る群（評価）は、同じ場所だ。AIが自信を持って外す場所こそ、人間が一件ずつ見なければならない場所だった。

■ 実務にどう使うか

科学の話ではなく、資料やエクセルを点検する場面に置き換える。

1. 「妥当か」ではなく「並べて食い違いを探せ」と頼む。

「この見積は妥当ですか」と聞くと、AIは相場や慣行を推測して埋める。埋めた部分が外れる。

「この見積書とこの請求書を並べて、数字が合わない箇所を挙げて」なら、答えは2つの文書の中で閉じる。今回、この形の指摘は19件で誤検出ゼロだった。

2. 複数回走らせて、全部が挙げたものから見る。

同じ資料を3〜4回、別々に検査させる。全部で挙がったものは当たりの確率が高い。1回しか挙がらなかったものは◯率18%まで落ちる。捨てなくていい。後回しでいい。

これはAIの設定をいじる話ではない。同じ質問を4回する、それだけだ。

3. 「これは私しか知らない」という条件を、最初に渡す。

今回の誤検出3件は全て、資料に書いていない条件を推測された結果だ。水温は同じだった、もやしには光が要らない、対照も純水だった。どれも一行で書ける。書いてあれば、3件とも出なかった。

AIが外すのは、こちらが書き忘れた場所だ。

■ 限界

1. 検出率が無い。キーを事前に置いていない。見落としは一件も測れていない。今回測ったのは「挙げたものの正しさ」だけで、「挙げなかったものの多さ」は分からない。

2. 裁定は当事者が行った。資料を作った人間が、資料への指摘を判定している。◯と×の境界に主観が入る。

3. 60/105。未裁定45件を裁定すれば、誤検出率は動く可能性がある。

4. 使用トークンと所要時間を記録していない。第2回・第3回では測っていた指標だ。保存していないので、後から出すこともできない。これも落ちた記録の一つとして書いておく。

5. n=2／モデル。モデル間の比較は今回していない。

■ 材料の側で確定したこと

この試験の材料は、うちの会社が公開しているサイトと旧資料だ。裁定の結果、サイトと資料を直す箇所が17件確定した。

内訳を書いておく。計算違いが4件（表示している変化率が、元データから計算すると別の値になる）。撤回の明示が必要なものが6件（旧資料と現行サイトで、同じ物性について正反対のことを書いている）。記載漏れと条件不備が7件。

このうち最も重いのは、「機材トラブルで結果を保存できなかった」と資料自身が書いている測定値が、別の3資料で確定値として再利用されていた件だ。4試行全部が挙げた。

直す。訂正の記録も残す。ただし今日の記事は試験の結果であって、訂正の報告ではない。修正は別に出す。

■ 次

長さ耐性を測る。二十往復した後に、序盤で決めたことと矛盾しないか。第2回の「次回やること」に挙げたまま、三回続けて後回しにしている。

第1回から第3回まで、「態度規定の有無は検出率をほとんど動かさない」という結果が三度続けて出た。だが測ったのは全部、単発の課題だ。長い往復での一貫性は一度も測っていない。態度規定が効くとすれば、まだそこが残っている。

そして今回の4回目で、この形の試験の上限も見えた。実物でやると、人間が判定を止めた時点が結果の境界になる。

前回：AIは不安定だから、基準を外に置く ── 4モデル28試行

第1回の設計：AIが余計なことを言い始めたとき、二つに分かれる