AIエージェントが現場で止まる本当の理由：判断基準を先に書くべきだった
AIエージェントを試したのに、例外が出るたびに止まる。
「もっと賢いモデルなら処理できるはず」と思っていたら、問題は別のところにありました。
止まっているのは判断基準が言葉になっていない場所。例外を5つだけ選んで判断軸を書いたら、AIに任せられる業務の範囲が体感で2倍以上に広がった話をします。
業務改善の担当として、AIエージェントを試して気づいたこと
業務改善の担当として、いくつかの業務でAIエージェントを試してきました。受信メールの仕分け、定期レポートの抽出、申請内容のチェックなどです。
うまく動く場面もあれば、すぐに止まる場面もあります。止まるのはいつも「例外」が出たときでした。件名がいつもと違う、添付の形式が違う、複数の条件が組み合わさっている、などのパターンです。
最初は、AIの性能が足りないせいだと思っていました。もっと賢いモデルにすれば例外も処理できるはずだと。ところが、止まっている例外をひとつずつ見ていくと、人間も同じところで迷っていました。
「この場合はどっちにする？」を、現場でも明文化していなかったのです。
止まっていたのはAIではなく、判断そのものでした。AIエージェントは、人間が言葉にできていない判断は実行できません。
壁はどこにあったか
壁は、判断基準が「人によって違う」ことにありました。
たとえば申請内容のチェックでは、誤字や漏れがあったときに、AさんとBさんで対応が分かれます。Aさんは「軽微なら直して通す」、Bさんは「修正依頼を返す」。どちらも経験から出てきた判断ですが、揃っていません。
AIに任せようとしたとき、最初に困ったのは「どっちが正解か」を答えられないことでした。AIに渡すルールが書けないのです。
もうひとつの壁は、判断のグラデーションでした。「軽微」と「重大」の線引きが、現場でも曖昧です。Aさんの軽微とBさんの軽微が違う。誰かが書いた一覧があるわけでもありません。
そのまま「軽微なら直して通して」とAIに伝えても、AIはどこからが軽微かを知りません。結果、判断できるパターンだけ自動化されて、例外は全部止まる、という状態になりました。
問題はAIではなく、人間の判断基準がそもそも曖昧だったことです。AIエージェントは、現場の暗黙ルールを浮かび上がらせる装置でもありました。
この出来事から学べること
学べたのは、「AIに渡せる業務にするには、先に判断基準を書く必要がある」ということです。
これまでの自動化は、ステップを順番に書けば動かせました。ボタンを押す、データをコピーする、送信する。手順が決まっていればAIでなくても動きます。
ところがAIエージェントに任せたい業務は、判断が混ざっています。「この場合はこう、別の場合はこう」と、状況に応じて分岐する作業です。
このとき、AIに必要なのは性能ではなく、判断基準でした。基準が曖昧なら、AIがどれだけ賢くても、例外を一貫して処理することはできません。逆に、判断基準が書かれていれば、性能が控えめなAIでもかなりの範囲を任せられます。
AIエージェントを動かせるかの分かれ目は、人間がどこまで判断軸を言葉にできるかでした。
もうひとつ学べたのは、「全ての例外を網羅しようとしないこと」です。基準を書こうとすると、つい「例外を全部書き出さないと」と考えてしまいます。でも、現場でも全例外を書き切れていないのに、AIのために書こうとすると確実に止まります。頻度の高い3〜5個に絞ったほうが、運用に乗ります。
実際に試したこと
試したのは、AIエージェントに渡す前に、例外対応を一覧にする作業でした。
ステップ1：頻度の高い例外パターンを5つだけ書き出す
過去の処理ログから、止まりやすい例外を5つ選びました。網羅は目指しません。「よくある」順で5つだけです。ここで6つ目以上を足したくなりますが、5つで切ります。網羅しないルールを最初に決めるのが一番大事でした。
ステップ2：それぞれに「判断軸」を1つだけ書く
例外ごとに、「これだけ見れば判断できる」という軸を1つだけ書きました。たとえば「金額が10万円以上か」「件名に特定キーワードが含まれるか」「添付の有無」など。複数の軸を組み合わせたくなるところを、あえて1つだけに絞ります。1つで決まらないものは、無理に判断せず「保留」へ逃がします。
ステップ3：判断結果を3パターンに絞る
「AIが処理する」「人間に渡す」「保留」の3つに絞りました。AIに2択ではなく、3つ目の「保留」を持たせるのがポイントです。保留の存在が、AIに「分からないときは止まっていい」と教える役割になります。
ステップ4：表をAIに見せて判断させる
書いた表をプロンプトに含めて、AIに「このルールで判断して」と指示しました。Excelの表をそのまま貼り付けるだけで、装飾は不要です。AIは表を読んで、ほとんどの例外を3パターンに振り分けてくれました。
ステップ5：保留に来たものを週1回だけ見直す
保留に振り分けられた件を、週に1回まとめて見ます。判断軸を増やすか、表現を書き直すか、その場で決めます。表を「固定」ではなく「育つもの」として扱う運用に変わりました。
やらなかったことも書いておきます。「全例外を表に書く」「判断軸を複数組み合わせる」「AIに自由に判断させる」の3つです。どれも最初に試して、止まった経験があります。
やってみて分かったこと
良かったのは、止まる量が一気に減ったことです。表を渡す前と後で、AIに任せられる業務の範囲が体感で2倍以上に広がりました。
特に効いたのは「保留」を持たせたことでした。これがないと、AIは「無理にどっちかに振り分ける」か「全部止まる」のどちらかになります。保留があると、AIは判断できる範囲だけ動いて、迷いは人間に返してくれます。AIと人間の分担設計になりました。
失敗もあります。最初に作った表は、判断軸が3つも4つもあって、AIに渡しても判断がブレました。1軸に絞り直すまでに、2回ほど作り直しています。
もうひとつの失敗は、5パターンで始めたのに、途中で「7にしようかな」「10は欲しい」と増やしてしまったことです。増やしたぶん、表の維持コストが上がり、誰も触らなくなりました。最初の5に戻すまで1週間かかりました。
学んだのは、AIエージェント導入で先に必要なのは、AIの選定でもツールの導入でもなかったということです。必要だったのは、「自分たちがどう判断しているか」を5つだけ書く作業でした。
判断基準が揃わないと、AIも止まるし、人間も揃わない。順番として、AIより先に判断基準でした。
明日から試せる一歩
AIに任せたい業務を1つ選ぶ
過去ログから例外パターンを5つだけ書き出す（網羅しない）
それぞれに「これだけ見れば判断できる」軸を1つだけ書く
判断結果を「AIが処理／人間に渡す／保留」の3つに絞る
1週間そのまま運用してみる
保留に来たものだけ週1回まとめて見直す
例外を増やしたくなったら、まず「5に戻す」を試す
この記事が参考になったら「スキ」で教えてください。次の実験の励みになります。
関連記事
AIエージェントが在庫・欠品対応で毎回止まる本当の理由：https://note.com/clean_whale1844/n/ndd06527ddf84
現場レポートが「読まれても判断が揃わない」本当の理由：https://note.com/clean_whale1844/n/n5fdfadcad935
次の一手（#AI活用100本ノック）
例外対応の判断基準を書く作業は、AIエージェント導入の入口でした。次は、この表を「育てる仕組み」を作る予定です。保留に来た例外を、誰が・いつ・どう書き換えるかのルールを決める作業です。判断基準は一度書いて終わりではなく、運用しながら厚くしていく対象でした。
#AI活用100本ノック 進捗：71/100
次回の実験：例外対応の判断基準を「育てる仕組み」を作る（保留→ルール反映の運用設計）
このnoteでは、現場改善・AI活用・小さな自作ツールの試行錯誤を記録しています。
初めての方はこちらからどうぞ。
▶ はじめての方へ｜このnoteで書いていること
