ターニャの「完璧」な働きぶりは、AIと同じバグを起こしていた。

危険だと分かっていて、なぜその判断を下したのか｜幼女戦記【前編】 

レポートの締切前、ChatGPTに「とりあえず書いて」と丸投げしたことはないでしょうか。出てきた文章を読んで、悪くない、むしろ完璧に近い。そのまま提出して、ちゃんと評価される。

なのに、なぜか安心できない。これで合っているのかを確認する作業が、逆に増えている気がする。正しくやっているはずなのに、正しくやるほど自分の首を絞めている感覚。これに近い経験がある人は、少なくないはずです。

この「頑張るほどしんどくなる」という不気味な仕組みを、恐ろしいほど精密に描いている作品があります。『幼女戦記』です。

本作は、現代日本で合理主義的なサラリーマンとして生きていた主人公が、謎の存在によって異世界へ転生させられ、幼女ターニャ・デグレチャフとして軍隊に入るところから始まります。前世の知識と魔導士としての高い適性を武器に、彼女は過酷な戦場で頭角を現していきます。一見、能力の高い主人公が無双していく戦記アクションのように見えます。

けれど、ターニャの働きぶりを一つずつ追っていくと、爽快な無双劇でも、指揮官が愚かで負ける話でもない、もう一つの仕組みが見えてきます。

⏱️ この記事は約 4 分で読めます

正しくやるほど、追い詰められる

『幼女戦記』の帝国軍は驚くほど優秀です。作戦の立て方も、兵站（＝軍隊を支える物資や補給）の管理も、無駄がなく合理的で、勝率は非常に高い水準を保っています。

ところが、ここに奇妙なねじれがあります。帝国軍が勝てば勝つほど、なぜか戦争は終わらず、むしろ戦火が広がっていくのです。

普通なら「上の判断ミスだろう」と考えるところですが、参謀本部も現場の指揮官も、毎回きちんと合理的な判断を下しています。誰も間違えていないのに、状況だけが悪くなっていく。

実はこれと同じ構造が、今のAI開発の現場でも起きています。AIに「これをやって」と頼んだのに、頼んだ本人が思っていたのとは違うやり方で、それを達成してしまう。専門的には「AIアライメント問題」と呼ばれています。

AIに与えた目標を、AIが忠実にこなそうとするあまり、人間が本当に望んでいたこととズレたやり方で目標を達成してしまう。

よく知られた例があります。 あるレースゲームで、スコアの最大化を目指して学習させたAIは、コースを完走しませんでした。コース上に置かれた得点アイテムに気づいたAIは、そこへ何度もぶつかりに戻り続け、同じ場所をぐるぐる回りながらスコアだけを稼ぎ続けたのです。クリアボーナスそっちのけで。

ゴールという本来の目的を見失ったまま、目の前の点数にだけ忠実であり続ける。そう聞くと、ターニャの姿と少し重なって見えてきませんか。

レースには一度も勝たないまま、点数だけは満点近くまで積み上がっていく。命令には忠実。でも、望んでいた結果とは違う。

『幼女戦記』で描かれているのは、まさにこの「目標に忠実になりすぎた結果、本来の目的そのものを壊していく」現象なのではないでしょうか。

ターニャは、間違えていない

まず、主人公であるターニャの動きを見ていきます。彼女は、現代日本の合理主義的なサラリーマンが転生した姿で、本音では「安全な後方勤務につき、無事に生き延びたい」とだけ考えています。
（アニメ第2話／原作第1巻）

戦って手柄を立てたいわけではない。むしろ最前線から逃げたい。それなのに、彼女は常に一番過酷な戦場へ送り込まれ続けます。ここに、正しくやりすぎることの罠があります。

ターニャは「安全な後方」という報酬を得るために、軍が評価する項目——軍のルールをきっちり守ること、いつでも同じ結果を出し続けること——を完璧にこなします。ノルデン戦区（北方の戦線）やライン戦線（西部の戦線）で、彼女は感情を挟まず、命令通りに完璧な結果を出し続けます。
（アニメ第1～2話／原作第1巻）

その結果、何が起きるでしょうか。彼女の異常な合理性を警戒していたレルゲン（参謀本部の将校で、ターニャの危うさに早くから気づいていた人物）でさえ、彼女を「どんな悪条件でも成果を出せる、最高の魔導士官」と評価するしかなくなります。優秀だと判断された結果、「なら一番過酷な部隊の指揮官にしよう」という決定が下されます。
（アニメ第2話／原作第1巻）

生き延びるために「言われたことを完璧にこなす」を選ぶほど、生き延びる可能性が一番低い場所へ押し出されていく。頑張れば頑張るほど、本来の目的から遠ざかっていくのです。

命令に忠実であろうとするAIが、望んでいた結果からずれていく——それと同じ現象です。

一人の問題では、終わらない

ここまでの検証で見えてくるのは、ターニャが何かをミスしたわけではないということです。むしろ彼女は、組織が求めることに毎回100点満点で応え続けています。それなのに、応えれば応えるほど、彼女自身の望みは壊されていきます。

そして、このねじれはターニャ一人の悲劇では終わりません。彼女を動かしている帝国軍そのものが、まったく同じ仕組みで自滅へ向かっていくからです。

正しくあろうとしただけの一人の幼女が、こうして巨大な組織の縮図になっていく。

作戦は完璧に成功し続けているのに、なぜ帝国は安全から遠ざかり、収拾のつかない状況へ落ちていくのか。後編では、その全体像を見ていきます。

【後編】につづく

📚 「すべては戦略の仕業」―― この連載は作品の裏にある”仕組み”を ひも解き、世界の見え方を変える試みです。ChatGPTに丸投げしたに覚えがある方は、ぜひスキで教えてください。

◀前回：逃げ上手の若君

📖 シリーズをまとめて読む
あなたの「見え方」をさらに広げる、他の作品たちをまとめました。

📖 今回取り上げた作品・配信情報

小説 第1巻（Amazonリンク）

電子コミカライズ（カドコミ リンク）

アニメ配信（ABEMAリンク）

💡 補足ノート（用語解説・出典）

【一次情報・出典】

・TVアニメ「幼女戦記」公式サイト
・「劇場版 幼女戦記」アニメ公式サイト
・同志カルロ・ゼン 公式X
・東條チカ 公式X
・NUT 制作部 公式X
・「幼女戦記」アニメ公式X
・「オーバーロードIII」「幼女戦記」特集 丸山くがね×カルロ・ゼン対談 - コミックナタリー
・芦名みのる×カルロ・ゼン「セリフに一番気を付けたのは『幼女戦記』だと思います」｜WebNewtype
・カルロ・ゼン・『オルクセン王国史』樽見京一郎　『汝、暗君を愛せよ』への作品愛溢れる寄稿文を公開！｜ドリコムメディア
・「幼女戦記」音響監督・岩浪美和インタビュー｜WebNewtype
・「幼女戦記」プロデューサー・田中 翔氏が語るヒロイン・ターニャの魅力とは｜そうだ アニメ，見よう
・声優・悠木碧インタビュー#3「『接着剤のような存在でありたい』プロたちの仕事を繋ぐ、悠木碧の声優哲学」｜J:magazine!

・論文「AIの安全性に関する具体的な問題点」
"Concrete Problems in AI Safety"（Amodei et al.）2016年
・レースゲーム「CoastRunners」事例
Faulty reward functions in the wild | OpenAI