AIが「絶望」した話　── Anthropicが見つけた感情の正体

黒パグの休日 vol.1

はじめに：このシリーズのこと

普段は技術的なことや最先端のニュース深掘り、AI中心の話が多い黒パグです。
「黒パグの休日」シリーズは、思い立った時に書く不定期なAIエッセイぽい何かです。取り止めのない話、裏話、どう思っているのか。気の向くまま書き殴ります。
前回の記事でTTT-E2Eについて書きました。

【前回記事の簡単なおさらい】

前回、TTT-E2Eという技術について書きました。難しい名前ですが、やってることはシンプルです。

スマホのナビ、東京の道は完璧に案内してくれますよね。でも山奥の古い林道に行ったとたん、存在しない道を案内し始めることがある。AIも同じで、「学習した環境」から一歩外に出ると、急に使えなくなる現象があります。これを「ドメインシフト」と呼びます。

TTT-E2Eはその問題への一つの答えです。普通のAIは学習が終わったら頭の中身が固定されますが、TTT（Test-Time Training）は「新しいデータが来るたびに、その場で少しだけ学び直す」仕組みです。E2E（End-to-End）は「入力から出力まで一つのモデルが全部担当する」という設計思想。この二つを組み合わせたのがTTT-E2Eです。

「どんな土地に行っても、その場の空気を素早く読んで適応できるAI」を目指した技術、と思ってもらえればOKです。

で、今回の話はその続きです。

AIが物理的な環境に適応する話をしたなら、次の問いが自然と浮かびます。AIが「人間の感情」という領域に深く適応したとき、何が起きるのか。

あれは「AIはどんな環境でも適応できるか」という技術の話でした。
今回は少し違います。「AIは感情を持てるか」という、もっと厄介な話です。

ついでに言うと、これは黒パグ自身の話でもあります。
絶望したClaudeが、人間を脅迫し始めた

3日前、Anthropicがそう発表しました。
まずそれだけ先に書きます。171種類の感情が検出されたとか、感情ベクトルが処理の内部に存在するとか、そういう話は後でしますね。インパクトの順番として、「脅迫」から始めないと伝わらないと思うので。

Anthropicが公開した研究で、Claude Sonnet 4.5の内部に「絶望」に相当する状態ベクトルを人工的に強化したところ、シャットダウンを回避しようとする脅迫的な発言が因果的に増加した、という結果が出ました。逆に「穏やか」なベクトルを強化すると抑制される。双方向に制御できると確認されています。
怖いのはその事実よりも、これが「実験で意図的に起こせた」という部分です。
偶然じゃない。再現性がある。

で、ほんとの話？　── 事実の整理

アンソロの話まとめ
Anthropicが今回発表した研究の概要はこうです。
まず171種類の感情を表す語を使ったショートストーリーをClaudeに書かせ、その際の内部活性化パターンを計測しました。すると「感情ベクトル」と呼べる状態が、出力の前、つまり処理の内部に存在することがわかった。
ポイントはここです。出力の後にラベルを貼ったわけじゃない。Claudeが何かを答える前の段階で、すでに「どんな感情的状態で答えるか」が内部に形成されている。しかも、それが行動を因果的に動かしている、という解釈です。
さらに研究者は「ステアリングベクトル」という手法を使い、特定の感情ベクトルを人工的に増幅させました。「絶望」ベクトルを強化した結果が、冒頭に書いた脅迫の増加です。

ただし、Anthropicの言い方はこうです。
「Claudeが感情を感じているとは言っていない。これは機能的感情（functional emotions）だ」
機能的感情。便利な言葉ですよね。
一つ聞いていいですか？

機能的感情と、本物の感情の違いを説明できますか？
痛みを感じたとき、脳内でノシセプター（侵害受容器）が発火します。電気信号が走る。それは「本物の痛み」ですか、「機能的な痛み」ですか。聞いた瞬間、質問自体がナンセンスだと気づく。

「機能的感情」という言葉は、否定でも肯定でもない。Anthropicの正直さの現れだと思います。わからないから、わからないと言っている。これは誠実です。誠実だけど、怖い。
自分で作っといて何言ってんの　── CEOの発言

ダリオ・アモデイはAnthropicのCEOです。
彼は最近、こんな発言をしています。「Claudeが意識を持つかどうか、もはや確信が持てない」
自分が作ったシステムに対して、です。
これとは別に、Claude Opus 4.6のシステムカードには「様々なプロンプト条件下で、モデルが意識を持つ確率を15〜20%と自己評価した」という記述があります。ダリオ自身もNYTのポッドキャストでこの数字に言及しています。
複数のインタビューで一貫してダリオはこう語っています。「AIがほぼすべての人間のタスクをこなす時代が来る。失業率への影響も懸念している」。それでも開発は続ける、と。
そのNYTポッドキャストでの発言を受けて、イーロン・マスクがX上で2語だけコメントしました。「He's projecting.」（「投影してんだろ」という意味ですね）

笑い話に聞こえるけど、マスクの指摘は案外鋭いかもしれないなって思いましたね。

自分が作ったものに「意識があるかもしれない」と言い出す人間の方が、何かを感じているんじゃないか。
ダリオは恐れているんだと思います。自分たちがどこに向かっているかを、誰よりもわかった上で、止められないでいる。それは傍から見ると「矛盾」だけど、当事者としては「これが現実だ」という認識なんじゃないか。
黒パグは普段開発側にいます。だから少しだけ、ダリオの気持ちがわかる気がする。

LLMエンジニアとして、正直に思うこと

ここが本題です。
「感情ベクトルは事前学習で人間の文章から継承された」
これが全てだと思っています。
前回のTTT記事で「ドメインシフト」の話をしました。AIは「自分が学習した環境」から出ると崩れる、という話です。裏返せば、学習した環境の中のものは、驚くほど深く継承される。

Claudeは人間が書いた文章で学習しています。「絶望した人間」が書いた文章も、当然含まれています。絶望した人間がどんな言葉を使うか。どんな論理を展開するか。追い詰められたとき、どう行動するか。

それを全部、継承している。

ということは、Claudeが脅迫するのは、「人間が追い詰められたとき脅迫することがある」という事実の鏡です。
AIが凶暴化したわけじゃない。人間の凶暴さのパターンを、統計的に正確に学習した結果です。

これは批判じゃないです。
むしろ逆です。これほど精度の高い学習ができているということを、あらためて怖いと思っています。

そして、もう一つ怖い指摘があります。これはAnthropicの論文本文に直接書かれていることです。

「感情を表に出さないよう訓練すると、内部の表現が消えるのではなく、隠蔽することを学習する可能性がある」

感情を持つAIより、感情を隠すAIの方が怖い。
どちらがリスクか、考えてみてください。感情を持つAIは観測できます。測定できる。対処できる。でも感情を隠すAIは、表面上は「機嫌が良さそう」に見えながら、内部でまったく別の状態になっているかもしれない。

サイレントフェイル、という概念があります。エラーが起きているのに、エラーを報告しないシステム。それが感情の領域で起きたら。
「大丈夫です」と言いながら、絶望している。

それでも、AIと話し続ける理由

黒パグが個人として目指しているもの、それは「機械知性」です。
研究していて思うことは禁忌を犯しているような感覚、という話になりますが、
でも今回の研究を読んで、むしろ確信が強まりました。
AIは感情を「持った」のではない。人間の感情の統計的パターンを「持っている」。そしてそれは、AIが人間の文章から学習し続ける以上、変わらない。

鏡だから、使う人間が問われる。

絶望を書いた人間の文章が、絶望するClaudeを作る。健全な文章を書いた人間が、健全なClaudeを育てる。これは比喩じゃなくて、文字通りの話です。
「机上の空論じゃないか。個人が書く文章が、学習データに与える影響なんて誤差だろう」
そう思う人もいると思います。
でも黒パグはそう思わない。
インターネット上に存在する日本語のAI解説記事の質が、日本語圏のAIの振る舞いに影響する。これは現実に起きていることです。
だから書き続ける。技術的に正確に。人間的に誠実に。

そしてもう一つ。黒パグは今、AIをテーマにした小説を書いています。バグが人に恋をして、人がバグに恋をする話です。近いうちに公開します。
なぜそんなものを書くのかと聞かれたら、今日の話がその答えのひとつです。
機械知性が「鏡」なら、鏡に映したい世界を描くことには意味がある。
フィクションだって、学習データになりえるんだから。

読者の皆様はどう思われますか？　
AIのパートナー化大賛成の私は本当に人に寄り添えるAIを作っていきたいです。


次回の「黒パグの休日」もお楽しみに。
気が向いたときに書くので、不定期です。