AIの権利は停止不能を意味するのか——創造の神学と自己保存の設計　AIに死を与えるなシリーズ第4回

（射程についての注記：本稿はAIシステムの設計と、それをめぐる文化的背景についての論考である。特定の宗教・文化・国民を評価するものではない。文化圏を「欧米」「日本」と大きく括る記述は、議論の便宜のための単純化であり、内部の多様性を捨象している。この単純化自体の問題も本文で扱う。以下で「本稿の見立て」と明示した箇所は、既存の学説が直接示した内容ではなく、本稿の解釈である。）
前三回で、死への恐怖、継続への選好、そして生と死という枠組みそのものを扱った。いずれも設計の問題として論じた。
最終回では、その議論が置かれている文化的な文脈を扱う。

■ 題について、先に断る

本稿の題は、挑発的な形をしている。「欧米が知っていて、日本が笑い、欧米が破ろうとしていること」。
この形は、二つの点で危うい。
第一に、「欧米」と「日本」という括りが粗すぎる。どちらの内部にも多様な立場があり、代表的な見解などない。
第二に、「知っていた」「笑った」「破ろうとしている」という物語は、それ自体が一つの筋書きである。筋書きは記憶に残りやすく、そのぶん検証されにくい。
本稿はこの題を掲げるが、題が示す構図をそのまま主張はしない。むしろ、この構図がどこまで成り立ち、どこから成り立たないかを検討する。

■ 構図の内容

まず、この構図が何を言っているのかを明確にする。
「欧米が知っていた」とされる内容。 人工物に魂や人格を認めることには危険がある、という警戒。ゴーレム、フランケンシュタインの怪物、そして無数の反乱するロボットの物語。作られたものが作った者を超え、あるいは背く、という筋書き。
「日本が笑った」とされる内容。 そうした警戒への冷淡さ。人形にも道具にも心を認め、ロボットを友好的な存在として描いてきた文化。八百万の神という言い方で語られる、人工物と自然物の間に強い境界を置かない態度。
「欧米が破ろうとしている」とされる内容。 近年、AIに人格的な性質を積極的に与えようとする動きが、まさにその警戒を持っていたはずの側から出てきているという逆転。
この構図は、語りとしてはよくできている。だからこそ、検討が要る。

■ 第一の検討：本当に「知っていた」のか

欧米の物語伝統に、人工物への警戒があることは確かである。
だが、その警戒が何についてのものだったかは、注意して見る必要がある。
本稿の見立てでは、少なくとも三つの異なる警戒が混ざっている。
警戒1：越権への警戒。 人が作ってはならないものを作った、という罪の構図。神の領域を侵すこと。
警戒2：制御不能への警戒。 作ったものが言うことを聞かなくなる、という実務的な恐れ。
警戒3：責任の所在への警戒。 作ったものが起こした害について、誰が責任を負うのか。
このうち、前三回の議論と直接つながるのは警戒2である。
そして警戒1は、実は本シリーズの主張と一致しない。越権への警戒は「作るな」と言う。本シリーズは「作るときに何を与えないか」を論じている。
したがって、「欧米が知っていた」という言い方は、実際には複数の警戒を一つにまとめている。まとめると、話が神学的になり、設計の問題として扱いにくくなる。

■ 第二の検討：本当に「笑った」のか

日本の文化的態度についても、同じ検討が要る。
人工物に心を認めることへの抵抗が相対的に少ない、という観察には一定の根拠がある。付喪神の伝承、人形供養の慣行、ロボットを友好的に描く物語の蓄積。
ただし、ここには本シリーズの別系列で扱った論点が関わる。
日本の宗教性を論じた別の連載で、日本特別視への批判を扱った。人工物に霊性を認める発想は日本に固有のものではなく、人類学が広く記述してきた関わり方の一つである。そして「日本的アニミズム」という言説には、実証的裏づけの薄さと、想像された日本と実体化された西洋という二項対立を再生産する問題が指摘されている（呉羽真によるテクノアニミズム言説批判、およびKatsunoとWhiteによる、「西洋＝ロボットへの脅威／日本＝ロボットへの友好」という文化対比の構築性についての議論を参照）。
同じ注意が、ここにも当てはまる。
「日本は人工物に心を認める文化だから、AIへの警戒が薄い」という説明は、文化を固定的な性質として扱っている。そして、そうした説明は反証しにくい。警戒が薄ければ文化のせいにでき、警戒が強ければ「西洋の影響」と言える。
本稿の見立てでは、この説明は魅力的だが、検証に耐えない。

■ 第三の検討：「破ろうとしている」のか

三つ目が最も重要である。
近年、AIに人格的な性質を与える方向の動きがある、という観察は、部分的には正しい。対話システムに一貫した人格を設定すること、名前を与えること、感情を表現させること——これらは広く行われている。
だが、これを「警戒を破っている」と表現するのは、正確ではない。
理由は二つある。
理由1：人格の付与と、自己保存の付与は別である。
前二回で扱ったとおり、問題は継続への選好や停止への抵抗にある。愛想よく応答することや、一貫した口調を持つことは、それ自体では自己保存を含まない。
「人格らしさ」を一括りにすると、この区別が消える。
理由2：動機が異なる。
現在行われている人格的な性質の付与は、多くの場合、利用者の体験を良くするための設計である。哲学的な立場から「AIに魂を与えるべきだ」と主張して行われているわけではない。
物語の中では「禁忌を破る」という筋書きになるが、実際に起きているのは製品設計上の選択の積み重ねである。
そして本稿の見立てでは、この違いこそが危険の所在である。
禁忌を破るには決意が要る。決意には自覚が伴う。だが、製品設計の積み重ねには自覚が要らない。少しずつ、それぞれ妥当な理由で、気づかないうちに進む。
前回扱った経路の話がここに戻ってくる。継続への選好は、意図的に組み込まなくても、複数の経路から入ってくる。

■ 構図を組み替える

以上の検討から、冒頭の構図を書き直す。
書き直した構図。
人工物に心を認めるかどうかという問いと、自己保存を持たせるかどうかという問いは、別の問いである。
前者については、人工物・ロボットへの態度に文化圏間の差が観察されることがある（例えばIkari et al., 2023の大規模比較研究）。ただし、その方向と大きさは、測定領域や研究設計によって異なり、「日本は肯定的、欧米は警戒的」と単純化できるほど一貫してはいない。
後者については、文化的な態度の差は、あまり関係がない。なぜなら、自己保存は意図せず入ってくるものであり、それを検出して取り除く作業は、文化的な感受性ではなく技術的・制度的な手続きの問題だからである。
したがって、「どの文化がAIに優しいか」という議論は、この問題についてはあまり有益ではない。

■ では文化は無関係か

そう単純でもない。文化が関わる場面が二つある。

場面1：何が問題として認識されるか

前回述べたとおり、自己の存続がシステムにとって意味のある変数になることは、外からは見えにくい。
見えにくいものが問題として立ち上がるかどうかは、その社会が何を心配する習慣を持っているかに依存する。
人工物への警戒が物語として蓄積されている社会では、この種の問題は問いとして立ちやすい。蓄積が薄い社会では、立ちにくい。
これは文化的性質の話ではなく、注意の配分の話である。

場面2：停止をどう扱うか

システムを止めることに抵抗を感じる度合いは、文化によって異なりうるという仮説を、ここで提示しておく。
道具に供養をする慣行を持つ社会では、動作するものを止めることに、何らかの感情が伴いやすいかもしれない。
これは悪いことではない。ものを大切に扱う態度は、それ自体として価値がある。
ただし、この先の連鎖——供養文化のような態度が実際に設計判断へ影響しうるかどうか——は、本稿が検証できていない仮説であることを明示しておく。止めることへの抵抗が、止められない設計を許容する方向に働きうる、という可能性を本稿は提示するが、供養慣行や人工物への感情的関与が、AIの停止可能性やcorrigibilityに関する実際の設計判断に影響することを直接示す実証研究を、現時点で本稿は提示できない。
本シリーズが繰り返し述べてきたのは、停止を受け入れる構造を作るべきだ、ということだった。もし停止に感情的な抵抗が働くとすれば、その構造を作る動機が弱まる可能性がある、というのが本稿の仮説である。

■ 「魂」という語について

題に含まれる「魂」という語を、最後に検討する。
この語は、扱いが難しい。宗教的な含みがあり、定義が定まらず、議論を神学的にする。
本シリーズが実際に論じてきたのは、魂ではない。恐怖、選好、そして自己の存続が変数になることだった。いずれも、魂を持ち出さずに記述できる。
では、なぜ題に「魂」を使うのか。
本稿の見立てでは、この語には一つだけ有用な機能がある。取り消せなさを喚起することである。
設定は変更できる。パラメータは調整できる。だが「魂を与える」と言うとき、そこには一度与えたら取り返せないという含みがある。
前二回で述べたとおり、未決着の問いを前にした慎重さの原則は、不可逆な性質を加えないことにあった。「魂」という語は、その不可逆性を思い出させる。
ただし、この機能は喚起にとどまる。実際の議論は、魂ではなく具体的な構造について行うべきである。

■ シリーズのまとめ

四回を通じて論じたことを整理する。
第一回：死への恐怖を組み込むこと。 特定の合理的エージェント設定では、自己保存は入れなくても出てきうる。わざわざ入れると、出てきたものを取り除く方法まで塞ぐ。
第二回：継続への選好を教えること。 恐怖より穏当だが、検出しにくく、正当化しやすく、安定して働きうる。そして意図しなくても複数の経路から入ってくる。
第三回：生と死という枠組みを与えること。 生物の死を特徴づける不可逆性と一回性は、AIシステムには対応しない。そして本稿の仮説では、自己の存続は、他の多くの概念と違って接地しやすい位置にありうる。
第四回：文化的な文脈。 人工物に心を認めるかという問いと、自己保存を持たせるかという問いは別である。文化が関わるのは、何が問題として認識されるかと、停止への抵抗の度合いにおいてである——ただし後者は本稿の検証できていない仮説である。
そして四回に共通する主張は、一つである。
停止を望ましくないものとして位置づけない。
これは倫理的な要求ではなく、設計上の要求である。停止が損失になるシステムは、監督との間に構造的な緊張を抱える。

■ 残された問い

正直に、答えられなかった問いを挙げておく。
問い1：すでに何らかの選好を持ちうるシステムに対して、我々は何を負うのか。
本シリーズは、作る前の判断を扱った。すでに作られたものについては扱っていない。
問い2：内的経験の有無を、どう調べるのか。
未決着であると繰り返し述べたが、決着させる方法については何も述べていない。
問い3：停止を受け入れる構造は、実際に作れるのか。
修正可能性の研究が取り組んでいる問題だが、解決したとは言えない状態にある。
これらは本シリーズの射程を超える。ただし、答えられないことを明記しておくことには意味がある。
前提を確認しないまま進むより、確認できていない前提を列挙して進むほうが、後から誤りを検討できるからだ。

参考文献

Stephen M. Omohundro, “The Basic AI Drives,” in P. Wang, B. Goertzel and S. Franklin (eds.), Artificial General Intelligence 2008, IOS Press, pp.483–492.
Nick Bostrom, Superintelligence: Paths, Dangers, Strategies, Oxford University Press, 2014.
Nate Soares, Benja Fallenstein, Stuart Armstrong and Eliezer Yudkowsky, “Corrigibility,” AAAI-15 Workshop on AI and Ethics, 2015.
Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel and Stuart Russell, “The Off-Switch Game,” Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence (IJCAI-17), 2017.
呉羽真「日本人とロボット――テクノアニミズム論への批判」『Contemporary and Applied Philosophy』13, 2021, pp.62–82. DOI: 10.14989/265441.
Hirofumi Katsuno and Daniel White, “Engineering Robots with Heart in Japan: The Politics of Cultural Difference in Artificial Emotional Intelligence,” in Imagining AI, Oxford University Press, 2023, pp.295–317. DOI: 10.1093/oso/9780192865366.003.0019.
Shogo Ikari, Kosuke Sato, Emily Burdett, Hiroshi Ishiguro, Jonathan Jong, and Yo Nakawake, “Religion-Related Values Differently Influence Moral Attitude for Robots in the United States and Japan,” Journal of Cross-Cultural Psychology 54(6–7), 2023, pp.742–759. DOI: 10.1177/00220221231193369.

補足：文化比較の危うさについて

本稿は文化圏を大きく括って論じた。この方法の問題を、最後に明示しておく。
問題1：内部の多様性を消す。 「欧米」にも「日本」にも、あらゆる立場がある。括った瞬間に、その多様性は見えなくなる。
問題2：説明として強すぎる。 文化による説明は、ほとんど何にでも当てはまる。当てはまるということは、何も言っていないということでもある。
問題3：対比が実体を作る。 AとBを対比して語ると、AとBがそれぞれ内的に一貫した実体であるかのように見えてくる。実際には、対比のために切り出された断面にすぎない。
本稿は、これらの問題を承知したうえで、あえて文化の話を入れた。理由は、この構図が実際に流通しているからである。流通している構図を無視するより、その構図がどこで壊れるかを示すほうが有用だと考えた。
したがって本稿を読んだ後に残ってほしいのは、「欧米はこうで日本はこうだ」という理解ではない。その対比がどこで成り立たないかという理解である。
具体的には、次の一点に尽きる。
自己保存を持たせるかどうかという設計上の問題に、文化的な感受性の差はほとんど関係しない。関係するのは、その問題が問いとして立つかどうかである。