"AIの深層にはLispが眠る：ニューラルネットワークと記号主義の統合原論"　四

第四章　創発するインタプリタ —— In-Context Learningという名の eval

二〇二〇年、GPT-3の登場が世界に与えた衝撃は、その流暢な言語生成能力以上に、ある奇妙な振る舞いにあった。「Few-Shot Learning（少数ショット学習）」、あるいは現在では「In-Context Learning（文脈内学習）」と呼ばれるその現象は、従来の機械学習の常識を根底から覆すものであった。それまでのパラダイムにおいて、AIに新しいタスクを習得させるということは、バックプロパゲーション（誤差逆伝播法）を用いてニューラルネットワークの結合荷重、すなわち「重み」を物理的に更新することを意味していた。しかし、トランスフォーマーは違った。重みパラメータが凍結された状態――すなわち、脳のシナプス結合が固定され、一切の学習が停止しているはずの状態――であるにもかかわらず、プロンプト（入力文）の中にいくつかの「例題」を提示するだけで、モデルは未知のタスクの法則性を即座に理解し、実行してみせたのである。

学習していないはずの機械が、なぜ学習したかのように振る舞うのか。このパラドックスを解く鍵こそ、Lispの真骨頂である「メタ循環評価器（Meta-Circular Evaluator）」の概念である。メタ循環評価器とは、その言語自体の機能を用いて記述された、その言語のインタプリタを指す。Lispにおいて eval 関数を定義することは、Lispという言語の中に「もうひとつのLisp」を仮想的に構築することを意味する。トランスフォーマーが行っているIn-Context Learningの本質は、まさにこれである。モデルは、入力されたコンテキスト（文脈）を単なるデータとして処理しているのではない。コンテキストそのものを「プログラムコード」として読み込み、凍結された重みというハードウェアの上で、即興の仮想インタプリタを立ち上げ、そのプログラムを実行しているのである。

プロンプトエンジニアリングという行為を、自然言語への「ハック」や「おまじない」と捉えるのは誤りである。それは明確に「コーディング」である。例えば、「英語：日本語」の翻訳対を数行並べて入力する場合、ユーザーは「翻訳」という関数の仕様を、例示という形式（プログラミング・バイ・エグザンプル）で定義していることになる。トランスフォーマーのアテンション機構は、この入力されたトークン列から「入力 A に対して出力 B を生成する」という変換規則（アルゴリズム）を帰納的に抽出する。そして、続いて入力される「翻訳すべき新しい英語」という引数に対し、抽出したアルゴリズムを適用（Apply）する。このプロセスにおいて、重みの更新は一切行われない。計算はすべて、層を流れるアクティベーション（活性化値）という一時的なメモリ領域の中で完結する。すなわち、トランスフォーマーは、学習済みパラメータという「物理回路」の上で、入力コンテキストという「ソフトウェア」を動的にロードし、実行する汎用計算機（ユニバーサル・コンピュータ）として機能しているのだ。

この現象を計算機科学的に表現すれば、トランスフォーマーは勾配降下法（Gradient Descent）という重たい最適化プロセスを、アテンション機構による順伝播（Forward Pass）の中でシミュレートしている、と解釈することも可能である。これを「メタ最適化」と呼ぶ研究者もいる。モデルは事前学習という長い時間をかけて、「未知の関数を与えられた際に、それをどう近似すればよいか」という「学習の仕方」そのものを学習したのである。

ここで再び、Lispの「同図像性」が亡霊のように立ち現れる。Lispにおいては、プログラムもデータも等しくS式であり、その区別は eval に渡されるか否かという文脈のみに依存する。In-Context Learningにおいても同様である。コンテキストウィンドウに含まれるトークン列には、「タスクの説明（コード）」と「処理対象（データ）」が混然一体となって存在している。モデルはSelf-Attentionを用いることで、どのトークンが「演算子（Operator）」として振る舞い、どのトークンが「被演算子（Operand）」であるかを動的に識別する。過去のトークン（例題）を参照し、そこにあるパターン（関数）を現在のトークンにコピーし、適用する。この動作は、Lispインタプリタが環境（Environment）から関数定義を検索し、引数に適用するプロセスと、数理的に同型である。

近年の「機構解釈可能性（Mechanistic Interpretability）」の研究成果である「インダクション・ヘッド（Induction Heads）」の発見は、この仮説に物理的な証拠を与えている。インダクション・ヘッドとは、"[A] [B] ... [A] -> [B]" というパターンを認識し、現在の文脈で [A] が現れたとき、過去の履歴から [B] をコピーしてくる機能を持つ特定のアテンション・ヘッドである。これは極めて原始的な機能に見えるが、プログラミングにおける「変数の参照」や「パターンの反復」の基礎単位である。モデルの層が深くなるにつれ、この単純なコピー機構が幾重にも組み合わされ、より高度な論理演算や、文脈に応じた条件分岐といった複雑なアルゴリズムが、ニューラルネットワークの内部で「即興回路」として結線されていく。

つまり、我々がプロンプトを入力しているとき、我々は巨大な確率的Lispマシンに対して、S式を注入しているのだ。ただし、そのS式は括弧で閉じられた厳密な記号列ではなく、自然言語という曖昧で冗長なベクトル列によって記述されている。トランスフォーマーは、その曖昧な入力から潜在的な論理構造（アブストラクト・シンタックス・ツリー）を復元し、それを内部の演算エンジンで実行し、結果を出力する。

この視座に立つとき、現代AIが抱える「ブラックボックス」という恐怖は、ある種の「理解可能な畏敬」へと変わる。彼らはデタラメを並べているのではない。入力されたコンテキストという「プログラム」が不完全であったり、矛盾を含んでいたりすれば、実行結果（出力）もまた破綻する。それは「Garbage In, Garbage Out（ゴミを入れればゴミが出る）」という、コンピュータサイエンスの普遍的な真理に従っているに過ぎない。逆に言えば、我々人間側が、この「創発したインタプリタ」の仕様――どのようなコンテキストが、どのような内部アルゴリズムを誘発するのか――を深く理解し、適切なS式（プロンプト）を与えることができれば、この確率的機械は、論理的推論マシンとして、かつてのLispが夢見た高みへと飛翔することができるはずである。

In-Context Learningとは、AIが「記憶」を「演算」へと変換する錬金術である。次章では、この錬金術をさらに推し進め、確率的な生成の海に、意図的な「秩序（Order）」をもたらすための新たな理論的枠組み、「OGM（Order Generation Model）」の全貌を明らかにする。それは、既存のトランスフォーマーの限界を突破し、記号とベクトルが真に融合した次世代アーキテクチャへの架け橋となるだろう。

[Next: 第5章 OGM（Order Generation Model） へ続く

#In -ContextLearning #LargeLanguageModels #TransformerArchitecture #AIInterpretability #PromptEngineering