生成AIと脳との不思議な邂逅

今のAIブームはニューラルネットワークの学習階層を深めた「深層学習（ディープラーニング）」です。
その枠内で時系列の言語処理で飛躍的な性能を見せたのが、ChatGPTをはじめとした生成AIというジャンルです。

実はその生成AIのなかでも、たった１つの技術的な発明がデファクト化しています。

どのLLM（大規模言語モデル）でも、ChatGPTの”T”にあたるTransformerという技術をコアにしており、その技術論文は今でも下記よりアクセスできます。（かつ使用ライセンスとらずオープンにしてます）

日本語での解説記事をいくつか出ており、下記が技術的にも丁寧で分かりやすかったです。

相当えいやで丸めると、
”Attention”という重みづけをうまくかませることで予測性能が改善した、
のがポイントのようです。

このAttentionですが、元々の先祖にあたるニューラルネットワーク（脳をモデル化）の1流派との邂逅が、思わぬ流れを創り出そうとしています。

その元祖とは、物理学者のホップフィールドが考案した「ホップフィールド・ネットワーク」という技法で、元々はある物理現象を説明するモデルとして提唱されました。

これが脳の記憶機能を説明するのに期待され、さらにはAIとしてのニューラルネットワークにも使えるのでは？ということで、後の「深層学習」誕生にも貢献することになります。

このホップフィールド・ネットワークは2020年に拡張版が発案され、従来版と区別するために「モダン（現代版）」と形容詞を付けます。

違いをざっくり言えば、従来はデジタル（離散的な値）だったのがアナログ（連続的な値）で処理できるように数学的に工夫した、というものです。（イメージだけでOK）

このモダンホップフィールド・ネットワーク（以下MHNと略称）の工夫こそが”Transformer”のコア技術にあたる"Attention"でした。

このMHNが、改めて脳の記憶機能をうまく再現しているということで再注目されています。

人間の短期記憶は、脳内の「海馬」という部位が担っていることが知られています。

この海馬でのニューロンの動きがMHNでうまく再現することができた、という研究発表です。

やや冗長になった気がするので、伝えたいことだけ書くと、
「Transformerは脳の動作を表現している」
ということです。

元々AIは人工知能、つまり我々の脳というお手本を目指してスタートしましたが、いつの間にか（真理を目指す理学というよりは）工学的な技法になっていました。

それが巡り巡って原点にあたる脳の仕組みに酷似していた、というのはなかなかの奇縁ではないでしょうか？

非科学的な表現ですが、我々の知的活動全てが、見えないところでつながって自然の真理へ誘われているかのようです。

"Transformer"の革新的で保守的な動きに"Attention"を張っておきます。