ジェフリー・ヒントンが考えていること

以前に、深層学習の祖がGoogleを去る、という話をしました。

MIT Tech Reviewで独占インタビューが掲載されています。（期間限定無料）

ようは、
年齢による衰えもあるが、自由な立場でAIについて哲学的な発言をおこなっていきたい、という想いがあるようです。

その想いの引き金の1つが、やはりGPTに代表されるLLM(大規模言語モデル)によるインパクトです。

元々ヒントンはニューラルネットワーク、つまり脳を数学的にモデル化して効率的に学習させることに長年心血を注いできました。
それが2006年ごろの論文で開花したわけです。

我々人類の脳には、約100兆個のつながりがありますが、今のLLMでもまだ5000億から1兆にすぎません。
なのにGPTは人間っぽくふるまえるのですごいアルゴリズムであろう、思ったそうです。

さらに、ヒントンが注目しているのが、最近話題の「フューショット（Few-Shot）学習」です。
要は、データセットを変えずに（またはファインチューニングをせずに）、タスクに関する説明と少量のデモンストレーションを与える方式です。
その結果、その回答精度がぐっと高くなることが知られています。これは私自身も体験的に納得できます。

これは、Googleも2020年の論文（こちら）で、こういった学習をさせると性能があがる現象を報告しています。CoT（Chain Of Thought(思考の連鎖)）とも呼ばれています。

そんなヒントンのAI未来予測をきいていないなぁ、と思っていたところで下記の記事を見つけました。（2022年末、つまりまだGoogle在籍時でのイベントにおける発言なので、忖度かどうかは分かりません）

ようは、
今後、ハードウェアかつアナログと融合した新しいタイプのコンピュータが登場するだろう、
という話です。

「ニューロモルフィック」という言葉があり、ざっくりいうと我々の脳を模したものです。
我々の脳は、デジタルで電気信号をやりとりする一方で、その神経細胞は時間経過で摩耗し、いずれは死ぬべき運命（モータル）のアナログ部品です。

このアーキテクトを採用することで、よりエコ（低エネルギー）で効率的な計算を行うことが出来ると唱えています。

このあたりはもう少し深堀したいところですが、何となく彼が目指そうとしているイメージは感じることが出来ます。

これから精神的に自由の身になったヒントンがどんな活動をするのかが、とても楽しみです。