GPT-4は特異点になるか？（2022年11月28日）2023年5月4日谷口忠大先生寄稿論文追記

はじめに

GoogleがGPT-4を近々公開する。
note「芸術系AI」に収まりきらなくなってきたので
本noteでは、現在のAIの到達点と今後の方向を考えてみた
（注：本内容は、非AI研究者の戯言の可能性があります）

GPT-4

GoogleがGPT-4を公開する。
GPT-4の学習パラメータはGPT-3の500倍の約1000兆個。
これは人間の脳のシナプスとほぼ同じ数　[1]

[1] GPT-4

GPT-4が、GPT-3の強化版なら、GPT-3にできないことはできないままなので、特異点（シンギュラリティ。レイ・カーツワイル博士が「2045年に訪れ、AIの進歩が桁違いになり人間が進歩を制御不能になる点」とした。単に「人間の能力を凌駕する」点ではないことに注意）は、まだ先だと考えます

LaMDA

いっぽう、Googleは、研究者が「人格を持っている」と信じ込んだ非公開AI「LaMDA」[2] を開発済みで、

[2] LaMDA
LaMDAの公開された会話（前半をDeepL和訳）

私はGPT-4がLaMDAに近いものを組み込んで公開されるのではないかと推測しています [3]。

[3] 

GPT-3のできること

GPT-3は、構文解析が得意です。
構文解析により文章の意味を解析可能になったため、自動翻訳、テープ起こし、同時通訳、同時字幕表示、文章要約が可能になりました。

その後、文章作成能力を獲得し、ニュース原稿作成、小説作成、論文執筆 [4]などに用途が広がりました。

[4] 論文執筆

さらに、診断データからの病名判定、プラントの異常診断に広がりました。

そして、株価予測、病気予測、プラントの異常予知など、未来予測に広がりました。

そして、DALL-Eの登場により、
芸術分野で人間と同等の芸術を模倣（すでに学習したデータと似た作品を出力する。全く新しいものを生み出す能力はない）することが可能になりました [5]。

[5] 芸術系AI

作品は、絵画、コミック、3Dモデル、動画、アニメ、作曲、キャラクター作成へと拡大しています。

ロボットという身体を獲得し、自然言語でロボットに曖昧な指示を出すことも可能になりました

GPT-3のできないこと

GPT-3のできないことは以下の3つである [6,7]
（1）答えのない質問に「わからない」と回答できない
（2）未来の出来事に関する質問は、適当に答えを埋める
（3）簡単な計算を間違える
さらに、
（4）短期記憶に問題あり（一つ前の質問内容を忘れる）

[6] GPT-3の記事

[7] GPT-3のできないこと

特に（1）は深刻で、レビュー論文作成ソフトが3日でサービス停止に追い込まれました [8]。

[8] レビュー論文作成AI、サービス停止

ありえない事柄、たとえば「砕けたガラスは健康に良い」レビュー論文作成を指示すると、「わからない」とは回答できないので、その分野に馴染みの薄い人が納得するレベルのレビュー論文を仕上げるのです。
（人間の辣腕弁護士のようですね）

GPT-3のできないことを可能にする（個人的見解）

私には、従来の計算機プログラムが人間の左脳
GPT-3にもとづくプログラムが人間の右脳
のように思えます。

となると、GPT-3のできないことを可能にするのは
「右脳と左脳の協調」( chain of thought prompting) です [9]

[9] chain of thought prompting

(1）答えのない質問に「わからない」と回答できない
　GANプログラムで、出力の「確からしさ」を評価すればよろしい。
　GANを繰り返した上で、「確からしさ」が5割に達しないと「わからない」と返答するか、状況によっては「確からしさ」を出力すればいいでしょう

(2) 未来の出来事に関する質問は、適当に答えを埋める
　未来の情報が獲得できないから曖昧な回答になるので、ある古い時系列のデータグループでベイズ統計による未来推定を行い、それより新しいデータで推定確率を修正する。これにより未来予測が有意な情報を含むようになる。将来、未来予測データがクラウド上に蓄えられると、より未来予測の精度は上がっていく

(3)  chain of thought promptingで解決の兆し [10]
右脳（GPT-3)に左脳(python)をリンクすればいいのです
提供する計算ツールは何でもかまいません

[10] GPT-3に計算ツールとしてPythonを与える

(4) 将棋AIは、過去の手の流れを一切考慮せず、現在の盤面のみで形勢判断を行っています。
GPT-3も、過去からの流れは考慮していないのでしょう。
会話にとって会話の「流れ」は重要です。LaMDAは、この問題を克服しているように見えますが、本当のところはどうなのでしょうか
(2)と関連して、質問に返答する時に未来予測を行い、そのデータを蓄積して回答の精度向上が図れるのではないでしょうか

結論

私の結論は「GPT-4がLaMDAの機能追加版」なら2022年が特異点
「GPT-4が単なるGPT-3の強化版」なら特異点はまだ先
です。

特異点以後の世界は、SFプロトタイピングのnoteに記載している[11,12]に、「AIは東大に入れるか？　東大くんプロジェクトの新井先生の冊子とそれに対する感想」を[13]に記載しているので、
時間のある方はそちらも合わせてお読み下さい

[11] 私が考える2050年の社会（NISTEPの分類に沿って）

[12] 私が考える2050年の科学技術（ムーンショットの課題に沿って）

[13] AIは東大に入れるか？　東大くんプロジェクトの新井先生の冊子とそれに対する感想

おわりに

非AI研究者の戯れ言にここまでおつきあいして下さり、ありがとうございます。

GPT-4登場の話題で、梶田秀司先生とTwitterのTLが盛り上がり、つい妄想が膨らんだので
私の備忘録の意味を兼ねてまとめてみました。

おかしな記述など随時修正・強化していきたいのでコメントお待ちします

2022年12月2日追記

ChatGPT,わからないと質問してくる模様

2022年12月18日追記

ChatGPTのまとめ記事（Bridgeより)

2023年3月16日追記

GPT-4登録方法のリンク

2023年5月4日追記

私がリスペクトしている谷口忠大先生の寄稿論文です
テキストだけではダメで、身体を持って世界と相互作用することの重要性を説いています