【初心者向け】ChatGPTの頭の中🧠どうやって賢くなる？😊✨ChatGPTの仕組みを徹底解説🌈

どうもみなさん、葉加瀬あいです！

今回は、海外ビジネス本解説のコーナーということで、 イマ、海外でバズり中の名著 をご紹介していきます✨

ただ、完全に自分用の企画なので、いつものAI解説を楽しみにしている方は、今回はスキップしていただいても大丈夫です🙆‍♀️

https://note.com/ai_hakase/all

今回ご紹介する海外ビジネス本

ということで今回は、こちらの書籍を元にご紹介していきたいと思います！

https://www.amazon.co.jp/-/en/Sebastian-Raschka-ebook/dp/B0DGQXVK62?utm_source=chatgpt.com

今回ご紹介する内容✨

私たちの生活に深く関わるようになったChatGPTのような最新AIが、「一体どうやって作られているのか？」その開発プロセスを、初心者の方にも分かりやすく徹底解説します！

AIって、すごい技術だけど、どうやって動いているのか、どう作られているのか全く分からない…って感じていませんか？

「専門知識がないと理解できない難解なもの」だと諦めてしまったり、AI開発の現場がブラックボックスに見えて、どこか遠い世界のように感じてしまう人も多いかもしれません。

でも、安心してください！実は、ChatGPTのような大規模AIの開発には、誰でも理解できる「基本的な仕組み」と「手順」があるんです。

この記事を読めば、難しそうに見えるAIの仕組みと開発プロセス全体の「地図」が手に入ります。最新AIがどうやって生まれ、賢くなっていくのか、その核心を掴んで、皆さんもAIをより深く理解できるようになります！

今回のポイント3つ💗

ということで今回お話しする内容はこんな感じです！

• ① AIが言葉を「理解」し、「生成」するまでの基本的な仕組みとは？（トークン化、アテンションメカニズムなど、AIの"脳"の働きを解説！）

• ② 最新AIがどんどん「賢く成長」していく学習プロセスと、莫大な計算資源を効率的に使うための鍵となる技術って？（事前学習とファインチューニングの秘密！）

• ③ 皆さんの手元でAIを動かし、特定のタスクに特化させるための「具体的な開発技術」を解説！（PyTorch、LoRA、Instruction Fine-tuningなど、実践的な内容も紹介！）

ちなみに、Youtube では、Note記事を動画にして公開しています！私のNoteメンバーシップ あいらぼ（Ai-Lab）だけで配信している 限定パートも、公開後、先着数名さまに限定公開しておりますので チャンネル登録 にしておくと見逃しませんよ！

https://www.youtube.com/@AI-Hakase

それと、X (旧Twitter) でも、 AI・トレンドの速報 を発信しておりますので、最新技術やお得情報を見逃したくない方は、こちらのフォローもお願いします！

https://x.com/ai_hakase_

私の 最新のトレンド AI を記事と動画でご紹介する Noteメンバーシップ あいらぼ（Ai-Lab） では、現在400人以上の入門者さんがいて、公式LINEとNoteの連携や質問対応なども行っています。

https://note.com/search?context=note&q=from%3A%40ai_hakase&sort=new　　

ちなみに、そのサポート品質も高める目的で参加人数を制限しておりますので、興味のある方は人数が埋まらないうちに こちらのリンク から入門して、今日から生活や仕事に活せるAI情報をGETしちゃってください😽✨

https://note.com/ai_hakase/membership/join

それでは、本日もよろしくお願いします！

LLM構築の扉を開く！「Build a Large Language Model (From Scratch)」が解き明かす3つのステップ✨

皆さんは、ChatGPTのような大規模言語モデル（LLM）が、一体どのようにして作られているのか、気になったことはありませんか？ あの驚くほど滑らかな文章生成や、複雑な質問への応答能力⋯。まさに現代の魔法のようですよね！

実は、LLMの構築プロセスは、大きく3つの段階に分けることができるんです。まるで壮大なプロジェクトを、一つずつ着実に進めていくようなイメージでしょうか。この本では、そのプロセスをゼロからコードを書いて理解していく、という画期的なアプローチが紹介されています。

LLM構築の全体像：3つのステージとは？😐

この本で示されているLLM構築のロードマップは、以下の3つの主要なステージから構成されています。

• ステージ1：基礎の構築！ LLMのアーキテクチャを実装し、データ準備の仕組みを整える段階です。

• ステージ2：ファウンデーションモデルの作成！ 大量のラベルなしデータを使って、LLMに基本的な言語理解能力を「事前学習」させる段階です。ここで、テキストを生成する力の土台が作られます。

• ステージ3：目的別に賢く！ 事前学習でできたファウンデーションモデルを、特定のタスク（例えばチャットボットやテキスト分類）ができるように「ファインチューニング」する段階です。

今回、特に詳しく見ていきたいのが、最初のステージ1なんです！ LLMを動かすための準備と、その賢さの根幹となる技術を学ぶ、とっても重要なステップなんです！

ステージ1：基礎を固める！データ準備と核心技術「アテンション」

ステージ1では、主に二つの柱があります。一つは、LLMが理解できる形にテキストを整える「データ準備」

もう一つは、LLMの「賢さ」を支える核となる技術、「アテンションメカニズム」の実装です。

LLMが言葉を理解する魔法？「トークン化」と「埋め込み」

まず、LLMは、私たちが普段目にしている「文章」をそのまま理解できるわけではありません。テキストをコンピューターが処理しやすい数値の羅列に変換する必要があります。この最初のステップが 「トークン化」 です。

文章を単語や記号といった小さな単位（これを トークン と呼びます）に分解していくんです。例えば、「こんにちは、元気ですか？」という文なら、「こんにちは」「、」「元気」「です」「か」「？」のように分解するイメージです！

この分解の仕方も、実は色々工夫があるんです！特に、未知の単語が出てきても大丈夫なように、単語をさらに細かい「サブワード」に分割する「バイトペアエンコーディング（BPE）」といった賢い方法が、多くのLLMで使われているそうです。

次に、これらのトークンを、コンピューターが計算できる 「数値ベクトル」 に変換します。これを 「埋め込み（Embedding）」 と呼びます。

一つ一つのトークンに、たくさんの数字の並び（ベクトル）を割り当てることで、単語の意味や文法的な役割を表現しようというわけです。

さらに、文章中の単語の「位置」も重要ですよね？ 同じ単語でも、文頭にあるのか、文中にあるのかで意味合いが変わることもあります。

そこで、この単語の埋め込みベクトルに 「位置埋め込み（Positional Embedding）」 という情報を加えることで、単語の順番や位置関係もLLMに伝えられるようにするんです。

これらのデータ準備のステップを経て、ようやくテキストデータがLLMに入力できる形になるんですね！ 地味に思えるかもしれませんが、実はLLMの性能を左右する非常に重要な部分なんです！

LLMの賢さの秘密！「アテンションメカニズム」徹底解説

さて、ステージ1のもう一つの柱が、LLMの心臓部とも言える 「アテンションメカニズム」 です！

その名の通り、「注意を向ける」という機能なんですが、これが本当にすごいんです。従来の言語モデルは、長い文章になると、文の冒頭の方の内容を「忘れて」しまいがちでした。

でも、アテンションメカニズムを使うと、文章中の 「どの単語が、今処理している単語にとって重要か」 を判断し、そこに「注意を集中」させることができるんです。

例えば、「公園で遊んでいた犬が、急に立ち止まった。」という文で、「立ち止まった」という行動が「犬」にかかっていることを理解するには、少し前に出てきた「犬」という単語に「注意を向ける」必要がありますよね？アテンションメカニズムは、まさにこれを自動的にやってくれる仕組みなんです！
このメカニズムには、「クエリ（Query）」「キー（Key）」「バリュー（Value）」という三つの概念が登場します。簡単に言うと、今注目している単語が「クエリ」となって、文章中の他のすべての単語の「キー」と照合し、その関連性の高さに応じて、それぞれの単語の「バリュー」情報をどれだけ取り込むかを決める、というイメージでしょうか。

そして、テキスト生成に特化したLLM（GPTモデルなど）では、 「因果的アテンション（Causal Attention）」 という特別なアテンションが使われます。これは、「未来の単語を見ない」ように制限する仕組みです。

私たちが文章を書くときに、まだ書いていない単語を「見て」書くことはできませんよね？ それと同じように、LLMが次に続く単語を予測する際には、それよりも前の単語の情報だけを参考にすることで、自然な文章の流れを作り出すことができるんです。

さらに、アテンションメカニズムは一つだけでなく、複数同時に実行されることが一般的です。これを 「マルチヘッドアテンション（Multi-Head Attention）」 と呼びます。それぞれの「ヘッド」が異なる側面に注目することで、より多角的に文章の関係性を捉えることができるんです。

例えば、あるヘッドは文法構造に、別のヘッドは単語の意味的な関連性に注目する、といった具合です。これが、LLMの表現力や理解度を高める秘密の一つなんです！

このように、今回ご紹介したデータ準備とアテンションメカニズムは、LLMが複雑な言語を理解し、私たちが驚くようなテキストを生み出すためのまさに土台となる技術です。これらの基礎を理解することで、AIの「脳みそ」とも言えるその内部の仕組みが、きっとクリアに見えてくるはずです！AIの驚きの世界を、これから一緒に探求していきましょう！✨

多角的に情報を捉える「マルチヘッドアテンション」✨

アテンションメカニズムは一つだけでなく、 複数同時に実行される ことが一般的です。これを 「マルチヘッドアテンション（Multi-Head Attention）」 と呼びます。

それぞれの「ヘッド」が、文章の異なる側面に注目することで、より多角的に文章の関係性を捉えることができるんです。例えば、あるヘッドは単語の文法的なつながりに注目したり、別のヘッドは単語の意味的な関連性に注目したり、さらに別のヘッドは遠く離れた単語同士の関係を見つけたり⋯といった具合です。

まるで、複数の専門家が同じ文章を読んで、それぞれの視点から重要なポイントを見つけ出しているみたいですよね！このマルチヘッドアテンションが、LLMの表現力や、複雑な文章構造を理解する能力を高める秘密の一つなんです。

LLMの訓練を助ける賢い技術たち💗

アテンションメカニズムだけでもすごいのですが、さらにLLMを賢く、そしてスムーズに訓練するためには、いくつかの重要な技術が組み合わされています。

学習を安定させる「レイヤー正規化」

何層もの層を重ねて作られるディープラーニングモデル、特にLLMのような巨大なモデルを訓練するのは、実はとっても難しいんです。「勾配消失」といって、学習の指示が前の層にうまく伝わらなくなってしまう問題が起こることがあります。

そこで活躍するのが 「レイヤー正規化（Layer Normalization）」 です！これは、各層から出てくる信号の「平均」や「ばらつき」を一定に整える技術なんです。例えるなら、クラスの成績を比較するときに、テストの難易度が違うと単純比較できませんよね？そこで「偏差値」のように平均やばらつきを揃えることで、公平に比較できるようにするのと似ています。

レイヤー正規化によって、モデル内の情報の流れが安定し、学習がスムーズに進みやすくなるんです。特にLLMでは、アテンションや次にステップで説明いたします部分の前後に配置されることが多い、とっても重要な役割を担っているんです。

情報に深みを与える「フィードフォワードネットワーク」

アテンションメカニズムで文章中の単語の関係性を捉えた後、LLMはさらにその情報を加工します。そこで使われますのが 「フィードフォワードネットワーク（Feed Forward Network）」 という部分です。

これは、シンプルないくつかの層からなる小さなニューラルネットワークで、各単語の位置ごとに独立して計算を行います。アテンションが「文章全体を見て関係性を理解する」のに対して、フィードフォワードネットワークは「 その単語（位置）の情報をより豊かに、深く加工する 」役割を担っています。

興味深いのは、このネットワークの内部では、入力された情報の次元を一度大きく広げて（例えば4倍に！）、それから元の次元に戻す、という処理が行われることが多いんです。まるで、一つのアイデアを色々な角度からじっくり考えを巡らせて、最終的に洗練された結論を出すプロセスみたいですね！

このフィードフォワードネットワークの中では、ReLUだけでなく、 GELU やSwiGLUといった、より滑らかな特性を持つ「活性化関数」が使われることもあります。これらの関数が、モデルの表現力をさらに高めているんです！

情報を失わずに伝える「ショートカット接続」✨

とても深いニューラルネットワークを学習させる際に、もう一つ大切な工夫がございますの。それが 「ショートカット接続（Shortcut Connection）」 、あるいは「スキップ接続」「残差接続」とも呼ばれるものです。

これは、ある層への入力を、その層を飛び越えて（ショートカットして）、後の層の出力に直接足し合わせる、という構造になっているんです。まるで、長い階段を上る途中で、一部の階段をスキップしてエレベーターで上るようなイメージです。

このショートカット接続があると、学習中に情報や勾配（学習の指示）が失われにくくなります。特に層が多いモデルでは、前の層の情報が伝わりにくくなる問題が起こりがちでございますが、ショートカット接続があることで、入力の情報が損なわれずに深い層まで届きやすくなり、モデル全体の学習がスムーズに進むんです。

これらを組み合わせた「Transformerブロック」と「GPT」🌈

さて、ここまで見てまいりました「アテンションメカニズム」「レイヤー正規化」「フィードフォワードネットワーク」「ショートカット接続」といった要素が、見事に組み合わさってできましたのが、LLMの核となります 「Transformerブロック」 なんです！

Transformerブロックの中では、まずアテンションメカニズムで単語間の関係性を捉え、その結果をフィードフォワードネットワークで深く加工します。それぞれの処理の前後にはレイヤー正規化で情報の流れを安定させ、そして全体を通してショートカット接続が、情報が失われないようにサポートしている、というイメージです。

そして、GPTモデルは、なんとこのTransformerブロックが 何十個も積み重なって できているんです！まるで、高性能なレゴブロックをいくつも組み合わせて、巨大な構造物を作り上げるようですよね。

入力された文章は、まず「トークン」（単語やその一部に分割されたもの）に分けられ、数値化されます。そこに「位置情報」も加えて、Transformerブロックの積み重ねを通っていきます。それぞれのブロックでアテンションとフィードフォワード処理を経て、情報がどんどん洗練されていくんです。

そして、一番最後のTransformerブロックから出てきた情報が、最終的な出力層に渡されます。この出力層では、次にどのトークンが来る可能性が高いか、という確率が計算されます。LLMは、この確率が高い順にトークンを選んでいくことで、「なるほど、次はこれかな？」と、まるで人間のように言葉を紡ぎ出していくんですね。

モデルのサイズによって、このTransformerブロックの数や、扱える情報の次元（サイズ）が変わってまいります。だからこそ、「1億パラメータ」とか「100億パラメータ」といった、モデルの「規模」が性能に大きく関わってくるんです。

AIがどうやって言葉を紡ぎ出すのか、その仕組みが少しでもイメージできたでしょうか？これらの技術の組み合わせが、あの驚くほど自然な文章を生み出す力になっているんですね！

さて、次は、そんなAIが一体どうやって賢くなるのか、その「学習」の秘密について、さらに掘り下げていきましょう！

ここからはLLMとAIの成長、AIを賢くするには？について、もっと詳しく解説していきます🐱💗