生成AIパスポート受験note（7/13）【第5章SS1 01LM（Language Model:言語モデル）〜03プロンプトエンジニアリング】

生成AIパスポートの受験のためにつけた、文字どおりノートです。
Hermes Agent（Grok 4.5）に噛み砕いて解説してもらってます！(^^)v
AIは間違うので、御活用は自己責任でお願いします！！(^^;

01 LM（Language Model：言語モデル）

LMとは
- 自然言語の文章をコンピュータで扱うための確率モデル
- ある文章が与えられたとき、単語や文の並びに着目し、
その文章が自然言語としてどれだけ自然かを評価する数学的モデル

主な用途
- 文章生成
- 翻訳
- 文書分類
- 質問応答
など、自然言語処理タスク全般

実装技術の例
- n-gram モデル
- ニューラル言語モデル

---

n-gram モデル

仕組み
- テキスト内の n個の連続する単語または文字 の出現頻度を数える
- その頻度を確率として使い、次に来る単語や文字列を予測する

例：「これは赤いリンゴです。」
- n=2：
（これは, 赤い）（赤い, リンゴ）（リンゴ, です）
- n=3：
（これは, 赤い, リンゴ）（赤い, リンゴ, です）

特徴
- n が比較的小さい整数なので、単純で高速処理しやすい
- 一方で、文脈や単語の順序を広く見られない
- 長い文章には不向き
- 高度な自然言語処理タスクでは性能が劣りやすい

---

ニューラル言語モデル

何か
- 自然言語処理（NLP）の一部
- 人間の言語を理解・生成するためのAI技術

仕組み
- 大規模なコーパス（言語データの集合）を学習
- 単語やフレーズが、特定の文脈でどう並び、どんな意味をなすかを理解
- その連続性に基づいて、次の単語やフレーズを予測

できるようになること
- 自然なテキスト生成
- 要約
- 文章の補完
- 感情分析
- 機械翻訳
など

注意点
- n-gram より処理能力の負荷が大きい
- コンピュータの処理性能が求められる

---

Exam Points
- LM = 文章の自然さを確率で評価するモデル
- n-gram = 直前の n-1 個を見て次を予測（単純・高速・文脈が狭い）
- ニューラル言語モデル = 大規模データ学習で文脈理解が強い（重い）
- LLM への橋渡しとして、まずこの2つを押さえる

02 LLM（Large Language Model：大規模言語モデル）

LLMとは
- 非常に大規模なデータセットでトレーニングされた自然言語処理モデル
- LMよりはるかに大量のテキストデータを使う
- 計算リソースも大量に必要
- 一般的に 数十億以上のパラメータ を持つものがLLMと呼ばれる

できること（高い精度）
- 自然言語生成
- 文書生成
- 質問応答
- 感情分析
- 機械翻訳
- 文書分類
- テキスト要約
- 言語モデリング

高精度の鍵：2段階トレーニング
1. プレトレーニング（Pre-training）
2. ファインチューニング（Fine-tuning）

---

プレトレーニング（Pre-training）

何か
- 大量のテキストデータで自然言語の知識を獲得する学習

特徴
- 通常、数十億〜数千億以上のラベル無しテキストからパターンを発見
- 教師なし学習が用いられる
- 主な目的：自然言語の知識を与えること
- その後、特定タスクに適応させるためにファインチューニングが行われる

---

ファインチューニング（Fine-tuning）

何か
- タスク特有のデータやコンテキストに応じた語彙・表現を学習し、
タスク性能を上げるトレーニング
- これにより、固有のニーズに特化したモデルを作れる

3つのステップ

① モデルのトレーニング
- 実行したいタスクに応じたデータを使う
- 事前学習済みモデルに、そのデータで追加学習する

② ハイパーパラメータの調整
- ハイパーパラメータ = モデル学習前に手動で設定・調整するパラメータ
- 調整により、モデルの複雑さや学習の進み具合を制御できる

③ モデルの評価
- トレーニング後、学習に使ったデータとは別の新しいデータで評価
- 未知データにどれだけよく対応できるかを見る

---

Temperature と Top-p

LLMには出力のランダム性を制御するパラメータがある。
バージョンによって設定が異なり、値によって出力が変わる。

Temperature
- 基本的に 0〜1 で設定
- 0に近い：
選ばれやすい答えが選ばれる → 結果が一意に定まりやすい
→ 出力の予想がつきやすい
- 1に近い：
ランダム性の高い回答が選ばれる
→ 詩・絵など創造的タスクでは有効な場合がある
- 1を超える：
自由度が高すぎて、適切な文章になりにくい

イメージ：
- 低い → ランダム性 低い
- 高い → ランダム性 高い

Top-p
- Temperature と同様に、出力のランダム性を制御
- 低くする：選ばれやすいワードが出やすい
- 高くする：ランダム性が強くなる

実務メモ
- ChatGPT などの公式Web画面では、これらのパラメータは見えないことが多い
- API利用時には見かけることがある
- だから意味を理解しておく

---

Exam Points
- LLM = 大規模データ + 大量計算 + 数十億以上のパラメータ
- 高精度の鍵 = プレトレーニング → ファインチューニング
- プレトレーニング = 教師なしで言語知識を獲得
- ファインチューニング = タスク特化の追加学習（3ステップ）
- Temperature / Top-p = 出力のランダム性制御
- Temperature 0寄り = 安定、1寄り = 創造的

先生への質問、いいね笑

---

結論
先生本体（いまの grok-4.5）には、Hermes設定上で明示された Temperature / Top-p は見当たらない。

つまり、教材に出てくるような
「Temperature=0.7 で動かしてます」
みたいな数字は、今の構成ではユーザー側で見えていない。

---

実際に確認したこと

メイン会話
- model: grok-4.5
- provider: xai-oauth
- config に temperature / top_p の明示指定なし

→ たぶん xAI側のデフォルト、または Hermes がパラメータを送っていない

例外（MOA用）
- reference_temperature: 0.6
- aggregator_temperature: 0.4

これは通常の先生会話ではなく、MOA（複数モデル合議）用の設定。

---

体感的な答え（試験対策向けの言い方）

先生は今、教材でいうところの：

- Temperature：やや低め〜中くらい
- Top-p：ユーザー非表示

に近い動きをしてるイメージ。

なぜなら：
- 勉強解説は、毎回似た構造で安定している
- 創造的にふわっと崩れるより、要点を固定して出す
- ただし完全に Temperature=0 の「一意回答機械」でもない

一語で言うと：
「試験勉強用の先生モードは、Temperature低め寄り」

---

教材との対応
- ChatGPT公式画面と同じで、普段の会話UIでは数値が見えない
- APIや一部設定では見える
- だから「値そのもの」より、
低い=安定、高い=創造的
という意味理解が大事

03 プロンプトエンジニアリング

定義
人工知能システム（特に自然言語生成AI）に対する
指示や質問（プロンプト）を設計し、最適な結果を得るための技術や戦略。

なぜ重要か
- AIの出力は、プロンプトの設計に大きく依存する
- だから、AIを効果的に使うための重要スキル

---

シンプルな例

プロンプト例
海が

出力例
地球上において、生命にとって不可欠な環境であり、豊富な食糧や資源を提供している。

解説
- モデルは「海が」の続きとして、
一番自然そうな文章を出力する
- ただし、それが自分が欲しい文章と違うことも多い

---

対処の2系統

1. Temperature / Top-p を調整する
2. モデル設定を変える
3. でも今回学ぶのは、よりシンプルで汎用的な方法：
指示文を変えて最適解を出させる
＝ プロンプトエンジニアリング

---

指示を足した例

プロンプト例

以下の続きとなる文章を作ってください：
海が

出力例
持続的に管理されることで、私たちは美しい自然や豊かな資源を守ることができる。

ポイント
- 「以下の続きとなる文章を作ってください：」という
指示文を一文足しただけで、出力が最適化される
- これがプロンプトエンジニアリングの基本感覚

---

代表的なプロンプトエンジニアリング手法（テキスト外）

次の5つを挙げる：

1. Few-shot プロンプティング
2. Chain-of-Thought プロンプティング
3. ReAct プロンプティング
4. Self-Consistency プロンプティング
5. Tree of Thoughts プロンプティング

以降は、これらを具体例つきで学ぶ。

---

Exam Points
- プロンプトエンジニアリング = 指示設計で出力を最適化する技術
- AIの出力はプロンプト依存
- パラメータ調整だけでなく、文言の工夫が効く
- 一文の指示追加でも結果が大きく変わる
- 代表手法は上記5つ