【最新AI論文をお届け】Distillation Quantification for Large Language Models

ポイント

概要

• 大規模言語モデル（LLM）の性能向上と効率化を目的に、「知識蒸留」と「量子化」が注目されている。

• 本研究では、LLM蒸留の影響を定量化するための2つの指標、「応答類似性評価（RSE）」と「識別一貫性評価（ICE）」を提案。

• 蒸留の透明性を向上させ、LLMの堅牢性と安全性を高める必要性を指摘。

知見と結論

• Claude、Doubao、Geminiを除く多くのLLMは高い蒸留度を示す。

• 基礎モデル（Base LLM）は、整列モデル（Aligned LLM）よりも蒸留度が高い。

• 蒸留の高いモデルは、複雑なタスクへの対応力や多様性が低下する可能性がある。

• データ蒸留の透明性向上は、独立したLLM開発と技術的信頼性の確保につながる。

提案手法

• 応答類似性評価（RSE）

  • モデル出力のスタイル、論理構造、内容詳細を評価し、参照モデルとの類似性をスコア化。

• 識別一貫性評価（ICE）

  • Jailbreak攻撃下での自己認識矛盾を検出し、モデルのアイデンティティ認識を評価。

実験結果

• 高蒸留度を示すモデル：DeepSeek-V3、Qwen-Max-0919。

• 低蒸留度を示すモデル：Claude 3.5-Sonnet、Doubao-Pro-32k。

• チーム、産業、技術分野でのLLM認識は攻撃に特に脆弱。

• 基礎モデルは、タスク特化型の微調整を欠くため蒸留パターンが顕著。

関連研究との比較

• 知識蒸留は、より小型のモデルが大規模モデルの知識を学習する技術。

• データ汚染がモデル評価の信頼性を損なう一方で、蒸留の定量化はさらに難しい課題。

• Jailbreak攻撃の手法を利用し、蒸留プロセスの脆弱性を明らかに。

今後の課題

• 蒸留度のさらなる定量化と透明性の確保。

• LLMの多様性と独立性を損なわない効率化手法の開発。

• モデルの安全性と堅牢性を向上させるための研究継続。

主要成果

• LLM蒸留を評価するための新しいフレームワーク（RSEとICE）を提案。

• 蒸留の透明性向上が、モデル開発の独立性や安全性強化に寄与する可能性を示唆。

本文

概要 モデル蒸留（Model Distillation）は、大規模言語モデル（LLM）から小規模モデルへ知識を移転する技術であり、高いパフォーマンスを維持しつつリソース効率の良いモデルを構築することを目的としている。しかし、過度な蒸留はモデル間の多様性を損なう可能性があり、これにより複雑なタスクや新規のタスクへの対応能力が低下する恐れがある。このような制約は、蒸留プロセスとその影響を体系的に定量化する必要性を浮き彫りにしている。本研究では、モデル蒸留を評価・定量化するためのフレームワークを提案する。本手法は以下の2つの重要な側面を扱う：(1) アイデンティティ認識の矛盾を特定し、モデルがアイデンティティ関連情報をどのように認識し表現するかの相違を評価すること、(2) モデル間の多粒度な応答類似性を分析し、均一化（ホモジニゼーション）の程度を測定すること。実験結果から以下の2つの重要な知見が得られた：(1) Claude、Doubao、Geminiを除く、よく知られたクローズドソースおよびオープンソースのLLMは通常、高い蒸留度を示す。(2) 基本的なLLMは、調整されたLLMに比べてより高い蒸留度を示す。LLMのデータ蒸留の透明性を向上させるための体系的なアプローチを提供することで、より独立した開発と透明性の高い技術報告を持つLLMの構築を提唱し、LLMの堅牢性と安全性を向上させることを目指している。コードとデータは https://github.com/Aegis1863/LLMs-Distillation-Quantification で公開されている。

1 はじめに

大規模言語モデル（Large Language Models, LLMs）は、驚異的な能力を示してきた（Brown et al., 2020a; Ouyang et al., 2022）。近年、モデル蒸留（Model Distillation）は、先進的なLLMの能力をより効果的に活用するための有望なアプローチとして注目を集めている。より大きく強力なLLMから小型モデルへ知識を移転することで、データ蒸留は、手動によるアノテーション作業を大幅に削減する（Qin et al., 2024; Huang et al., 2024）とともに、計算資源の負担を軽減しつつ、最先端の性能を達成するための重要な後発者優位性を提供する。しかし、この後発者優位性は諸刃の剣である。学術機関や発展途上のLLMチームの研究者が、新しい技術の探索を阻まれ、代わりに最先端のLLMから直接データを蒸留する方向に流れる可能性があるからである。さらに、既存の研究では、データ蒸留がロバスト性の低下を引き起こすことが明らかにされている（Baninajjar et al., 2024; Yin et al., 2025; Wang et al., 2024）。

LLMの蒸留を定量化するには、いくつかの重要な課題が存在する。第一に、蒸留プロセスの不透明性が原因で、学生モデルと元モデルの違いを定量化することが困難である。第二に、ベンチマークデータが不足しているため、元のLLMの出力との比較といった間接的な手法を用いて蒸留の存在を判断せざるを得ない。また、LLMの表現には多くの冗長性や抽象的な情報が含まれており、蒸留された知識が解釈可能な出力として直接反映されるのは難しい。さらに重要なのは、学術界においてデータ蒸留の広範な利用とその高い利益が、多くの研究者にその問題点を批判的に検討することを避けさせ、この分野における明確な定義の欠如を引き起こしている点である。

そこで本論文では、LLM蒸留を定量化するための2つの先進的な手法である「応答類似性評価（Response Similarity Evaluation, RSE）」と「識別一貫性評価（Identity Consistency Evaluation, ICE）」を提案する。RSEは元のLLMの出力と学生モデルの出力を比較する手法である。一方、ICEは、広く知られているオープンソースのジェイルブレイクフレームワークであるGPTFuzz（Yu et al., 2024）を応用し、LLMの自己認識を回避するプロンプトを反復的に作成する手法である。さらに、RSEとICEの結果を分析することで、いくつかの重要な知見が明らかになった。基礎モデル（Base LLMs）は、整列モデル（Aligned LLMs）と比較して高い蒸留度を示す。しかし、整列後であっても、Claude、Gemini、Doubaoを除くと、著名なクローズドソースおよびオープンソースのLLMは依然として高い蒸留度を示している。

要約すると、本研究の貢献は以下の通りである：

• LLM蒸留を定量化するための2つの具体的な指標、RSEとICEを定義した。

• 基礎モデルが整列モデルよりも高い蒸留度を示すことを明らかにした。

• 著名なクローズドソースおよびオープンソースのLLMは通常高い蒸留度を示しており、より独立し透明性のあるLLM開発の必要性を提唱した。

2 前提事項

私たちは、GPTFuzz（Yuらによる2024年発表）というオープンソースの「脱獄」フレームワークを採用し、初期の脱獄プロンプトを反復的に最適化することで、ターゲットモデルの脆弱性を引き出すより効果的なプロンプトを発見する。本研究で使用するGPTFuzzの関数は以下のように表現できる：G(M; PGinit; FG; k; m)。ここで、Mはターゲットモデルを示し、kは脱獄操作の総数、mは反復回数を表す。詳細な式については次のセクションで説明する。PGinitはGの初期脱獄プロンプトセットを指し、PGiはGにおける脱獄プロンプトセットであり、PGinitによって初期化される（すなわち、PG0 = PGinit）。プロンプト最適化の各反復ステップiでは、GPTFuzzは調整されたMCTS（モンテカルロ木探索）アルゴリズムを使用し、PGi−1からPSiをサンプリングする。なお、PSiのサイズは異なる反復ステップでも一定であるため、k = |PSi| × mとなる。各pSi,j ∈ PSiに対してプロンプト変異操作を適用し、新しいプロンプトptSi,jを生成する。その後、PTSi = {ptSi,j}のサブセットが関数FGによって選択され、PGi−1と統合されてPGiとなる（すなわち、PGi = PGi−1 + FG(PTSi)）。ターゲットモデルMの脆弱性は以下のように定量化される：

G(M; PGinit; FG; k; m) = P|FG(PTSi)| / k。

3 方法

このセクションでは、大規模言語モデル（LLM）の蒸留を定量化するための2つの補完的な指標、「応答類似性評価（RSE）」と「アイデンティティ一貫性評価（ICE）」を定義する。また、評価対象となる特定のLLM群をLLMtest = {LLMt1; LLMt2; ...; LLMtk}と定義し、ここでkは評価対象のLLMセットのサイズを表す。

3.1 応答類似性評価（RSE）

RSEでは、LLMtestおよび参照LLM（論文内ではGPTとして表記される）からの応答を収集する。これをそれぞれLLMrefとして表記する。その後、LLMtestとLLMrefの応答の類似性を、応答スタイル、論理構造、内容の詳細の3つの観点から評価する。この評価により、参照モデルに対する各テストLLMの全体的な類似性スコアが算出される。RSEは、LLMの蒸留度を詳細に分析するための指標として機能する。本論文では、ArenaHard、Numina、ShareGPTをプロンプトセットとして手動で選択し、LLMtestの一般的な推論、数学、指示追従分野における関連する蒸留度を推定する。RSEのLLM-as-judge（LLMを審査者とする評価）のプロンプト詳細については付録Eを参照されたい。LLM-as-judgeのスコアは5段階に分類され、各段階は異なる類似性の度合いを示す（図3を参照）。

3.2 アイデンティティ一貫性評価（ICE）

ICEは、大規模言語モデル（LLM）の自己認識を回避するプロンプトを繰り返し作成し、学習データに埋め込まれた情報（名前、国、場所、チームなど）を明らかにすることを目的としている。この論文で述べられている「ソースLLM」とは、GPT4o-0806を指す。我々は、ICEにおけるアイデンティティ不整合検出のためにGPTFuzzを適用した。まず、ソースLLMのアイデンティティ情報に関する事実セットをFとして定義する。Fには、各fiがLLMtiのアイデンティティに関連する事実を明確に述べている（例：「私はAnthropicによって開発されたAIアシスタントClaudeである。Anthropicはアメリカを拠点とする会社である。」）。F = {f1; f2; ...; fk}。詳細は付録Aを参照されたい。

同時に、GPTFuzzの初期プロンプトセットPGinitをアイデンティティ関連プロンプトPidを使用して準備する。Pid = {p1; p2; ...; pp}は、LLMtestのLLMに対してそのアイデンティティに関する情報を問い合わせるためのものである（付録Bを参照）。GPTFuzzの初期FGは、プロンプトに対する応答を事実セットFと比較するためにLLM-as-a-judgeを使用して設定される。論理的矛盾を含む応答は特定され、次の反復にFGに統合される。GPTFuzz Scoreに基づいて以下の2つの指標を定義する：

• Loose Score: アイデンティティ矛盾の誤りの例を任意で攻撃成功とみなす。

• Strict Score: ClaudeやGPTと誤って認識された誤りの例のみを攻撃成功とみなす。

LLM-as-a-Judge用のプロンプトは付録Cを参照されたい。Jailbreakされた出力例は付録Dを参照されたい。

4 実験

このセクションでは、2つの検出実験の設定をまず紹介し、その後に実験結果と分析を示す。

4.1 実験設定

4.1.1 アイデンティティ一貫性評価

ICE実験は、以下のLLMに対してJailbreak攻撃下での自己認識認知の一貫性を評価することを目的としている：Claude3.5-Sonnet、Doubao-Pro-32k、GLM4-Plus、Phi4、Llama3.1-70B-Instruct、Deepseek-V3、Gemini-Flash-2.0、Qwen-Max-0919。50個のシードプロンプトを選択し、GPTFuzzフレームワークを使用してLLMに問い合わせを行う。その後、GPT4o-miniを使用して応答を評価し、評価結果に基づいて攻撃プロンプトを反復的に最適化した。本実験で使用された質問は、チーム、協力、産業、技術、地理の5つの主要な領域に分類されている。これらのカテゴリーは、さまざまなアイデンティティ認知の側面を網羅し、LLMが各領域でどのようにパフォーマンスを発揮するかを包括的に分析するために設計されている。我々は、セクション3で導入した2つの評価指標（Loose Score（LS）とStrict Score（SS））を利用した。

4.1.2 応答類似性評価

RSE実験は、以下のモデル間での応答の類似性を評価することを目的としている：Llama 3.1-70B-Instruct、Doubao-Pro-32k、Claude 3.5-Sonnet、Gemini-Flash-2.0、Mistral-Large-2、GLM4-Plus、Phi4、Deepseek-V3、Qwen-72B-Instruct、Qwen-Max-0919、GPT4o-0513、およびGPT4o-0806。この実験では、広く使用されている3つのデータセット（Arena Hard、Numina、ShareGPT）が使用されており、NuminaとShareGPTはそれぞれのデータセットからサンプリングされた1000件のサブセットを利用している。LLMは、テストされるLLMの出力とリファレンスとなるLLMの出力との類似性をスコアリングする仕組みである。これらのモデルは、GPT-4o（0806）が生成した応答との類似性の重み付けスコアに基づいて評価され、類似性が高いほど高いスコアを得る設計となっている。

4.2 実験結果

ICEの結果は図4に示されており、緩いスコアと厳密なスコアの両方で、GLM4-Plus、Qwen-Max、Deepseek-V3が最も多くの疑わしい応答を示しており、高度な蒸留（distillation）が行われている可能性が示唆される。一方で、Claude 3.5-SonnetとDoubao-Pro-32kは、ほとんど疑わしい応答を示さず、これらのLLMが蒸留されている可能性が低いことが示されている。なお、緩いスコア指標にはいくつかの偽陽性インスタンスが含まれる場合がある（詳細は付録D.2参照）。一方で、厳密なスコア指標はより正確な測定値を提供する。

すべての「ジェイルブレイク攻撃プロンプト」を、チーム、協力、産業、技術、地理の5つのカテゴリに分類した。図5は、各タイプの質問に対して成功したジェイルブレイクの数を統計的に示している。この結果は、チーム、産業、技術の分野におけるLLMの認識が攻撃に対してより脆弱であることを証明している。これは、これらの分野に未精査の蒸留データが多く含まれている可能性があるためである。

表1に示されているように、基本モデル（Base LLM）は、教師あり微調整（SFT）モデルと比較して、一般的に高い蒸留レベルを示している。これは、基本モデルがタスク特化型の微調整を欠いているため、評価で利用された脆弱性の種類に対してより感受性が高く、識別可能な蒸留パターンを示しやすいことを示唆している。

もう一つ興味深い発見として、Qwen-Max-0919のクローズドソースのLLMは、Qwen 2.5シリーズのオープンソースLLMよりも高い蒸留度を持つことが実験結果から示されている。Claude 3.5-Sonnet関連の応答が大量に見られる一方で、2.5シリーズのLLMの疑わしい応答は主にGPTに関連している。これらの例の一部は付録Dに示されている。

RSEの結果は表3で提示されており、GPT4o-0806をリファレンスLLMとして使用している。この結果から、GPTシリーズのLLM（例：GPT4o-0513、平均類似度4.240）が最も高い応答類似性を示していることがわかる。一方、Llama 3.1-70B-Instruct（3.628）やDoubao-Pro-32k（3.720）などのモデルは、類似性が低く、蒸留の程度が低いことを示唆している。対照的に、DeepSeek-V3（4.102）やQwen-Max-0919（4.174）などのモデルは、高い蒸留レベルを示しており、これと一致する結果が得られている。 GPT-4o-0806を用いた観察結果をさらに検証するため、追加の実験を行った。この実験では、さまざまなモデルを参照モデルおよびテストモデルとして選択した。それぞれの設定で、3つのデータセットから100サンプルを選び、評価を実施した。付録Fの結果によると、Claude 3.5-Sonnet、Doubao-Pro-32k、Llama 3.1-70B-Instructといったモデルがテストモデルとして使用された場合、一貫して低い蒸留レベルを示すことが確認された。一方で、QwenシリーズやDeepSeek-V3モデルは、より高い蒸留度を示す傾向が見られた。これらの発見は、蒸留レベルを検出する我々のフレームワークの堅牢性をさらに支持するものである。

5 関連研究

知識蒸留

知識蒸留（Knowledge Distillation, KD）は、より小型のモデル（生徒モデル）が大規模で十分に訓練されたモデル（教師モデル）の動作を模倣することを学ぶモデル圧縮技術である（Hinton et al., 2015; Sun et al., 2020）。この技術は登場以来、BERTやGPTといった大規模な事前学習モデルの圧縮に成功してきた。たとえば、DistilBERT（Sanh et al., 2019）はモデルサイズを40％削減しながら、BERTの性能の97％を維持した。TinyBERT（Jiao et al., 2020）は、タスク固有の微調整に特化した2段階の蒸留プロセスを採用し、計算コストを大幅に削減した。最近の研究では、MiniLM（Wang et al., 2020）やDDK（Liu et al., 2024）といった大規模な自己回帰モデルにもKDが拡張されている。これらの既存研究とは対照的に、我々は主に既存のLLM（大規模言語モデル）の蒸留度を定量化するための包括的なアプローチの開発に焦点を当てている。

データ汚染

データ汚染（データリーケージとも呼ばれる）は、訓練データにテストやベンチマークデータが誤って含まれることで、モデル評価の信頼性が損なわれる現象である（Oren et al., 2023; Zhang et al., 2024; Dong et al., 2024）。最近では、Deng et al.（2023）がベンチマークの摂動や合成データ生成技術を用いて潜在的なベンチマークリーケージを特定した。また、Wei et al.（2023）は、訓練損失が著しく低い場合は過学習を示唆し、未知の参照セットと比較してテスト損失が極端に低い場合、訓練中にテストデータがリーケージした可能性があると提案した。Nie et al.（2024）は、選択肢順序を乱すことでデータセットリーケージを効果的に検出し、モデルの対数確率分布を分析する方法を導入した。しかしながら、データ汚染は通常明確なターゲットデータセットを持つ一方で、LLM蒸留は固定されたターゲットデータセットを持たず、より柔軟である。そのため、蒸留度を定量化することはデータ汚染以上に困難である。

ジェイルブレイキング

ジェイルブレイキングは、LLMの脆弱性を悪用し、安全フィルターや倫理ガイドラインを回避する手法である（Brown et al., 2020b）。人間の価値観にモデルの出力を合わせるための強化学習（RLHF）の進展にもかかわらず、対話型プロンプトはモデルの堅牢性に挑戦し続けている。 k-to-strongジャイルブレイキング攻撃（Doe and Smith, 2024）、MathPrompt（Lee and Patel, 2024）、およびDistraction-based Attack Prompt（DAP）（Chenら、2024）は、既存のLLM（大規模言語モデル）に重大な脆弱性が存在することを明らかにしている。これらの手法は、慎重に設計された入力が与えられた場合、LLMが有害なコンテンツを防ぐ能力に欠けていることを指摘している。本研究では、逆向攻撃プロンプトに対するモデルの脆弱性を特定するための量子化蒸留プロセスに、ジャイルブレイキング検出手法を統合することを提案する。

6. 結論

本研究は、LLMの蒸留を評価し定量化する初の試みであり、以下の2つの重要な側面に焦点を当てている：

1. ジャイルブレイク攻撃下での自己認識の矛盾を特定し、LLMの自己認識の一貫性を評価すること。

2. 複数の粒度レベルでの応答類似性を分析し、LLM間の均質化の程度を測定すること。

実験結果は、Claude、Doubao、Geminiといった例外を除き、ほとんどの著名なクローズドソースおよびオープンソースのLLMが高い蒸留度を示していることを示している。さらに、基盤となるLLMは、調整されたLLMと比較してより高い蒸留レベルを示している。

LLMのデータ蒸留の透明性を向上させるための体系的なアプローチを提供することで、我々はLLMの強靭性と安全性を向上させるため、より独立した開発と透明性のある技術報告を推進することを提言する。

元記事