AI進化の新法則「デンシング法則」とは？ 3.5ヶ月で性能2倍、AIは「より小さく、より賢く」なる

大規模言語モデル（LLM）の世界は、常に「より大きく」を目指す競争の最中にある、という認識が一般的です。実際に、モデルのパラメータサイズを大きくすればするほど性能が向上するという「スケーリング則」が、このトレンドを後押ししてきました。巨大なモデルが次々と発表され、その驚異的な能力が注目を集めています。

しかし、この巨大化の流れは、実用化における深刻な課題も生み出しています。高騰する運用コスト、膨大な計算リソース、そしてスマートフォンやPCといった日常的なデバイスでAIを動かしたいという現場のニーズとの間には、大きな隔たりがありました。性能向上のためには巨大化が不可欠なのか、それとも効率化の道があるのか。この緊張関係に、新たな光を当てる研究が登場しました。

最近、学術誌『Nature Machine Intelligence』に掲載された論文が、AI開発の常識を覆す可能性のある「デンシング法則（Densing Law）」を提唱しました。この法則が注目するのは、モデルの「サイズ」ではなく、「能力密度（capability density）」、つまり各パラメータにどれだけの知能が詰め込まれているかです。この新しい視点は、AIの未来について、いくつかの驚くべき真実を明らかにしています。

AIの新ルール：「デンシング法則」が示す6つの驚くべき発見

1. AIの新たなリズム：能力密度は3.5ヶ月ごとに2倍になる

「デンシング法則」の核心は、オープンソースLLMの最大「能力密度」が指数関数的に成長しているという発見です。具体的には、この密度は約3.5ヶ月ごとに2倍になるという驚異的なペースで向上しています。

これは、わずか3.5ヶ月前の最先端モデルと同等の性能を、半分のパラメータ数しかない新しいモデルで達成できることを意味します。つまり、AIモデルは、私たちが考えている以上に速いスピードで、劇的に効率化されているのです。

2. 直感に反する真実：「大きい」が「高密度」とは限らない

「モデルは大きければ大きいほど良い」というこれまでの常識は、もはや通用しないかもしれません。今回の研究では、最先端とされるいくつかの巨大モデルが、必ずしも最も高い能力密度を持つわけではないことが明らかになりました。

例えば、論文では「Llama-3.1-405B」がその巨大なサイズによってトップクラスの性能を発揮するモデルであるとしつつも、最も「高密度」なモデルではないと指摘しています。その理由として、極端に巨大なモデルの学習を完全に最適化することは非常に困難であり、結果としてコストパフォーマンスの観点では最適とは言えなくなるためだと説明されています。

3. 「ChatGPT効果」：一つのサービスが全てを加速させた

研究によると、能力密度の成長率は、ChatGPTのリリースを境に著しく加速したことが示されています。具体的には、ChatGPTの登場後、モデル密度の成長率は50%も速くなりました。

この加速には、主に2つの要因が寄与していると分析されています。

• ChatGPTの成功がLLMの可能性を示し、開発への投資が急増したこと。

• 高品質なオープンソースモデルが増加し、多くの研究者が研究開発に参加するためのハードルが下がったこと。

4. 驚くべき後退：「モデルを小さくする」試みが裏目に出ることも

モデルを効率化するため、枝刈り（プルーニング）、蒸留（ディスティレーション）、量子化といったモデル圧縮技術が一般的に用いられます。しかし、研究ではこれらの技術が必ずしも能力密度の向上にはつながらないという、直感に反する結果が示されました。

驚くべきことに、調査された圧縮モデルのほとんどは、圧縮元の大規模モデルよりも低い能力密度しか持っていませんでした。唯一の例外は「Gemma-2-9B」で、これは元のモデルよりも高い密度を達成しました。この事実は、モデル圧縮が本質的に非効率なわけではなく、そのプロセスが極めて難しいことを示唆しています。論文ではその潜在的な理由として、圧縮後の小規模モデルが、その最適な密度に到達するまで十分に学習されていない可能性を挙げています。

5. 法則の相乗効果：「デンシング法則」と「ムーアの法則」の融合

「デンシング法則」（アルゴリズム／ソフトウェアの進化）は、「ムーアの法則」（ハードウェアの進化）と組み合わさることで、さらに強力な未来を示唆します。この2つの法則の融合は、高性能なLLMがスマートフォンやPCといった一般消費者向けのデバイス上で効率的に動作する未来が、急速に近づいていることを意味します。

この2つの法則が組み合わさることで、同じ価格のコンピューターチップで動かせるAIの実質的な性能（有効パラメータサイズ）が、約88日ごとに2倍になる、と論文は推定しています。これは、アルゴリズムとハードウェア双方の進化が、AIの普及を劇的に加速させる可能性を示しています。

6. 持続可能な未来へ：「密度最適化」トレーニングへの転換

「デンシング法則」は、AI業界が目指すべき戦略的な転換を示唆しています。単に巨大化を目指すアプローチの限界について、論文は次のように力強く述べています。

性能向上のためだけにモデルのパラメータと学習データをスケールさせることは、持続可能でも費用対効果が高いわけでもない。このようなアプローチは、モデルが持つ限られたピーク効率の期間中に生み出されるリターンを、開発コストが大幅に上回る結果につながるだろう。

これからのAI開発で求められるのは、「密度最適化LLM事前学習」という新しいアプローチです。これは、単にサイズを大きくするのではなく、モデルのアーキテクチャ、学習アルゴリズム、データ品質の革新を通じて「能力密度」そのものを向上させることに焦点を当てる考え方です。

結論：より大きくではなく、より賢いAIの未来へ

AI開発のパラダイムは、「スケーリング（巨大化）」一辺倒から、より緻密な「デンシング（高密度化）」へとシフトしつつあります。未来のAIは、より少ないリソースでより多くのことを成し遂げる、つまり、より賢く、より効率的で、誰もがアクセスしやすく、そして持続可能な存在へと進化していくでしょう。

AIが指数関数的な効率で進化し、私たちのパーソナルデバイス上で動作するのが当たり前になった時、私たちの仕事や生活には、どのような新しい可能性が解き放たれるのでしょうか？

解説動画：

参考資料：

その他記事、コラム、書籍はこちら↓