RedPajama-INCITE - オープンで商用可能なLLM

以下の記事が面白かったので、簡単にまとめました。

1. RedPajama-INCITE

「RedPajama-INCITE」は、「RedPajamaベースデータセット」で学習した最初のモデルです。LLaMAレシピを可能な限り複製することを目的とした3B・7Bパラメータのベースモデルです。

2. モデル一覧

ベースモデルに加えて、完全にオープンソースのInstructionモデルとチャットモデルも提供しています。

2-1. RedPajama-INCITE-Base-3B-v1

「RedPajama-INCITE-Base-3B-v1」は、3Bのベースモデルです。同規模の他のオープンモデルをベンチマークで上回っています。

2-2. RedPajama-INCITE-Chat-3B-v1

「RedPajama-INCITE-Chat-3B-v1」は、3Bのチャットモデルです。「Dolly 2.0」と「Open Assistant」で「RedPajama-INCITE-Base-3B-v1」をファインチューニングしています。

2-3. RedPajama-INCITE-Instruct-3B-v1

「RedPajama-INCITE-Instruct-3B-v1」は、3BのInstructionモデルです。「GPT-JT」と同じ計算式（ただしHELMベンチマークと重複するデータセットをすべて排除）で「RedPajama-INCITE-Base-3B-v1」をファインチューニングしています。

2-4. RedPajama-INCITE-Base-7B-v0.1

「RedPajama-INCITE-Base-7B-v0.1」は、7Bのベースモデルの早期アクセス版です。学習途中で、1兆トークンのうち8000億トークンを完了したモデルになります。

2-5. RedPajama-INCITE-Chat-7B-v0.1

「RedPajama-INCITE-Chat-7B-v0.1」は、7Bのチャットモデルの早期アクセス版です。

2-6. RedPajama-INCITE-Instruct-7B-v0.1

「RedPajama-INCITE-Instruct-7B-v0.1」は、7BのInstructionモデルの早期アクセス版です。

関連