LLM のベンチマーク まとめ
「LLM」の ベンチマーク をまとめました。
1. マルチモーダルのベンチマーク
マルチモーダルのベンチマーク。
1-1. Chatbot Arena (LMSys) 【英語】
人間が異なるモデルを匿名で比較し、どちらのモデルがより優れた応答をしたかを投票することでランキングを形成。
・Chatbot Arena Leaderboard ※ タブで Arena (Vision) を選択
1-2. Heron VLM リーダーボード (wandb) 【日本語】
「Japanese-Heron-Bench」 「LLaVA-Bench-In-the-Wild (Japanese)」の総合評価。
・Japanese-Heron-Bench (Turing)
21枚の画像に対して計102問の質問。日本に関する知識を要求。
・LLaVA-Bench-In-the-Wild (Japanese) (Turing)
24枚の画像に対して計60問の質問。「LLaVA-Bench-In-the-Wild」の日本訳。
1-3. JA-VLM-Bench-In-the-Wild (SakanaAI) 【日本語】
42枚の画像に対して計50問の質問。日本に関する知識を要求。
1-4. JMMMU リーダーボード 【日本語】
大学レベルの主題知識と意図的推論を必要とする複数分野タスクでマルチモーダルを評価するように設計されたベンチマーク。
2. LLMのベンチマーク
2-1. Chatbot Arena (LMSys) 【多言語】
人間が異なるモデルを匿名で比較し、どちらのモデルがより優れた応答をしたかを投票することでランキングを形成。
・Chatbot Arena Leaderboard ※ Categoryで Japanese を選択
2-2. Nejumi LLMリーダーボード 4 (wandb) 【日本語】
上位モデルのスコア飽和に対応し、高難度推論・深い知識・アプリ開発力を大幅拡充。
・SWE-bench-verified (SWE-bench_ja_nejumi_v1)
・BFCL (BFCL_ja_nejumi_v1)
・ARC-AGI / ARC-AGI-2 (ARC-AGI_ja_nejumi_v1 / ARC-AGI-2_ja_nejumi_v1)
・Humanity's Last Exam (HLE_ja_nejumi_v1)
・JHumanEval(jaster_nejumi_v1)
・JMMLU-Pro(jaster_nejumi_v1)
・M-IFEval(M-IFEval_nejumi_v1)
・HalluLens (HalluLens_ja_nejumi_v1)
2-3. オープン日本語LLMリーダーボード (LLM-jp) 【日本語】
16種類以上のNLPタスクを用いて日本語LLMの性能を評価。
・llm-jp-eval (LLM-jp)
日本語での言語理解能力を評価するためのベンチマーク
2-4. shaberiベンチマーク (shisa-ai) 【日本語】
「Tengu Bench」「ELYZA Tasks 100」「Japanese MT-Bench」「Rakuda Bench」の総合評価。
・Tengu Bench
大規模言語モデル(LLM)評価用データセット。
・ELYZA Tasks 100 (ELYZA)
計100問の質問。日本に関する知識を要求。
・Japanese MT-bench (StabilityAI)
日本語での言語生成能力を評価するためのベンチマーク。
・The Rakuda Ranking of Japanese AI (YuzuAI)
4カテゴリ計40問の質問。
2-5. swallow-evaluation-instruct 【日本語・英語】
日本語と英語の高難易度ベンチマークに対応しており、統一された条件のもとで最先端LLMの性能を適切に測定できる新しい評価基盤。
3. ソフトウェア開発のベンチマーク
3-1. SWE-bench 【英語】
複数のファイルにまたがる変更や、既存のコードベースとの整合性を考慮する必要がある複雑なタスクを含む。
・SWE-bench Lite
300サンプルに対して自動的に収集されたデータ検証を行う。迅速。
・SWE-bench Verified (OpenAI)
500サンプルに対して人間の専門家による厳密な検証を行う。信頼性が高い。
・SWE-bench Full
2,294サンプルに対して自動的に収集されたデータ検証を行う。包括的。
3-2. SWE-Lancher (OpenAI) 【英語】
フリーランスのソフトウェアエンジニアリングタスクを含む。$50のバグ修正から$32,000の機能実装まで多岐にわたる。
3-3. Multilingual Code Models Evaluation (bigcode) 【英語】
比較的独立した単一のコード生成タスク。
「HumanEval」と「MultiPL-E」の総合評価。
・HumanEval (OpenAI)
Pythonのプログラミング問題を解く能力を評価。計164問。
・MultiPL-E
HumanEvalの問題を複数のプログラミング言語に翻訳。
22のプログラミング言語をサポート。
