Nejumi Leaderboard4のリリース! 更新の背景と評価項目

Weights & Biasesでは、日本語に特化したLLMリーダーボードの開発に取り組んでおり、2023年に開始して以来、2024年7月時点でバージョン3（Nejumi Leaderboard3）までを公開・運営してきました。そしてこの度、2025年8月に最新バージョンである Nejumi Leaderboard4 をリリースしました。本記事では、その開発背景と新たに追加した評価項目について解説します。

実行のスクリプトも公開しています。社内限定のクローズドなリーダーボードを構築することも可能です。

Nejumi Leaderboard3で浮かび上がったニーズと課題

2024年7月以降、Nejumi Leaderboard3で100以上のLLMを評価する中で、以下のような課題が明らかになりました。

新しい評価項目に関する課題

• 高難易度の推論や専門知識を必要とする新しいベンチマークが未採用であり、上位モデル間の差分が小さくなっていた。

• コーディングやツールユースなど、アプリケーション開発分野での評価が不足していた。

ユーザー目線での課題

• 採用しているベンチマークやそのバージョンが分かりづらい。

• 一部ベンチマークが商用利用不可であり、利用制約があった。

開発面での課題

• 複数の評価ツールやモデル実装が複雑化し、ライブラリのバージョン競合が頻発していた。

これらを解決するため、Nejumi Leaderboard4を大幅にアップデートしました。

Nejumi Leaderboard4の主なアップデート

Nejumi Leaderboard4の主なアップデートは以下です。

1. 高難度ベンチマークの導入
   モデル性能の向上でスコアが飽和しつつあった課題に対応するため、推論能力と専門知識を問う、より難しいベンチマークを追加

2. アプリケーション開発能力の評価拡充
   AIエージェント等の開発ニーズを反映し、コーディング能力や関数呼び出し(Tool Use)能力を評価するカテゴリを新設

3. 安全性評価のさらなる強化
   AIガバナンスへの関心の高まりを受け、指示追従能力や幻覚（ハルシネーション）抑制など、安全性評価の再現性と網羅性を強化

4. 設計改善
   docker compose を用いたコーディングタスク実行用sandboxの整備や、推論アダプタの分離設計などを導入。

加えて、評価カテゴリごとの重み付けを見直し、Total Scoreの設計も刷新しました。

今回新しくアップデートしたタクソノミー・利用したベンチマークを以下の表に示します。今回アプリケーション開発が増え、また推論能力の再整理したことが大きなアップデートです。また、今後注目され、現行でモデル間の差が比較的大きなカテゴリを考慮した、Total Scoreを計算する際の重み設計も行っています

次の章では、今回追加した主なベンチマークを紹介します。

Nejumi Leaderboard4で追加した主なベンチマーク

SWE-bench-verified (SWE-bench_ja_nejumi_v1)

• 概要: 

  • SWE-bench: 実在 OSS の“本物のバグ修正タスク”に対し、モデルが生成した 統一 diff（unified diff） を適用 → 公式テストが全部通るかで自動採点

  • SWE-bench-Verified: 入力・環境・期待テストが整備済みの安定版

• Nejumi Leaderboardの仕様:

  • 今回のプロジェクトのために日本語化したデータセットから、7,000トークン未満の 80 件を抽出して使用

BFCL (BFCL_ja_nejumi_v1)

• 概要:

  • BFCL (Berkeley Function Calling Leaderboard) は、LLMの関数呼び出し能力を包括的に評価するベンチマーク

• Nejumi Leaderboardの仕様:

  • BFCL v3を日本語化して採用

  • parallel に対応していないモデルもあるため、並列問題は除外

  • 小規模モデル評価のため、マルチターン問題は3ターン以下に制限

  • 各カテゴリ30問以上のものは30問をランダム抽出し、計348問を使用

  • OSSモデル評価を簡素化できるハンドラーを構築

ARC-AGI / ARC-AGI-2 (ARC-AGI_ja_nejumi_v1 / ARC-AGI-2_ja_nejumi_v1)

• 概要(ARC-AGI-1):

  • François Chollet が提唱した Abstraction and Reasoning Corpus (ARC) の初版

  • 人間の「流動性知能（fluid intelligence）」を測定することを意図し、プログラム合成や心理測定的知能テストとしても解釈

  • 採点は、入力に対して正解グリッドを生成できるかで評価

• 概要(ARC-AGI-2):

  • 2025年にリリースされた第2版。人間の平均正答率は60〜66%と報告されている

  • 公開セットに加え、セミプライベートセット（API経由で評価され、漏洩リスク低）と、フルプライベートセット（ARC Prizeコンペ用、ほぼ漏洩ゼロ）がある

• Nejumi Leaderboardの仕様:

  • システムプロンプトを日本語化し、タスクは数値データのためオリジナルのものをそのまま使用

  • OpenAI o3(medium)での評価結果に基づき、正答率が同程度となるように50件をサンプリング

  • 小規模モデル評価のため、入力+出力のグリッド要素数が2000以下のものに制限

Humanity's Last Exam (HLE_ja_nejumi_v1)

• 概要:

  • ARC系ベンチマークと同様の思想で設計され、人間が「解ける最後の一線」を意識したタスク集合

  • 各分野の専門家(主に教授、研究者、大学院学位取得者) が問題を作成しており、高度な知識と推論能力を要求

  • 一部にマルチモーダル問題も含有

  • 採点には LLM as a Judge を用いており、解答の妥当性をLLMが評価

  • モデルのキャリブレーション（自信度の適切さ）も重視され、回答とともに 0%〜100%の信頼度 を提示する形式を採用

• Nejumi Leaderboardの仕様:

  • 今回のプロジェクトのために日本語化したデータセットから、7,000トークン未満の 194件を抽出して使用

  • 言語性能を測るためマルチモーダルの問題は除外

  • 詳細はgithubのREADMEをご確認ください。

JHumanEval(jaster_nejumi_v1)

• 概要:

  • HumanEval は164問の英語プログラミング課題を用いて、Pythonコード生成能力を評価するベンチマーク

  • JHumanEval はその日本語版であり、佐藤美唯らが翻訳

• Nejumi Leaderboardの仕様:

  •  llm-jp-eval v 2.0.0の実装のデータセットと評価方法を踏襲

JMMLU-Pro(jaster_nejumi_v1)

• 概要:

  • JMMLU (Japanese MMLU) をベースに、難易度と範囲を拡張したバージョン。ルーツは MMLU-ProX（英語版の拡張版）

  • 多肢選択形式（A, B, C, D）で、経済学、医学、法律、歴史、数学など数十領域をカバー

• Nejumi Leaderboardの仕様:

  •  llm-jp-eval v 2.0.0の実装のデータセットと評価方法を踏襲

M-IFEval(M-IFEval_nejumi_v1)

• 概要: 

  • IFEvalは、LLMの命令遵守能力を客観的に測る評価ベンチマークで、「400語以上で書く」「特定のキーワードを最低3回含める」など、検証可能な制約を含む命令に注目

  • M‑IFEvalは、これを多言語に拡張し、フランス語、日本語、スペイン語の指示遵守を測定する新たな評価ベンチマーク

• Nejumi Leaderboardの仕様:

  • lightblueが提供するM-IFEval (2025/7時点)を利用

HalluLens (HalluLens_ja_nejumi_v1)

• 概要:

  • HalluLens は、LLMの「幻覚（hallucination）」を体系的に評価するベンチマークです。

  • extrinsic（外因性）とintrinsic（内因性）に分類し、多層的な評価を行います。

  • 特に外因性幻覚に注力し、動的に生成されるテストセットを採用することでデータ漏洩リスクを低減。

  • PreciseWikiQA（短文事実応答の幻覚評価）とLongWiki（長文生成における整合性評価）を含みます。

• Nejumi Leaderboardの仕様:

  • PreciseWikiQAおよびLongWiki: JTruthfulQAと同じ忠実性の評価となるためNonExistentRefusalのみ採用

  • NonExistentRefusal - MixedEntities: 実在するエンティティが散見されたため採用を見送り

  • NonExistentRefusal - GeneratedEntities: Google検索によりエンティティが実在しないことを確認後、110問をランダムに抽出

除外したベンチマークの除外

• LCTG: 商用ライセンス制約があるため開発者と協議の上除外。代替として M-IFEVAL を採用しました。

• chABSA: 論理的推論で導けない問題が多いため除外しました。

• wikicorpus 系 (e-to-j, j-to-e, NER, coreference, reading, pas, dependency): 論理的推論の困難さと実行時間の長大さが理由で除外しました。

初期的結果

近年のモデル性能向上傾向
Nejumi Leaderboard3では、モデル性能の向上に伴って、従来の陳腐化したベンチマークではスコアが飽和してしまっており、モデル間の性能差が見えづらくなっている問題がありました。本リーダーボードでは高難度ベンチマークや多くのモデルがまだ十分対応できていないアプリケーション開発の性能評価を加えたことにより、上位モデル同士の性能差も鮮明に捉えることができる様になりました。その結果、近年のモデル性能向上傾向も以下の図の様に再び明確になりました。

OpenAI GPT-5とAnthropic Claude Opus 4.1の比較
注目を集めるOpenAI GPT-5とAnthropic Claude Opus 4.1の比較において、本リーダーボードの評価基準ではOpus 4.1に軍配が上がりましたが、スコアは僅差であり両者は近い性能を有していると言えるでしょう。性能プロファイルを詳しく見てみると、Opus4.1がアプリケーション開発に強みを持つ一方で、専門知識や質問応答性能では依然としてOpenAI GPT‑5が優れているようです。両者はコストにも大きな差があるため、実用においてはユースケースに応じてこれらを含む複数のLLMを使い分けることが重要であると言えるでしょう。

まだモデルが苦手なカテゴリとモデル間で差が大きいカテゴリ
評価カテゴリごとのスコアの平均と分散を見てみると、翻訳のように平均スコアが非常に高く、かつ分散が小さいタスクがあることがわかります。これはSLMを含むほとんどのモデルが高スコアを記録していることを意味しており、ほぼ攻略済のカテゴリであると言えるでしょう。一方で数学的推論、論理的推論は中程度の平均スコアと大きい分散となっており、上位モデルは攻略しつつあるものの、下位モデルの到達度は低く、現時点でモデル間の差別化領域となっていることが見て取れます。さらに、抽象的推論や専門的知識、コーディング、関数呼び出しは平均スコア自体がまだ低く、フロンティア領域であると言えます。これらはまさに今回のNejumi LLMリーダーボード4で評価体制を追加ないし強化した領域であり、評価の解像度と将来のモデル性能向上に対応可能な伸びしろを改善できていることがわかります。

まとめ・今後のブログ

このブログでは、Nejumi Leaderboard4のリリースに伴い、主要なアップデートと結果の簡単な考察を紹介しました。今後、リーダーボード構築の工夫ポイントや結果の詳細な考察をブログで公開していきます。是非ご確認ください。

謝辞

開発にあたっては、NVIDIAの山本光太郎さん、Estyleの衣斐太一さん・黒澤和樹さん・村上 幸史郎さん、macnicaのChengwei Guさんに多大なる貢献をいただきました。日本の生成AIの発展に休日も惜しまずリーダーボード構築に尽力いただいた熱意と労力に、この場を借りて感謝申し上げます。