QIMMA：新しいリーダーボードがアラビア語LLM評価で量より質を重視

アラブ首長国連邦のTechnology Innovation Institute（TII）は、2026年4月21日にQIMMA（قِمّة、アラビア語で「頂上」または「サミット」を意味する）を発表しました。これはアラビア語の大型言語モデル（LLM）向けの新しい公開リーダーボードです。これは質優先のアプローチを適用した最初のリーダーボードです。モデルを評価する前に、すべてのベンチマーク項目が厳格な検証を受けます。この方法論上の転換は、エラーだらけのデータセットでモデルが採点されてきたというアラビア語NLP（自然言語処理）の長年の問題に答えるものです。

なぜ今、新しいアラビア語ベンチマークが必要なのか？

アラビア語は約4億人が話していますが、LLMエコシステムでは英語に比べて系統的に過少代表されています。問題は量だけではありません——既存のアラビア語ベンチマークは深刻な系統的問題を示してきました。QIMMのチームは14の元のベンチマークを分析し、問題サンプルの高い割合を発見しました。ArabicMMLUには436の問題項目（3.1%）があり、MizanQAには2.3%、他のベンチマークも同様の割合を示しています。

エラーには不正確または誤ってラベル付けされた「正解」回答、エンコーディング問題による破損または判読不能なテキスト、スペルミス、ステレオタイプ、文化的不整合が含まれていました。実際には、モデルが何十年もの間、誤った回答を推測することで報奨を受け、正しい回答を与えることで罰せられてきたことを意味します。QIMMはその悪循環をソースの段階で断ち切ろうとしています。

どの分野をカバーし、検証はどのように機能するか？

QIMMは7分野、109のサブセット、5万2000以上のサンプルを網羅し、そのうち99%がネイティブアラビア語です。分野は普遍的なものと文化特有のものを両方カバーするよう慎重に選ばれています：文化的テーマ（AraDiCE-Culture、ArabCulture、PalmX）、STEM（ArabicMMLU、GAT）、法律（ArabLegalQA、MizanQA）、医学（MedArabiQ、MedAraBench）、安全（AraTrust）、詩と文学（FannOrFlop）、プログラミング（3LM HumanEval+とMBPP+）。

検証は2段階で行われます。第1段階では、2つの独立した大型モデル——Qwen3-235BとDeepSeek-V3-671B——が、回答品質、フォーマット、文化的感受性、「正解」との一致を網羅する10点の採点基準に従って各サンプルを評価します。7点未満の項目は削除されるか第2段階に送られます。第2段階では、文化的・方言的専門知識を持つネイティブアラビア語話者がフラグ付けされたケースを手動でレビューします。これは自動評価に明らかな限界がある詩のような分野には特に重要です。

誰がモデルを提出でき、結果は何を示しているか？

リーダーボードは完全に開かれています——開発者はGitHubリポジトリとHuggingFace Spacesインターフェースを通じて自分のモデルを提出でき、フレームワーク全体は再現性のためにLightEvalを使用しています。最初の公開でトップはQwen3.5-397B（平均68.06点）で、UAEのJais-2-70B-Chat（InceptionAI製）が65.81点で3位を保っています。興味深い発見は、モデルサイズがパフォーマンスを保証しないことです。トップ10モデルのパラメータ数は320億から3970億までと幅広く、中規模のモデルがより大きなモデルをしばしば上回ります。

QIMMはネイティブアラビア語AI基盤（Jais、Falcon）への投資を地政学的・文化的優先事項とするUAEのAI戦略の広いコンテキストに位置づけられます。グローバルAIコミュニティにとって、これは重要なステップです。多言語ベンチマークが単なる量以上の高い品質基準を持てる——また持つべきである——ことを示し、質優先の方法論が長らく軽視されてきた他の言語の標準になり得ることを示しています。