ローカルLLMベンチマークの「失敗」から得た教訓：真に有用なモデル選定プロトコルとは
本記事は、日本企業がオンプレミス環境で利用すべきローカル大規模言語モデル（LLM）を選定するためのベンチマークプロセスとその過程での発見について詳細に報告している。筆者は当初、「全モデルがほぼ満点」という理想的な結果を得たものの、これを「壊れたベンチマーク」と断じ、その失敗から真の知見を引き出した。最初のバージョンv1では、Faithfulness（忠実度）やHit rateといったスコアが全モデルで高水準に収束し、ジャッジ一致率κも1.0を記録した。しかし筆者は、この結果は「テストが差を解像できていない」ことを意味すると指摘する。具体的には、問題の90%が全モデルで正答可能であり、ベンチマークがモデルの品質ではなく単なる「問題の易しさ」しか測れていなかったためである。
そこで筆者は、より実務的な難しさを意図的に組み込んだ45問からなるv2の問題セットに移行した。この修正により、全正解率が29%、一部正解率が51%、全不正解率が20%という「区分度」を持つデータ構造が実現した。これによりHit rateのばらつきは0.10（v1）から0.22（v2）へと改善し、ジャッジ一致率κも1.0から0.920に低下したが、これは統計的に意味のある不一致の上での信頼性の証拠となった。
注目すべき発見として、VRAM容量が約半分（11GB対20GB）、速度が約2.6倍速い8.9Bのnemotron-nano-9b-jpモデルが、31.3Bのgemma4モデルとHit rateで並んだ点が挙げられる。これは、単に「最強」なモデルを選ぶのではなく、「VRAM上限やレイテンシ目標といった制約下で最適な選択をする意義」を明確に示している。筆者は、真の成果物は特定のモデル名ではなく、「比較するモデルを解像できる場合にのみ有効であるプロトコルそのもの」であり、失敗したベンチマーク（v1）の記録を残すことこそが最も重要な知見だと結論づけている。
背景
LLMの性能比較は一般的にスコアの高いモデルを「最強」とみなす傾向がある。しかし、本記事では、単なる高スコアなベンチマークが実務的な価値を持たないという問題提起から始まっている。真に有用な評価とは、モデル間の差異（解像度）を明確にし、特定の運用制約下での最適な選択肢を見出すことにある。
重要用語解説
- ローカルLLM: 大規模言語モデル（LLM）のうち、外部のクラウドサービスではなく、企業や個人のオンプレミス環境などのローカルな計算資源上で動作させることを指す。データセキュリティとレイテンシが重視される場合に用いられる。
- ベンチマーク: 特定の目的のために開発されたテスト問題セットを用いて、複数のAIモデル（LLMなど）の性能を客観的に測定し比較すること。スコア化されることが多い。
- VRAM: Video Random Access Memoryの略で、主にGPUに搭載される高速メモリのこと。LLMを実行する際、特にモデルサイズが大きくなると大量のVRAMを消費するため、デプロイ上の重要な制約となる。
今後の影響
本記事は、AIモデル選定における評価基準のパラダイムシフトを促す。単なる「最高性能」ではなく、「運用環境（VRAM, レイテンシ）という制約下での最適解」や「テストセット自体の信頼性（区分度）」を重視するプロトコル設計が重要となる。これにより、企業はより実務的でリスクの低いLLM導入判断が可能になることが期待される。