AI評価フレームワークのコスト比較：9種類のハーンセスでタスクあたりの費用に最大17倍の差が判明
本記事は、FrontierHarnessが実施した、複数のAI評価ハーンセス（harness）の性能とコストを比較した技術的な評価レポートです。この評価は、ソフトウェアエンジニアリングのコンテキストおよびターミナルベースのタスクに焦点を当てており、9種類の異なるハーンセスをテストし、そのコスト効率を詳細に分析しています。主要な発見として、モデルやハーンセスによって「成功タスクあたりのコスト」に最大17倍ものばらつきがあることが指摘されています。具体的には、Codex、DeepSeek Harness、Claude Code、Pi、Oh My Piなど、複数のハーンセスがテスト対象となり、それぞれが「成功タスクあたりの中央コスト」「タスクあたりの中央コスト」「成功タスクあたりの中央キャッシュヒット率」「成功タスクあたりの中央時間」といった複数の指標で評価されました。
評価の過程で、単なる数値比較だけでは不十分な点も強調されています。例えば、OpenCodeの評価では失敗が除外されており、失敗回数を考慮するとタスクあたりのコストが$3.24に増加する可能性が示されています。また、キャッシュヒット率が高いこととコストが必ずしも一致しない点（300ターンに及ぶ失敗が短いキャッシュミスよりも高コストになる例）や、品質とコストが乖離するケース（Claude Codeが19タスクをパスしたものの、タスクあたりのコストが$18.34に達した例）が具体的な事例として挙げられています。
この評価は、Runtaのエージェント実行環境で行われており、すべてのハーンセスとタスク環境は「ゴールデンチェックポイント」として一度準備され、実行のたびにvCPU、メモリ、ディスクサイズ、ディスクの内容、メモリ状態が完全に再現されるという厳密な方法論に基づいています。この結果は、AIエージェントの評価システムを構築する際、単に成功率だけでなく、コスト効率と実行環境の再現性を考慮することが極めて重要であることを示唆しています。
背景
近年、大規模言語モデル（LLM）を実用的なエージェントとして評価する技術が進化しています。しかし、単に「正解できたか」という成功率だけでは、実際の運用コストや計算資源の効率性が無視されがちです。本ニュースは、この評価の盲点であった「コスト効率」を定量的に明らかにする試みです。
重要用語解説
- ハーンセス (Harness): AIモデルの性能を体系的かつ自動的に評価するための評価フレームワークや仕組みのこと。特定のタスクセットを用いてモデルの能力を測定します。
- キャッシュヒット率 (Cache hit rate): AIエージェントが過去の計算結果や情報を再利用できた割合を示す指標。高いほど計算資源の節約につながります。
- ゴールデンチェックポイント (Golden checkpoint): 実験や評価を行う際に、環境（vCPU、メモリ、ディスクなど）を完全に再現し、公平性を保つために設定される基準点や状態のこと。
今後の影響
本評価は、AIエージェントの導入におけるコスト最適化の重要性を浮き彫りにしました。今後は、単なる性能指標（精度）だけでなく、実行コスト、失敗時のコスト、および環境再現性を考慮した多角的な評価基準が業界標準となることが予想されます。これにより、AIシステムの開発サイクルがより経済的かつ実用的なものへと進化するでしょう。