AIの性能は価格と比例しない：3円から900円まで実費で検証した10モデルの実力差
筆者は、美容系勤務の独学エンジニアとして、最新のAIモデルの性能とコスト効率を検証するため、7社10モデル（GPT-5.6、Claude Opus 5、Gemini 3.7 Flashなど）を同じ「落ちものパズル」の課題にかけ、実費を支払ってベンチマークを実施しました。測定日は2026年8月16日であり、実費は3円（$0.03）から900円（$6.08）という200倍もの開きが見られました。
検証の結果、AIの得点（性能）は単なる単価の安さや高さとは直線的な関係にないことが判明しました。例えば、DeepSeek V4 Pro（$2.18）はGemini 3.7 Flash（$0.44）よりも高価ですが、得点では大きな差はありませんでした。最も重要な発見は、コストは「知識」の有無と「実行の信頼性」に分かれる点です。
最も安価なGPT-5.6 Luna（$0.03）は知識テストでは満点でしたが、ゲームの進行（生存率）は3/15と低く、途中で失敗しやすい傾向が見られました。一方、最も高価なClaude Opus 5（$6.08）は、知識テストも満点である上に、生存率も15/15と安定しており、「失敗しない力」に対して対価を払っている構造が明らかになりました。
さらに、実費の変動要因として「キャッシュ対応」と「使用ツール」が極めて重要であることが指摘されています。単価が安くても、キャッシュ機能に対応していない場合や、ツールによってトークン量が桁違いに増える場合、実請求額は高騰します。筆者は、AIの予算を組む際は、単価表を見るのではなく、まずキャッシュ対応の有無やツールの違いから検証すべきだと結論づけています。
背景
近年、AIモデルの進化に伴い、高性能なモデルの利用コストが課題となっています。単なる「単価表」だけでは、実際の利用シーンでのコストや性能を正確に予測することは困難です。本記事は、複数のAIモデルを同一の複雑なタスクにかけ、実費を測定することで、コストと性能の相関関係を実証的に検証したものです。
重要用語解説
- 実請求: OpenRouterの残高の減り方から算出される、実際に支払われた費用。単なる単価表の計算額とは異なり、キャッシュやツールの影響を反映した実額を指します。
- キャッシュ: AIが過去のやり取り（コンテキスト）を記憶し、再利用する仕組み。対応しているモデルでは、再利用時にコストが大幅に割引され、実費を抑える鍵となります。
- ベンチマーク: 特定の課題や基準を設定し、複数のAIモデルの性能を客観的に比較測定すること。本記事では、落ちものパズルという共通の課題を用いて実施されました。
今後の影響
本検証は、AIの導入におけるコスト計画の考え方を大きく変える可能性を秘めています。単に「最も高性能なモデル」を選ぶのではなく、「必要な信頼性（生存率）」と「コスト効率（キャッシュ対応）」を考慮してモデルを選択することが重要です。これにより、企業はAI利用の予算をより現実的かつ戦略的に組むことができるようになります。