FlutterGemmaでのLLM動作不良の原因を特定：公式CLIとの比較検証で解決したモバイルAI実装の全過程
開発者は、Exa-Vision Proというプロジェクトにおいて、Gemma 4 E4Bという大規模言語モデル（LLM）をスマートフォン単体で完全にオフライン環境下で動作させることを目標としていました。しかし、FlutterGemmaを用いて実装を試みた際、「PREFILL_DECODE not found」というエラーが繰り返し発生し、数週間にわたりデバッグが困難な状況が続きました。
当初、モデルの破損やダウンロードの問題が疑われ、SHA256ハッシュ値によるモデルの完全一致確認を行いましたが、モデル自体は問題ありませんでした。そこで、開発者は「責任範囲を切り分ける」というアプローチを採用し、Flutterのレイヤーを外し、Google公式が提供するLiteRT-LM CLI（コマンドラインインターフェース）を用いて同じモデルを実行しました。その結果、CLI環境ではGemma 4 E4BがGPUバックエンドで正常に推論を行うことが確認され、モデル自体が正常に動作していることが証明されました。
この検証により、問題がモデルやハードウェアではなく、Flutter経由のランタイム層にある可能性が高いと絞り込まれました。最終的な原因究明では、使用していたモデルファイル（gemma-4-E4B-it-gpu.litertlm、約2.97GB）のタイプが、当時のFlutterパッケージのバージョンと合致していなかったことが判明しました。標準版のモデルファイル（gemma-4-E4B-it.litertlm、約3.66GB）に差し替えたところ、無事に動作が実現しました。この一連のデバッグプロセスは、モバイル環境でのLLM実装において、問題の切り分けと検証の重要性を示しています。
背景
近年、AI技術の進化に伴い、大規模言語モデル（LLM）をクラウドではなく、スマートフォンなどのエッジデバイス上で直接動作させる「オンデバイスAI」が主流になりつつあります。本記事の検証は、このオフラインでのLLM推論を実現するための具体的な技術的課題（ランタイム環境やモデル互換性）を克服した事例です。
重要用語解説
- Gemma 4 E4B: Google DeepMindが開発したオープンウェイトのLLMファミリーの一つ。E4Bはパラメータ数が40億（4B）であることを示し、モバイルやエッジデバイスでの効率的な動作を目指したモデルです。
- FlutterGemma: GoogleのUIツールキットであるFlutter上で、LLMの推論機能（Gemma 4など）を組み込むためのコミュニティパッケージまたはライブラリを指します。
- LiteRT-LM CLI: Google AI Edgeが公開する、Gemmaモデル向けの公式ランタイム（実行環境）のコマンドラインツールです。Flutterなどのフレームワークを介さず、モデルの動作検証を行うための標準的な検証環境です。
今後の影響
本事例は、モバイルデバイス上でのLLMの実装において、単にモデルを組み込むだけでなく、使用するランタイム、モデルのバージョン、そしてフレームワーク間の互換性を厳密に検証する重要性を示しています。これにより、より信頼性の高い、真にオフラインで動作するAIアプリケーション開発の道筋が確立されました。