VLAモデルのロバスト性検証：難関ベンチマークでプロンプト汚染バグを特定し性能を大幅改善
本記事は、VLA（Vision-Language-Action）モデルのロバスト性（頑健性）を評価するための個人プロジェクトの記録である。筆者は、難易度の高いベンチマーク「LIBERO-Plus」（7次元、合計10,030タスク）を用いて、モデルの性能を検証した。このベンチマークは、視点（Camera Viewpoints）、初期姿勢（Robot Initial States）、照明（Light Conditions）など、7種類の摂動（ノイズ）を加えて、モデルが環境変化にどれだけ耐えられるかを測定する。
検証は、RTX A6000を2枚使用し、4シャード並列化された実行設計に基づいて実施された。まず、モデルのベースライン性能（$\pi_0$）は公式リーダーボードと整合していることを確認し、次に改良版のモデル（$\pi_{0.5}$）を適用した。その結果、$\pi_{0.5}$は全次元において$\pi_0$を大きく上回り、特に視点や初期姿勢といった「見た目の変化」に対する耐性が顕著に高いことが判明した（合計で+32.3%pの向上）。
さらに、筆者は性能が公式値と大きく乖離した「Sensor Noise」次元の原因究明に挑んだ。当初、ライブラリのバージョン問題や画像破損が原因ではないかと推測したが、検証の結果、真犯人は「プロンプト汚染」であると特定された。これは、ポリシーに渡される言語プロンプトに、摂動のエンコード文字列が誤って混入していたため、モデルが本来の指示を理解できず、性能が致命的に低下していた。このプロンプトをクリーン化するだけで、成功率は15%から90%へと劇的に回復し、公式リーダーボードのスコア（79%）すら上回る結果となった。この一連の検証を通じて、VLAモデルの評価パイプラインの構築方法と、データ処理における潜在的なバグの発見方法が詳細に報告されている。
背景
VLAモデルは、視覚情報、言語指示、行動計画を統合する次世代AIモデルであり、現実世界の複雑なタスク実行を目指しています。しかし、現実環境では視点や照明、ノイズなど様々な「摂動」が発生するため、モデルのロバスト性（頑健性）の評価が極めて重要になっています。LIBERO-Plusは、このロバスト性を体系的に試すための高度なベンチマークです。
重要用語解説
- VLAモデル: Vision-Language-Actionモデルの略。視覚（Vision）、言語（Language）、行動（Action）の3要素を統合し、人間のように環境を理解し、行動を計画・実行するAIモデルを指します。
- LIBERO-Plus: ロボットの行動シミュレーション環境LIBEROを拡張したベンチマーク。視点、照明、ノイズなど7種類の摂動を加え、VLAモデルの脆弱性を徹底的に試すための大規模なタスクセットです。
- プロンプト汚染: AIモデルへの入力（プロンプト）が、本来の指示とは関係のない、システム的なメタデータやエンコード文字列によって誤って混入してしまう現象。モデルの誤動作や性能低下の主要因となります。
今後の影響
本研究は、単なる性能比較に留まらず、AIモデルの評価パイプラインにおける潜在的なデータ処理バグ（プロンプト汚染）を発見した点で極めて重要です。今後のVLAモデル開発においては、単に高いスコアを出すだけでなく、現実世界のノイズやデータ汚染に強い「ロバストなデータ処理層」の構築が必須となります。これは、AIの信頼性向上に直結します。