ポケモンカードAI対戦コンペに初挑戦：模倣学習と環境の非定常性から得た機械学習の教訓
筆者は、機械学習コンペティション「Kaggle」の「PTCG AI Battle Challenge」に初参戦し、ポケモンカードゲームの対戦AI開発に挑んだ記録を記しています。このコンペは、提出エージェント同士が毎日自動対戦し、Eloレーティング風のスコアで順位が決定される「非定常な対戦型」という点で特殊です。
当初、ランダムな手からスタートしたスコアは431でしたが、ヒューリスティックやルールベースの導入を経て、模倣学習（上位チームのリプレイから行動をクローンする手法）を適用したことで、一時的に最高9位（スコア1114）を記録しました。しかし、8月に入るとスコアは停滞し、最終的に540位まで落ち込むという波乱の推移を辿りました。
この経験から、筆者は機械学習における複数の重要な教訓を導き出しています。一つ目は、モデルの優劣は単なる集計精度ではなく、実際の対戦シミュレーションで測るべき点です。二つ目は、ローカルでの評価指標（勝率など）は、本番の公開スコアと強い相関を持たない場合があるという点です。最も重要な発見は、環境が非定常であるため、教師となる「勝率の高い相手」を選ぶ際も、単なる全体勝率ではなく、相手のレーティング帯（例：1100点以上）で条件を細分化して評価する必要があるという点です。また、コンペのスコアは実力だけでなく、提出ごとの「経路依存の分散」が大きく影響すること、つまり「当たりラン」を引くことが重要であるという構造的な側面も明らかにしました。最終的に、AIコーディングエージェントを活用し、人間は「方針決定」と「解釈」に集中するという、新しい開発体制の運用ノウハウも共有しています。
背景
Kaggleは、データサイエンスの知識を競う世界的なプラットフォームです。本記事のコンペは、単なる予測精度を競うものではなく、AIエージェントが日々変化する「メタゲーム」の中で対戦し続ける、非常に複雑で非定常な環境をシミュレーションする点が特徴です。この特殊な環境が、開発者に対し、従来の機械学習の知見だけでは解決できない課題を突きつけました。
重要用語解説
- 模倣学習（Behavior Cloning）: 上位チームの公開リプレイデータから、その「観測→行動」のペアを写し取り、AIに学習させる手法。自前のヒューリスティックを大幅に上回る性能を短期的に発揮しました。
- 非定常環境（Non-stationary）: システムや環境の特性（メタゲーム）が時間経過とともに変化し続ける状態。対戦相手が毎日改良するため、過去に有効だった戦略が通用しなくなる状況を指します。
- 経路依存の分散: AIのスコアやレーティングが、モデルの真の実力だけでなく、コンペの初期の対戦相手の並びや提出のタイミングといった「過程（経路）」によって大きく変動してしまう現象。
今後の影響
本記事は、AI開発における「モデルの性能向上」だけでなく、「評価指標の設計」と「環境変化への適応戦略」の重要性を再認識させました。特に、非定常な実戦環境においては、単一の最適解を追求するよりも、環境の変化を捉え、評価のバイアスを排除するメタ的な視点（例：レーティング帯による分割）が極めて重要であるという知見を提供しています。