小型トランスフォーマーが1.5時間で開発、大規模LLMを凌ぐ性能を達成
AI研究者が、小型のトランスフォーマーモデルをゼロからわずか1.5時間で訓練し、複数の大規模言語モデル（LLM）を凌ぐ性能を達成したと発表しました。このモデルは、難易度の高いメタ学習ベンチマーク「ARC-AGI-1」において44%というスコアを記録し、これは既存の高性能モデル（TRM/HRM）と同等の結果です。さらに、ARC-2においても7%のスコアを獲得しています。
本研究の最大の特長は、「高速性」「高性能」「低コスト」「オープンソース」を兼ね備えている点にあります。研究者は、現代AIにおける最も重要な課題は「サンプル効率（Sample Efficiency）」であるとし、この問題を解決することを目的としています。そのため、モデルの訓練コストを極限まで下げ、反復的な実験を容易にすることを目指しました。
技術的なアプローチとして、入力・出力ペアをトークン列に変換し、小型トランスフォーマーを用いて自己回帰的に訓練を行います。特に、従来の訓練方法から「入力トークンでの訓練」を排除し、損失関数に「出力トークンのみ」を含める教師あり学習方式を採用したことが、性能向上（40%から44%へ）に寄与しました。また、アーキテクチャの改良（SwiGluやRMSnormの採用）、データ多様性の向上、そして訓練コスト削減のための最適化（Normuonやflash attentionの利用）が組み合わされています。
この成果は、ARC（Abstraction and Reasoning Corpus）という、非常に少ないサンプル数で異なるルールを学習するメタ学習ベンチマークを対象としています。研究者は、この手法が、AI研究におけるコストと効率性の限界を探る上で画期的な進展であると強調しています。
背景
近年、AIの進化は大規模言語モデル（LLM）の登場により注目を集めていますが、これらのモデルは膨大な計算資源とデータ量を必要とします。本ニュースは、その高コストな傾向に対し、小型で効率的なモデルが、特定の高度なベンチマーク（ARC）において、同等以上の性能を達成したという点で、AI研究における「効率性」の重要性を再認識させるものです。
重要用語解説
- トランスフォーマー: 深層学習モデルの一種で、自然言語処理分野で革命を起こしたアーキテクチャ。入力データ間の関係性（アテンション）を計算することで、複雑なパターン認識を可能にします。
- サンプル効率: AIモデルが、どれだけ少ないデータ（サンプル）で高い性能を発揮できるかを示す指標。データ不足が課題とされる分野で特に重要視されます。
- ARC-AGI: 抽象的な推論能力を測るメタ学習ベンチマーク。限られた数のサンプルから、未知のルールや概念を学習する能力を評価します。
今後の影響
本成果は、AI開発のパラダイムシフトを示唆しています。高性能なAIが必ずしも巨大なモデルを必要とせず、効率的なアーキテクチャ設計とデータ処理の工夫で実現可能であることを証明しました。これにより、AI研究の敷居が下がり、より多くの研究者が低コストで最先端の実験を行える環境が整うと予想されます。