LLM学習用合成データ生成パイプラインを非同期キューイング方式に刷新：GPUスループットが10倍向上
本記事は、大規模言語モデル（LLM）の教師あり微調整（SFT）や思考型LLM（Reasoning Model）の学習において不可欠な「合成データ」作成プロセスを劇的に効率化する技術を紹介しています。従来のデータ生成パイプラインは、「問題生成」「回答生成」「思考過程生成」「リファイン」「評価」という5段階のマルチステップ処理から構成されていますが、これを同期バッチ処理で行うと、データの生成時間ばらつきによりGPU稼働率（MFU）が0.3程度に留まり、非常に非効率でした。筆者はこの課題を解決するため、「asyncio.Queue」と「Workerプール」を活用した「非同期キューイング・パイプライン」へとシステムを大幅に改造しました。
この新しい設計では、固定数のワーカー（職人）がキューからジョブを取り出し、同じアイテムに対して複数のステップ処理を連続的に実行します。これにより、GPUリソースに常に一定の負荷をかけ続けることが可能となり、データ生成のスループットが劇的に改善されました。具体的な成果として、従来のバッチ同期方式と比較し、GPU稼働効率（MFU）が0.3から3〜5へと10倍以上向上したと報告されています。これにより、従来は数ヶ月かかったCPTデータの作成プロセスも大幅に短縮され、処理速度が体感的に10倍になったことが示されました。
この手法の鍵となるのは、`asyncio.Queue(maxsize=worker_count * 2)`でキューの読み込み数を制御し、固定数のワーカーを維持することで、特定のデータ遅延に全体プロセスを巻き込ませない点です。これにより、クライアント側のメモリ保護とサーバー側（LLMエンジン）への安定したリクエスト供給が両立され、「合成データ作成のボトルネック」解消のための最適解として提案されています。
背景
大規模言語モデル（LLM）を実用レベルに引き上げるためには、高品質な学習データ（特に「合成データ」）が不可欠です。従来のデータ生成はステップごとにバッチ処理を行うため、計算負荷の偏りや待ち時間が発生しやすく、GPUリソースの利用効率が低下するという課題がありました。
重要用語解説
- LLM: 大規模言語モデル（Large Language Model）の略称。大量のテキストデータを学習することで人間のような自然な対話や推論能力を持つAIを指します。
- 合成データ (Synthetic Data): 実際のデータセットから直接取得するのではなく、AIモデル自身に生成させることで作成される高品質な訓練用データのことです。
- MFU (Model Flops Utilization): GPUがどれだけ効率的に計算リソース（浮動小数点演算）を使用しているかを示す指標。この値が高いほど、ハードウェアの性能を最大限に引き出せていることを意味します。
今後の影響
本技術は、LLM開発におけるデータ準備フェーズのボトルネックを解消し、モデル開発サイクル全体を加速させます。非同期パイプラインの導入により、より大規模かつ迅速な高品質データの生成が可能となり、次世代AIサービスの市場投入速度に大きく貢献すると予想されます。