LLM学習データの種類と役割：事前学習からRLVRまで徹底解説

本記事は、大規模言語モデル（LLM）の性能向上に不可欠な「学習データ」の種類と、それを用いた段階的な学習プロセスを詳細に解説している。LLMの学習は一般的に、「事前学習」「SFT（教師ありファインチューニング）」「強化学習（RLHF, DPO, RLVR）」という三段階で行われる。

まず**事前学習**では、ウェブサイトのスクレイピングや電子化された書籍・論文といった機械的かつ大規模なデータ（例：ABEJA-CC-JAコーパス）を用い、文章中の次の単語を予測する訓練を行う。この段階では「データ量」と「多様性」が極めて重要であり、性能向上には何兆トークンにも及ぶ圧倒的なデータ量が求められる。

次に**SFT**では、ユーザーの指示（プロンプト）に対する理想的な回答ペアデータを使用し、モデルの指示追従能力を改善する。事前学習と異なり、「データの質」と「正確性」が最も重要となり、専門知識を持つ人間による手作業や強力なLLMを用いた合成データが用いられる。

さらに高度な調整段階として**強化学習**があり、人間の好みに合わせるアラインメント手法が中心となる。代表的なものに以下の三つがある。

1. **RLHF (Reinforcement Learning from Human Feedback)**：良い回答と悪い回答の比較データから「報酬モデル」を学習し、その報酬を最大化するように生成モデルを訓練する。これは人間の好みを数値化する強力な手法だが、「報酬ハッキング」や計算コストの高さが欠点とされる。

2. **DPO (Direct Preference Optimization)**：RLHFと同様に比較データを用いるが、報酬モデルを学習せず、良い回答と悪い回答から直接モデルを更新するため、計算コストが低く安定している。過不足のない簡潔な回答生成など、具体的な制約の遵守能力を高めるのに有効である。

3. **RLVR (Reinforcement Learning with Verified Rewards)**：数学の問題やプログラミングなど、「明確な正解」が存在するデータ（例：MATHデータセット）を用いることで、客観的な報酬（+1/不正解なら-1）に基づいて推論能力を強化する。これはFew-shot promptingやCoTといった高度なプロンプト技術と関連が深い。

これらの学習プロセスを通じて、LLMは単なるテキスト生成から、指示に沿った的確で安全性の高い対話応答を行うモデルへと進化している。

---

背景

大規模言語モデル（LLM）の性能向上には、単にデータ量を増やすだけでなく、どのような種類のデータを、どの段階で学習させるかが鍵となります。本記事は、初期の事前学習から、人間の好みを反映させるアラインメント技術（RLHF/DPO）、そして客観的な正解に基づく推論強化（RLVR）に至るまで、最新のLLM開発におけるデータ戦略と学習パイプラインを網羅的に解説しています。

重要用語解説

• 大規模言語モデル (LLM): 大量のテキストデータを学習し、人間のような自然な文章生成や質問応答を行うAIモデルのこと。その性能は学習データの質と量に大きく依存する。
• 事前学習: ウェブ上の膨大なデータ（コーパス）を用いて、単語予測など基本的な文法や世界知識を機械的に獲得させる初期の訓練段階。
• アラインメント: LLMの出力を人間の価値観や意図に合わせて調整し、安全で有用な応答を生成できるようにするプロセス。RLHFやDPOなどがこれに該当する。

今後の影響

これらの学習技術の進化は、AIが単なる情報検索ツールから、高度な推論能力を持つ対話エージェントへと変貌することを意味します。特にDPOやRLVRのような効率的かつ検証可能な手法の普及により、より信頼性が高く、特定のタスクに特化した高性能なLLMの開発が加速すると予想されます。