SageMaker Feature Storeの書き込みAPIを実測検証：BatchWriteRecordが呼び出し回数を大幅削減し、処理時間を5.7倍高速化
本記事は、Amazon SageMaker Feature Storeのデータ書き込みAPIの最新機能である`BatchWriteRecord`と`ListRecords`について、実測による詳細な検証結果を報告しています。従来のデータ書き込み手段であった`PutRecord`は、1回の呼び出しで1レコード×1フィーチャーグループ（FG）しか扱えないという制約があり、例えば顧客200人、FG 2つのデータを更新する場合、理論上400回のAPI呼び出しが必要でした。この呼び出し回数の多さが、システム全体のボトルネックとなっていました。
これに対応し、AWSは`BatchWriteRecord`（最大25エントリを1リクエストで複数FGをまたいで書き込み可能）と`ListRecords`（オンラインストアのレコード識別子を列挙）という新APIを追加しました。検証の結果、400レコードのベンチマークを実施したところ、API呼び出し回数は仕様通り25分の1（400回から16回）に劇的に削減されました。さらに、所要時間（レイテンシ）は従来のシリアル処理と比較して5.7倍高速（82.3%短縮）であることが実測されました。
しかし、重要な点として、呼び出し回数が減っても、オンラインストアの課金単位である消費WRU（Write Request Unit）は変わらず、課金コストの削減には直結しないことが判明しました。また、`BatchWriteRecord`への移行時には、エラー処理の挙動が大きく変わる点（例：データ型エラーの場合、リクエスト全体が失敗する）や、TTLの計算起点（書き込み時刻ではなくレコード内の`EventTime`）など、運用上の注意点が複数指摘されています。開発者は、このAPIの恩恵を最大限に受けるため、これらの技術的詳細を理解することが求められます。
背景
Feature Storeは、機械学習モデルの学習時と推論時で利用する特徴量（フィーチャー）を一元管理する仕組みです。従来、SageMakerの書き込みAPIは単一レコード単位の処理が主であり、大量のデータを効率的に書き込む際にAPI呼び出し回数が膨大になり、非効率性が課題でした。AWSはこれを解決するため、バッチ処理に特化した新APIを導入しました。
重要用語解説
- Feature Store: 機械学習の「特徴量」を一元管理するデータベース。モデルの再現性と効率的なデータ利用を可能にし、MLOpsの中核を担います。
- BatchWriteRecord: SageMaker Feature Storeに複数のレコードや複数のフィーチャーグループにわたるデータを、単一のリクエストで効率的に書き込むための新しいAPI。
- WRU: Write Request Unitの略。Feature Storeの書き込み処理における課金単位であり、書き込まれたレコードのサイズ（1KB単位）に基づいて計算されます。API呼び出し回数とは異なります。
今後の影響
本APIの導入により、データパイプラインの書き込み処理のレイテンシとスループットが劇的に改善し、MLシステム全体の開発効率が向上します。ただし、課金単位は変わらないため、コスト最適化の観点からは、単なるAPI回数削減ではなく、データ構造や処理ロジックの最適化が重要となります。開発者は、新しいエラーハンドリングやTTLの挙動を理解する必要があります。