データベースは本当に必要か？ファイルシステムとデータストアの比較検証
本記事は、「データベースは本当に必要か？」という問いに対し、アプリケーションの規模やユースケースに基づいて考察した技術的なベンチマークレポートである。筆者は、データベースも本質的にはファイルシステムへの読み書きを行うだけであり、そもそも「ファイルを使うか、データベースのファイルを使うか」という問題に帰着すると指摘する。検証のため、Go、Bun、Rustといった複数の言語と、フラットファイル（JSONL形式）を用いた3つのストレージ戦略（線形スキャン、メモリ内ハッシュマップ、ディスク上のバイナリサーチ）を比較した。さらに、SQLite（Go実装）も比較対象とした。
ベンチマークの結果、レコード数100万件のデータセットに対し、メモリ内ハッシュマップが最も高い処理能力（Rustで169,106 req/s）を示し、次にディスク上のバイナリサーチ（Goで38,866 req/s）が続いた。一方、線形スキャンはデータ量増加に伴い性能が急激に低下する（Goの場合、100万件で23 req/s）。SQLiteはデータ量に関わらず安定した性能（25,085 req/s）を維持した。
さらに、これらの性能を日次アクティブユーザー数（DAU）に換算した結果、線形スキャンはわずか280万DAUで限界に達するのに対し、バイナリサーチは1.4億DAU、SQLiteは9000万DAU、メモリ内マップは最大6億DAU（Rust）まで対応可能であることが示された。筆者は、ほとんどのSaaSやコンシューマーアプリのピーク負荷はこれらのベンチマークの遥か下回るため、「現時点ではデータベースは必須ではない」という結論を導き出し、データがRAMに収まらない場合や、複雑なSQLクエリが必要な場合に初めてデータベースの利用を検討すべきだと提言している。
背景
本記事は、アプリケーション開発におけるデータ永続化層の選択肢（フラットファイル、インメモリマップ、データベース）の性能比較を目的としている。従来の常識としてデータベースが必須とされてきたが、本検証は、実際のアプリケーションの負荷が想定より低いケースが多いことをデータに基づいて示し、開発者に適切な技術選定の指針を提供している。
重要用語解説
- フラットファイル: 構造化されていない、または単純な形式（例：JSONL）でデータが単一のファイルに格納されたもの。データベースを経由しない最もシンプルなデータ保存方法。
- 線形スキャン: データファイル全体を最初から最後まで順番に読み込み、目的のデータを探し出す処理。データ量に比例して処理時間がかかる（O(n)）。
- バイナリサーチ: ソートされたデータファイルに対し、二分探索アルゴリズムを用いて目的のデータが格納されている場所を効率的に特定する手法（O(log n)）。
- B-tree: データベースが内部的に使用する、キーと値のペアを効率的に格納・検索するためのデータ構造。データ量が増えても検索速度が安定する。
- 影響: 本検証結果は、小規模から中規模のアプリケーションにおいて、過剰なデータベースの導入を抑制し、より軽量で高速なストレージ（例：メモリ内マップ、バイナリサーチ）を採用する判断材料を提供する。これにより、開発の迅速化とパフォーマンスの最適化が期待される。ただし、複雑なトランザクションやデータ整合性が求められる場合は、依然として本格的なデータベースが必要となる。