Feature Importanceは単なる特徴量ランキングではない：4つの手法の違いと適切な活用法
本記事は、データ分析における「特徴量重要度（Feature Importance）」の利用に関する疑問を深掘りし、複数の指標が示す値の違いや限界について解説している。多くの人が過学習抑制やモデル簡素化のためにこの指標を利用するが、Split、Gain、SHAP、Permutationといった主要な4つの手法はそれぞれ異なる計算原理とデータ（学習データかバリデーションデータか）を用いるため、算出される重要度の値や順位が大きく異なることが指摘されている。例えば、Splitは「分岐に使われた回数」を、Gainは「不純度減少の平均貢献度」を見るなど、測るものが根本的に異なり、相関する特徴量が存在する場合（例：面積と部屋数）には特に順位の逆転が起こりやすい。
SHAP値はゲーム理論に基づく公平な貢献度の配分を試み、Permutation Importanceはバリデーションデータでランダムシャッフルによる精度低下度を測るなど、それぞれの特徴がある。しかし、これらの指標はいずれも「現在の学習済みモデルがその特徴量にどれだけ依存しているか」という診断的な側面しか持たず、「この特徴量が予測に不可欠かどうか」を示すものではない。したがって、重要度の順位のみに基づいて特徴量を削除すると、実際には重要なシグナルを失うリスクがある。
結論として、Feature Importanceは「どの特徴量を調べるかの出発点（目安）」として利用し、最終的な判断は「特徴量削除→再学習→バリデーション精度評価」というサイクルを通じて行うべきであると提言している。
背景
機械学習モデルの構築において、どの特徴量が予測に最も貢献しているかを把握することは重要です。しかし、単なる「重要度ランキング」は、相関性の高い特徴量やモデルの学習過程（偶然）の影響を受けやすく、誤った判断を招く可能性があります。本記事は、この指標の信頼性を多角的に検証しています。
重要用語解説
- Feature Importance: 機械学習モデルにおいて、各入力特徴量が予測結果に与える影響度を示す指標。どの特徴量を残すべきか判断する際の目安となる。
- SHAP (Shapley Value): ゲーム理論に基づき、複数の特徴量の組み合わせにおける公平な貢献度を計算する手法。個々の予測に対する説明力を持つのが特徴である。
- Permutation Importance: バリデーションデータ上で、特定の変数をランダムにシャッフルし、それによってモデルの予測精度がどれだけ低下するかを測定する指標。
今後の影響
本知見は、機械学習の実務家に対し、単一の重要度スコアに依存することの危険性を警告している。特徴量選択を行う際は、複数の手法（SHAP, Permutationなど）の結果を総合的に参照し、必ず削除後のモデル性能評価（CVやテストデータでの再検証）を経るべきという、より厳密なワークフローの確立が求められる。