016_重回帰や判別を実行する際に変数選択手法の特徴を理解し、適用できる

解説

説明変数の選択方法としては、以下の3パターンが存在します。

  1. 変数指定法:理論や知識によって最適な説明変数を指定する方法
  2. 総当たり法:説明変数の全組合わせを試し、最善な説明変数を指定する方法
  3. 逐次選択法:一定の規則に従って説明変数を逐次選択していく方法

変数指定法により、最適な説明変数を指定できるのであれば、良い選択方法といえますが、一般的には、重回帰分析の結果から、影響の強そうな説明変数を見つけ出していくことが多いです。
重回帰分析に限らず多変量解析は探索的な性質の強い手法であるため、事前に最適な変数が指定できる場合は少ないです。

総当たり法は、最善な説明変数を指定できる判明、計算量が膨大であるため、そもそも計算できないで終わることもあります。説明変数選択に使用できる時間、パソコンのスペックや変数の個数などを考慮し、採用できるかどうかを検討しましょう。

他の2つの方法と比べますと、直感で指定するわけでもなければ、力任せに行う方法でもないため、逐次選択法は現実的な選択方法であるといえます。

以下に、いくつかの逐次選択法の種類を記載します。

説明変数の選択
・強制投入法(すべての変数を説明変数として重回帰式を作る)
・変数増加法(既存の重回帰式に、新たな変数を追加しては、評価していく)
・変数減少法(既存の重回帰式から、1つずつ変数を減少させて、評価していく)
・ステップワイズ法(変数増減法)→最も代表的な説明変数の選択方法で、1つずつ説明変数を、入れたり抜いたりしながら、だんだんとあてはまりのよいモデルに近づけていくやり方

ステップアップ

キーワード

  • 変数選択手法
  • 強制投入法
  • 変数減少法
  • ステップワイズ法

ソースコード

データ

http://www.macromill.com/landing/words/b002.html