statepipyの日記

興味のある分野(統計、疫学、機械学習、品質管理、手料理)と、PCスキルの維持を目的に書き続けます!

予測精度の改善(特に、特徴量の選択について)

予測精度の改善するには、大きく分けて以下の3つが知られている。
(1)データ量を増やす
(2)アルゴリズムのチューニング
(3)特徴量の増減

(3)には、以下のような方法がある。
    ①フィルター法:相関係数等によって、関連のある変数を投入する。
    ②ラッパー法(前進法・後退法)
      前進法:変数を1つづ投入して予測の精度を評価
      後退法:全ての変数を入れた状態から1づつ削除し、評価。
      統計の回帰分析で行われる変数増加法、変数減少法に似ている。
    ③組込み法:モデルを用いる方法。
          決定木やランダムフォレスト等が良く知られている。