予測精度の改善するには、大きく分けて以下の3つが知られている。
(1)データ量を増やす
(2)アルゴリズムのチューニング
(3)特徴量の増減
(3)には、以下のような方法がある。
①フィルター法:相関係数等によって、関連のある変数を投入する。
②ラッパー法(前進法・後退法)
前進法:変数を1つづ投入して予測の精度を評価
後退法:全ての変数を入れた状態から1づつ削除し、評価。
統計の回帰分析で行われる変数増加法、変数減少法に似ている。
③組込み法:モデルを用いる方法。
決定木やランダムフォレスト等が良く知られている。