変数選択

統計学用語辞典

変数選択

　多くの説明変数から有用な少数個の説明変数を精選して判別式を作ることが重要になることもある。理論的基盤があるときはそれに従って説明変数を選択することが可能であるが，そうでないときには以下に示すような変数の選択法がある。

変数増加法

最初に最も判別に有効な説明変数（ 外的基準変数との相関係数が最も大きいもの ）を判別式に取り入れる。次の段階では，残りの説明変数の中で最も判別に有効な説明変数を取り入れる。判別精度の改善が一定限度以上である間，この操作を繰り返す。

変数減少法

最初に全ての説明変数を含む判別式を作る。次に，その中から最も判別に有効でない説明変数を除去する。判別精度の低下が一定限度以内である間，この操作を繰り返す。

変数増減法

変数増加法では，いったん判別式に取り込まれた説明変数は除去されることはないが，後の段階になってそれまでに取り込まれた説明変数の重要性が低くなることがある。変数増減法は各段階で変数を追加した後で除去すべき説明変数がないかをチェックする。

変数減増法

最初に全ての説明変数を含む判別式を作る。その後に続く各段階では，まず既に判別式に取り入れられている説明変数の中から最も判別に有効でない説明変数を除き，取り入れられていない説明変数の中に取り入れるべきものがないかをチェックする。

　説明変数の追加・除去の基準としては，各変数の 偏 F 値 に基づく Fin，Fout，それを有意確率に換算したPin，Pout がある。いずれも，各説明変数の判別係数の有意性検定と関連しており，後者で例えば Pin = Pout = 0.05 を指定するということは，最終的な判別式に含まれる全ての説明変数の判別係数が 0 であるという帰無仮説が有意水準 5 % で棄却されるということを意味する。

変数選択

　多重共線性を避けるように注意が必要であるほか，多くの独立変数から有用な少数個の独立変数を精選して重回帰式を作ることが重要になることもある。理論的基盤があるときはそれに従って独立変数を選択することが可能であるが，探索的に行うためには「総当たり法」や，以下に示すような変数の選択法がある。

変数増加法

最初に最も予測に有効な独立変数（ 従属変数との相関係数が最も大きいもの ）を重回帰式に取り入れる。次の段階では，残りの独立変数の中で最も予測に有効な独立変数を取り入れる。予測精度の改善が一定限度以上である間，この操作を繰り返す。

変数減少法

最初に全ての独立変数を含む重回帰式を作る。次に，その中から最も予測に有効でない独立変数を除去する。予測精度の低下が一定限度以内である間，この操作を繰り返す。

変数増減法

変数増加法では，いったん重回帰式に取り込まれた独立変数は除去されることはないが，後の段階になってそれまでに取り込まれた独立変数の重要性が低くなることがある。変数増減法は各段階で変数を追加した後で除去すべき独立変数がないかをチェックする。

変数減増法

最初に全ての独立変数を含む重回帰式を作る。その後に続く各段階では，まず既に重回帰式に取り入れられている独立変数の中から最も予測に有効でない独立変数を除き，取り入れられていない独立変数の中に取り入れるべきものがないかをチェックする。

　独立変数の追加・除去の基準としては，各変数の 偏 F 値 に基づく Fin，Fout，それを有意確率に換算したPin，Pout がある。いずれも，各独立変数の偏回帰係数の有意性検定と関連しており，後者で例えば Pin = Pout = 0.05 を指定するということは，最終的な重回帰式に含まれる全ての独立変数の偏回帰係数が 0 であるという帰無仮説が有意水準 5 % で棄却されるということを意味する。

ウィキペディア

特徴選択

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/10/01 09:16 UTC 版)

特徴選択（とくちょうせんたく、英: feature selection）とは、機械学習と統計学の用語であり、頑健な学習モデルの構築のため、特徴集合のうち意味のある部分集合だけを選択する手法のことを指す。特徴量選択、変数選択、特徴削減、属性選択、素性選択、変数部分集合選択などとも呼ばれる。生物学の文脈では、DNAマイクロアレイの実験に基づいて影響力のある遺伝子を検出する手法を指す場合もある。不要で冗長な特徴量をデータから除去することによって、特徴選択は学習モデルを次の点で改善する：