Elastic Net
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/14 00:44 UTC 版)
「ラッソ回帰」の記事における「Elastic Net」の解説
2005 年、Zou と Hastie は、ラッソ回帰のいくつかの欠点に対処するために Elastic Net（英語版） を導入した。ラッソ回帰は、標本数が共変量の数よりも少ないとき（ n < p {\displaystyle n<p} ）、標本数（ n {\displaystyle n} 個）までしか共変量を選択できない。また、ラッソ回帰では高度に相関する共変量の組み合わせから1つしか共変量を選択しないことが多いため、共変量が強く相関しているならば、パフォーマンスがリッジ回帰に劣る場合がある。 Elastic Net は ℓ 2 {\displaystyle \ell ^{2}} による罰則項を追加することによって回帰ラッソを拡張し、下記の式を得る。 min β ∈ R p { ‖ y − X β ‖ 2 2 + λ 1 ‖ β ‖ 1 + λ 2 ‖ β ‖ 2 2 } , {\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{\left\|y-X\beta \right\|_{2}^{2}+\lambda _{1}\|\beta \|_{1}+\lambda _{2}\|\beta \|_{2}^{2}\right\},} これは次の式を解くことと同じである。 min β 0 , β { ‖ y − β 0 − X β ‖ 2 2 } subject to ( 1 − α ) ‖ β ‖ 1 + α ‖ β ‖ 2 2 ≤ t , where α = λ 2 λ 1 + λ 2 . {\displaystyle {\begin{aligned}\min _{\beta _{0},\beta }\left\{\left\|y-\beta _{0}-X\beta \right\|_{2}^{2}\right\}&{\text{ subject to }}(1-\alpha )\|\beta \|_{1}+\alpha \|\beta \|_{2}^{2}\leq t,\\&{\text{ where }}\alpha ={\frac {\lambda _{2}}{\lambda _{1}+\lambda _{2}}}.\end{aligned}}} この問題は単純なラッソ回帰の形式で記述できる min β ∗ ∈ R p { ‖ y ∗ − X ∗ β ∗ ‖ 2 2 + λ ∗ ‖ β ∗ ‖ 1 } {\displaystyle \min _{\beta ^{*}\in \mathbb {R} ^{p}}\left\{\left\|y^{*}-X^{*}\beta ^{*}\right\|_{2}^{2}+\lambda ^{*}\|\beta ^{*}\|_{1}\right\}} ただし、 X ( n + p ) × p ∗ = ( 1 + λ 2 ) − 1 / 2 ( X λ 2 1 / 2 I p × p ) {\displaystyle X_{(n+p)\times p}^{*}=(1+\lambda _{2})^{-1/2}{\binom {X}{\lambda _{2}^{1/2}I_{p\times p}}}} 、 y ( n + p ) ∗ = ( y 0 p ) , λ ∗ = λ 1 1 + λ 2 {\displaystyle y_{(n+p)}^{*}={\binom {y}{0^{p}}},\qquad \lambda ^{*}={\frac {\lambda _{1}}{\sqrt {1+\lambda _{2}}}}} 、 β ∗ = 1 + λ 2 β . {\displaystyle \beta ^{*}={\sqrt {1+\lambda _{2}}}\beta .} そして、 β ^ = β ^ ∗ 1 + λ 2 {\displaystyle {\hat {\beta }}={\frac {{\hat {\beta }}^{*}}{\sqrt {1+\lambda _{2}}}}} 、共変量が互いに直交する場合、 β ^ j = β ^ j *,OLS 1 + λ 2 max ( 0 , 1 − λ ∗ | β ^ j *,OLS | ) = β ^ j OLS 1 + λ 2 max ( 0 , 1 − λ 1 | β ^ j OLS | ) = ( 1 + λ 2 ) − 1 β ^ j lasso . {\displaystyle {\hat {\beta }}_{j}={\frac {{\hat {\beta }}_{j}^{\text{*,OLS}}}{\sqrt {1+\lambda _{2}}}}\max \left(0,1-{\frac {\lambda ^{*}}{\left|{\hat {\beta }}_{j}^{\text{*,OLS}}\right|}}\right)={\frac {{\hat {\beta }}_{j}^{\text{OLS}}}{1+\lambda _{2}}}\max \left(0,1-{\frac {\lambda _{1}}{\left|{\hat {\beta }}_{j}^{\text{OLS}}\right|}}\right)=(1+\lambda _{2})^{-1}{\hat {\beta }}_{j}^{\text{lasso}}.} Elastic Netによる罰則の結果は、ラッソ回帰およびリッジ回帰の罰則の組み合わせに相当する。 正規化パラメータ λ 1 , λ 2 {\displaystyle \lambda _{1},\lambda _{2}} は、交差検証法を用いたグリッド・サーチにより選択されることが多い。
※この「Elastic Net」の解説は、「ラッソ回帰」の解説の一部です。
「Elastic Net」を含む「ラッソ回帰」の記事については、「ラッソ回帰」の概要を参照ください。
- elastic netのページへのリンク
