正規直交共変量
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/14 00:44 UTC 版)
Lasso Estimatorのいくつかの基本的なプロパティを検討する。 まず、共変量が正規直交であると仮定すると、内積 ( ⋅ ∣ ⋅ ) {\displaystyle (\cdot \mid \cdot )} およびクロネッカーのデルタ δ i j {\displaystyle \delta _{ij}} を用いて ( x i ∣ x j ) = δ i j {\displaystyle (x_{i}\mid x_{j})=\delta _{ij}} と記載できる。これは、 X T X = I {\displaystyle X^{T}X=I} と記載しても同等である。 次に、勾配法を使用すると、 β ^ j = S N λ ( β ^ j OLS ) = β ^ j OLS max ( 0 , 1 − N λ | β ^ j OLS | ) where β ^ OLS = ( X T X ) − 1 X T y {\displaystyle {\begin{aligned}{\hat {\beta }}_{j}={}&S_{N\lambda }({\hat {\beta }}_{j}^{\text{OLS}})={\hat {\beta }}_{j}^{\text{OLS}}\max \left(0,1-{\frac {N\lambda }{|{\hat {\beta }}_{j}^{\text{OLS}}|}}\right)\\&{\text{ where }}{\hat {\beta }}^{\text{OLS}}=(X^{T}X)^{-1}X^{T}y\end{aligned}}} S α {\displaystyle S_{\alpha }} はソフトしきい値演算子と呼ばれる。これは、小さい値をゼロに設定し、値をゼロに変換する（十分に小さい場合は正確にゼロにする）ためである。ハードしきい値演算子 H α {\displaystyle H_{\alpha }} は小さい値をゼロにして大きい値を変更しない。 これは、下記の最小化を目的とするリッジ回帰と比較可能である。 min β ∈ R p { 1 N ‖ y − X β ‖ 2 2 + λ ‖ β ‖ 2 2 } {\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\|y-X\beta \|_{2}^{2}+\lambda \|\beta \|_{2}^{2}\right\}} これから β ^ j = ( 1 + N λ ) − 1 β ^ j OLS . {\displaystyle {\hat {\beta }}_{j}=(1+N\lambda )^{-1}{\hat {\beta }}_{j}^{\text{OLS}}.} したがって、リッジ回帰は、 ( 1 + N λ ) − 1 {\displaystyle (1+N\lambda )^{-1}} という一様係数で縮小することになり、係数をゼロに設定しない。 ベストサブセット選択回帰と比較することもできる。この手法では、下記の最小化を目標とする。 min β ∈ R p { 1 N ‖ y − X β ‖ 2 2 + λ ‖ β ‖ 0 } {\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{0}\right\}} ここで、 ‖ ⋅ ‖ 0 {\displaystyle \|\cdot \|_{0}} は 「 ℓ 0 {\displaystyle \ell ^{0}} ノルム」である。zの非ゼロ成分が m 個あるとき、 ‖ z ‖ = m {\displaystyle \|z\|=m} と定義する。 この場合、以下が示される。 β ^ j = H N λ ( β ^ j OLS ) = β ^ j OLS I ( | β ^ j OLS | ≥ N λ ) {\displaystyle {\hat {\beta }}_{j}=H_{\sqrt {N\lambda }}\left({\hat {\beta }}_{j}^{\text{OLS}}\right)={\hat {\beta }}_{j}^{\text{OLS}}\mathrm {I} \left(\left|{\hat {\beta }}_{j}^{\text{OLS}}\right|\geq {\sqrt {N\lambda }}\right)} ここで、 H α {\displaystyle H_{\alpha }} はいわゆるハードしきい値演算子で、 I {\displaystyle \mathrm {I} } はインジケーター関数（引数がtrueの場合は1、それ以外の場合は0）である。 従って、ラッソ回帰による推定値は、リッジ回帰とベストサブセット選択回帰の両方による推定値と似た特徴を持つ。すなわち、リッジ回帰のようにすべての係数の大きさを縮小するだけでなく、ベストサブセット選択回帰と同様に、それらの一部をゼロに設定する。 さらに、リッジ回帰はすべての係数を定数係数でスケーリングするが、ラッソ回帰は代わりに定数を用いて係数をゼロに近づけて、到達した場合は係数をゼロに設定する。
※この「正規直交共変量」の解説は、「ラッソ回帰」の解説の一部です。
「正規直交共変量」を含む「ラッソ回帰」の記事については、「ラッソ回帰」の概要を参照ください。
- 正規直交共変量のページへのリンク
