正則化

デジタル大辞泉

せいそく‐か〔‐クワ〕【正則化】

読み方：せいそくか

１ 統計学で、あるデータに統計モデルを適用させる際に過剰適合が起こらないようにすること。統計モデルの関数に正則化項という関数の複雑さを表す項を付与し、誤差の総和とともに正則化項の値を最小化することで、より適切な統計モデルが得られる。

２ ディープラーニングなどの機械学習における過学習を防ぐこと。ドロップアウトという手法が知られる。

日本語活用形辞書

正則化

読み方：せいそくか

名詞「正則」に、接尾辞「化」がついたもの。

» 「正則」の意味を調べる

日本語活用形辞書はプログラムで機械的に活用形や説明を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。 お問い合わせ。

ウィキペディア

正則化

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/10/13 16:41 UTC 版)

数学・統計学・計算機科学において、特に機械学習と逆問題において、正則化（せいそくか、英: regularization）とは、不良設定問題を解いたり過学習を防いだりするために、情報を追加する手法である。モデルの複雑さに罰則を科すために導入され、なめらかでないことに罰則をかけたり、パラメータのノルムの大きさに罰則をかけたりする。

正則化の理論的正当化はオッカムの剃刀にある。ベイジアンの観点では、多くの正則化の手法は、モデルのパラメータの事前情報にあたる。

統計および機械学習における正則化

統計および機械学習において、正則化はモデルのパラメータの学習に使われ、特に過学習を防ぎ、汎化能力を高めるために使われる。

機械学習において最も一般的なのは L1 正則化 (p=1) と L2 正則化 (p=2) である。損失関数 $E({\boldsymbol {w}})$ の代わりに、

$E({\boldsymbol {w}})+\lambda {\frac {1}{p}}\|{\boldsymbol {w}}\|_{p}^{p}=E({\boldsymbol {w}})+\lambda {\frac {1}{p}}\sum _{i}|w_{i}|^{p}$

を使用する。 ${\boldsymbol {w}}$ はパラメータのベクトルで、 $\|\cdot \|_{p}$ は L1 ノルム (p=1) や L2 ノルム (p=2) などである。 $\lambda$ はハイパーパラメータで、正の定数で、大きくするほど正則化の効果が強くなるが、交差確認などで決める。

損失関数をパラメータで偏微分すると、

L2 正則化の場合

${\frac {\partial E({\boldsymbol {w}})}{\partial w_{i}}}+\lambda w_{i}$

L1 正則化の場合

${\frac {\partial E({\boldsymbol {w}})}{\partial w_{i}}}+\lambda \operatorname {sgn}(w_{i})$

となり、これは、最急降下法や確率的勾配降下法を使用する場合は、L2 正則化はパラメータの大きさに比例した分だけ、L1 正則化は $\lambda$ だけ 0 に近づけることを意味する。

この手法は様々なモデルで利用できる。線形回帰モデルに利用した場合は、L1 の場合はラッソ回帰、L2 の場合はリッジ回帰と呼ぶ。ロジスティック回帰、ニューラルネットワーク、サポートベクターマシン、条件付き確率場 などでも使われる。ニューラルネットワークの世界では、L2 正則化は荷重減衰（英: weight decay）とも呼ばれる。

L1 正則化

L1 正則化を使用すると、いくつかのパラメータを 0 にすることができる。つまり、特徴選択を行っていることになり、スパースモデルになる。0 が多いと疎行列で表現でき、高速に計算できる。しかし、L1 ノルムは評価関数に絶対値を含むため、非連続で微分不可能な点が存在する。勾配法を利用した最適化問題のアルゴリズムによっては変更が必要な場合がある。

損失関数が二乗和誤差の場合、L1 正則化は、パラメータの絶対値が λ 以下なら 0にし、そうで無いなら λ だけ 0 に近づけるのと等価である。損失関数をパラメータで偏微分することで確認できる。よって、小さな値のパラメータが 0 になる。

機械学習の手法において、データが平均0分散1に正規化されていないと上手く動作しないものが多いが、L1 正則化において全てのパラメータで同じように λ ずつ減らすということは、同じようなスケーリングでなければならず、平均0分散1に正規化されていないと上手く働かない。

L0 正則化

L0 正則化 とは 0 では無いパラメータの数で正則化する方法のこと。ただし、組み合わせ最適化問題になるため、計算コストが非常に高いという問題がある。パラメータ数が多い場合は貪欲法を利用し、近似解を得る。線形モデルであれば残すパラメータを決めるのに一般化交差確認が利用できる。

情報量規準

事前確率を使用するベイジアン学習法では、複雑なモデルにより小さな確率を割り振ることができる。よく使われるモデル選択手法としては、赤池情報量規準（AIC）、最小記述長（MDL）、ベイズ情報量規準（BIC）などがある。

線形モデルでの手法

下記は一般化線形モデルで使用される正則化の手法の一覧である。

モデル	適合尺度	エントロピー尺度
赤池情報量規準/ベイズ情報量規準	$\|Y-X\beta \|_{2}$	$\|\beta \|_{0}$
リッジ回帰	$\|Y-X\beta \|_{2}$	$\|\beta \|_{2}$
ラッソ回帰	$\|Y-X\beta \|_{2}$	$\|\beta \|_{1}$
エラスティックネット	$\|Y-X\beta \|_{2}$	$\lambda _{1}\|\beta \|_{1}+\lambda _{2}\|\beta \|_{2}$
基底追跡ノイズ除去	$\|Y-X\beta \|_{2}$	$\lambda \|\beta \|_{1}$
Rudin-Osher-Fatemi モデル (TV)	$\|Y-X\beta \|_{2}$	$\lambda \|\nabla \beta \|_{1}$
Potts モデル	$\|Y-X\beta \|_{2}$	$\lambda \|\nabla \beta \|_{0}$
RLAD	$\|Y-X\beta \|_{1}$	$\|\beta \|_{1}$
Dantzig 選択器	$\|X^{\top }(Y-X\beta )\|_{\infty }$	$\|\beta \|_{1}$
SLOPE	$\|Y-X\beta \|_{2}$	$\sum _{i=1}^{p}\lambda _{i}|\beta |_{(i)}$

逆問題における正則化

1943年に Andrey Nikolayevich Tikhonov が、L2 正則化をより一般化した Tikhonov 正則化を逆問題に対する手法として発表した。詳細は逆問題を参照。

関連項目

• 逆問題
• オッカムの剃刀
• 過剰適合

ウィキペディア小見出し辞書

正則化

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2019/12/01 22:34 UTC 版)

「過剰適合」の記事における「正則化」の解説

詳細は「正則化」を参照 機械学習や統計学において、媒介変数を減らすのではなく、誤差関数に正則化項を追加して、モデルの複雑度・自由度に抑制を加え、過学習を防ぐ方法がある。L2 正則化や L1 正則化などがある。 サポートベクターマシンにおいては、媒介変数（パラメータ）を減らすのではなく、マージンを最大化することにより、過学習を防いでいて、これも、L2 正則化と同じような手法に基づいている。