入力が未知な線形モデルでの正則化
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2019/04/14 14:15 UTC 版)
「逆問題」の記事における「入力が未知な線形モデルでの正則化」の解説
ここでは、モデルと出力が既知で、入力が未知の問題を扱う。モデルは線形モデルである。N 個の誤差のある観測値（出力） y1, y2, … {\displaystyle \dotsc } , yN から、M 個のパラメタ（入力） x1, x2, … {\displaystyle \dotsc } , xM を推定するという問題を扱う。 観測不可能な真の値 xi と、観測値 yμ は、線形の関係がある（線形モデル）と仮定する。 y i = ∑ μ K i μ x μ + n i {\displaystyle y_{i}=\sum _{\mu }K_{i\mu }x_{\mu }+n_{i}} ここで、Kiμ は分かっているものとする。ノイズ ni は観測不可能だが、その統計的性質として平均 0 と、共分散 S i j = E ( n i n j ) {\displaystyle S_{ij}=\mathrm {E} (n_{i}n_{j})} は分かっているものとする。ここで、E() は統計平均を取る操作。 もし、観測が全て独立でその数 N が、パラメタの数 M より多ければ、最小自乗法で x の推定値を求めることができる。しかし、観測が独立でなかったりその数がパラメタの数より少ないとき、x を求める問題は劣決定となり、上記適切性のうち解の一意性が満たされない非適切な問題となる。よって、その問題に即した適当な正則化を行って、解を求める必要がある。 式で書けば、ノイズを最小にするには J = ∑ i = 1 N ∑ j = 1 N n i S i j − 1 n j {\displaystyle J=\sum _{i=1}^{N}\sum _{j=1}^{N}n_{i}S_{ij}^{-1}n_{j}} あるいは、行列表示して（上付き添字 ⊺ {\displaystyle \intercal } は転置行列を表す） J = n ⊺ S − 1 n = ( K x − y ) ⊺ S − 1 ( K x − y ) {\displaystyle J={\boldsymbol {n}}^{\intercal }{\boldsymbol {S}}^{-1}{\boldsymbol {n}}=({\boldsymbol {K}}{\boldsymbol {x}}-{\boldsymbol {y}})^{\intercal }{\boldsymbol {S}}^{-1}({\boldsymbol {K}}{\boldsymbol {x}}-{\boldsymbol {y}})} なる J を最小にする x を決める問題になるが、行列 K は行より列が多く、Kx=y の解が無数にあるという状況になる。そのため、正則化を行って解をひとつに定める。以下にいくつかの正則化の方法を紹介する。以下の議論で本質的に重要でないため、ノイズは分散 1 でそれぞれ無相関なものとする（つまりSは単位行列）。
※この「入力が未知な線形モデルでの正則化」の解説は、「逆問題」の解説の一部です。
「入力が未知な線形モデルでの正則化」を含む「逆問題」の記事については、「逆問題」の概要を参照ください。
- 入力が未知な線形モデルでの正則化のページへのリンク
