線型最小二乗法
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/04/11 04:02 UTC 版)
「ムーア・ペンローズ逆行列」の記事における「線型最小二乗法」の解説
擬似逆行列によって、連立一次方程式の最小二乗解が求まる。 A ∈ k m × n {\displaystyle A\in \mathbb {k} ^{m\times n}} を係数行列とする以下の連立一次方程式が与えられた場合を考える。 A x = b {\displaystyle Ax=b} 一般的に、連立方程式を解くベクトル x {\displaystyle x} が存在しないか、存在する場合は一意ではない可能性がある。擬似逆行列は、「最小二乗」問題を次のように解く。 任意の x ∈ k n {\displaystyle x\in \mathbb {k} ^{n}} について、 ‖ A x − b ‖ 2 ≥ ‖ A z − b ‖ 2 {\displaystyle \left\|Ax-b\right\|_{2}\geq \left\|Az-b\right\|_{2}} となる。ここで、 z = A + b {\displaystyle z=A^{+}b} であり、 ‖ ⋅ ‖ 2 {\displaystyle \|\cdot \|_{2}} はユークリッドノルムを表す。等号は、任意のベクトル w ∈ k n {\displaystyle w\in \mathbb {k} ^{n}} が x = A + b + ( I n − A + A ) w {\displaystyle x=A^{+}b+\left(I_{n}-A^{+}A\right)w} を満たすとき、またそのときに限って成り立つ。 A {\displaystyle A} が列フルランク（ ( I n − A + A ) {\displaystyle (I_{n}-A^{+}A)} が零行列）でない限り、これは無数の最小解を与える。 最小ユークリッドノルムの解は z {\displaystyle z} である。 ユークリッドノルムをフロベニウスノルムに置き換えると、複数右辺ベクトルを持つ連立方程式に簡単に拡張できる。 B ∈ k m × p {\displaystyle B\in \mathbb {k} ^{m\times p}} とすると、次のようになる。 任意の X ∈ k n × p {\displaystyle X\in \mathbb {k} ^{n\times p}} について、 ‖ A X − B ‖ F ≥ ‖ A Z − B ‖ F {\displaystyle \|AX-B\|_{\mathrm {F} }\geq \|AZ-B\|_{\mathrm {F} }} となる。ここで Z = A + B {\displaystyle Z=A^{+}B} であり、 ‖ ⋅ ‖ F {\displaystyle \|\cdot \|_{\mathrm {F} }} はフロベニウスノルムを表す。
※この「線型最小二乗法」の解説は、「ムーア・ペンローズ逆行列」の解説の一部です。
「線型最小二乗法」を含む「ムーア・ペンローズ逆行列」の記事については、「ムーア・ペンローズ逆行列」の概要を参照ください。
- 線型最小二乗法のページへのリンク
