特異値分解
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/01/11 09:02 UTC 版)
主成分変換は行列の特異値分解とも結び付けられる。行列 X の特異値分解は以下の形式で与えられる。 X = U Σ W T . {\displaystyle \mathbf {X} =\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{\mathrm {T} }.} ここで、Σ は n × p の矩形対角行列であり、対角成分 σk が正の行列である。Σ の対角成分を行列 X の特異値という。U は n × n の正方行列であり、各列が互いに直交する n 次元の単位ベクトルとなる行列（つまり直交行列）である。各々の単位ベクトルは行列 X の左特異ベクトルと呼ばれる。同様に W は、各列が互いに直交する p 次元の単位ベクトルとなる p × p の正方行列である。こちらの単位ベクトルは行列 X の右特異ベクトルと呼ばれる。 X の特異値分解に基づいて XTX を表わせば、以下のようになる。 X T X = W Σ U T U Σ W T = W Σ 2 W T {\displaystyle {\begin{aligned}\mathbf {X} ^{\mathrm {T} }\mathbf {X} &=\mathbf {W} \mathbf {\Sigma } \mathbf {U} ^{\mathrm {T} }\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{\mathrm {T} }\\&=\mathbf {W} \mathbf {\Sigma } ^{2}\mathbf {W} ^{\mathrm {T} }\end{aligned}}} 前節で示した XTX の固有値分解と見比べると、X の右特異ベクトルの組 W はまた XTX の固有ベクトルの組でもあり、X の特異値 σk は XTX の固有値 λk の平方根に等しいことが分かる。 特異値分解を主成分得点行列 T に対して行うと、以下のような分解が得られる。 T = X W = U Σ W T W = U Σ . {\displaystyle {\begin{aligned}\mathbf {T} &=\mathbf {X} \mathbf {W} \\&=\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{\mathrm {T} }\mathbf {W} \\&=\mathbf {U} \mathbf {\Sigma } .\end{aligned}}} T の各列は X の左特異ベクトルに対応する特異値をかけたものとして表わされることが分かる。この結果は T の極分解（英語版）によっても得られる。 主成分分析の実装として、X の特異値分解のアルゴリズムがしばしば利用される。 n × L に次元削減された主成分得点行列 TL は、固有値分解の場合と同様に、寄与の大きい最初の L 個の特異値とそれに対応する左特異ベクトルだけを残すことによっても得られる： T L = U L Σ L = X W L . {\displaystyle \mathbf {T} _{L}=\mathbf {U} _{L}\mathbf {\Sigma } _{L}=\mathbf {X} \mathbf {W} _{L}.} 特異値分解から寄与の小さな特異値を除いて TL を作るということは、元の行列とのフロベニウスノルムで測った差を最小化するような階数 L の行列を選ぶことに相当する。この結果はエッカート・ヤング定理として知られる。
※この「特異値分解」の解説は、「主成分分析」の解説の一部です。
「特異値分解」を含む「主成分分析」の記事については、「主成分分析」の概要を参照ください。
特異値分解（SVD）
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/04/11 04:02 UTC 版)
「ムーア・ペンローズ逆行列」の記事における「特異値分解（SVD）」の解説
計算上単純で正確な擬似逆行列を計算する方法は、特異値分解である。 A = U Σ V ∗ {\displaystyle A=U\Sigma V^{*}} を A {\displaystyle A} の特異値分解とすると、 A + = V Σ + U ∗ {\displaystyle A^{+}=V\Sigma ^{+}U^{*}} となる。 Σ {\displaystyle \Sigma } のような長方対角行列の場合、対角成分の各非ゼロ要素は逆数を取り、ゼロをそのままにして、行列を転置することにより、擬似逆行列が得られる。数値計算では、許容誤差よりも大きい要素のみが非ゼロと見なされ、他の要素はゼロに置き換えられる。たとえば、 MATLABやGNUOctaveの.mw-parser-output .monospaced{font-family:monospace,monospace}pinv関数の場合、許容誤差は t = ε⋅max(m, n)⋅max(Σ) で与えられる。ここで、εは計算機イプシロンである。 この方法の計算コストは、SVDの計算コストが支配的である。これは、最先端の実装（LAPACKなど）が使用されている場合でも、行列同士の乗算よりも数倍重い。 上記の手順は、擬似逆行列の計算が連続演算ではない理由を示している。元の行列 A {\displaystyle A} が特異値0（上記行列 Σ {\displaystyle \Sigma } の対角成分）を持つ場合、 A {\displaystyle A} のわずかな変更によってこのゼロが小さな正の数に変わる可能性があり、それによって、小さな数の逆数を求める必要が生じ、擬似逆行列に大きな影響を与えうる。
※この「特異値分解（SVD）」の解説は、「ムーア・ペンローズ逆行列」の解説の一部です。
「特異値分解（SVD）」を含む「ムーア・ペンローズ逆行列」の記事については、「ムーア・ペンローズ逆行列」の概要を参照ください。
Weblioに収録されているすべての辞書から特異値分解を検索する場合は、下記のリンクをクリックしてください。
全ての辞書から特異値分解
を検索
- 特異値分解のページへのリンク
