特異値分解 特異値分解の概要

ウィキペディア

特異値分解

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/01/09 16:34 UTC 版)

特異値分解の図示。2次元の実ベクトル空間上のせん断写像 ${\displaystyle M={\begin{bmatrix}1&1\\0&1\end{bmatrix}}}$ による単位円の変形。M は V^* による等長変換（この図では回転）、Σ による伸縮（この図では単位円が楕円に変形されていて、その長径と短径が特異値に相当する）、U による等長変換（この図では回転）の合成に分解される。

特異値分解定理

M を階数 r の m 行 n 列の行列とする。ただし、行列の要素は体 K の元であり、K は実数体 R または複素数体 C のいずれかであるとする。このとき、

${\displaystyle M=U\Sigma V^{*}}$

という M の分解が存在する^[4][5]。 ここで U は m 行 m 列のユニタリ行列、V^* は n 行 n 列のユニタリ行列 V の随伴行列（複素共役かつ転置行列）。さらに半正定値行列 MM^*（あるいは M^*M）の正の固有値の平方根 σ₁ ≥ … ≥ σ_r > 0 が存在して、q = min(m, n), σ_r+1 = … = σ_q = 0 とおけば、m 行 n 列の行列 Σ は以下の形になる。

${\displaystyle \Sigma ={\begin{cases}{\begin{bmatrix}\Delta &O\end{bmatrix}}&(m<n)\\\Delta &(m=n)\\{\begin{bmatrix}\Delta \\O\end{bmatrix}}&(m>n)\end{cases}}\quad {\text{where }}\Delta =\operatorname {diag} (\sigma _{1},\sigma _{2},\dotsc ,\sigma _{q})}$

ここで Δ は σ₁, …, σ_q を対角成分とする q次対角行列、部分行列 O は零行列である。この分解を特異値分解、σ₁, …, σ_q を行列 M の特異値と呼ぶ^[2][3]。

入力情報を n次列ベクトル v として表し、出力として Mv が得られるモデルを考えると、行列 M の特異値分解によって得られるユニタリ行列と特異値について以下のような解釈を与えることができる。

• 行列 V の各列は、M の入力空間の正規直交基底を表す。
• 行列 U の各列は、M の出力空間の正規直交基底を表す。
• 特異値は増幅率を表し、入力成分がそれぞれ何倍されて出力されるかを表す。

Σ の対角成分の並びは自由だが、応用上は取り扱いを簡単にするため降順に並べることが多い。こうすると、U と V は一意には定まらないが、Σ は一意に定まる。

特異値、特異ベクトルと特異値分解との関係

M を K^m×n 上の行列とする。ある非負の実数 σ に対し、

${\displaystyle {\begin{aligned}Mv&=\sigma u\\M^{*}u&=\sigma v\end{aligned}}}$

という条件を満たす K^m 上の単位ベクトル u と Kⁿ 上の単位ベクトル v の組が存在するとき、実数 σ を（ベクトル u, v に対応する）行列 M の特異値 (singular value) と呼ぶ。またベクトル u, v を、それぞれ σ の左特異ベクトル (left-singular vector) と右特異ベクトル (right-singular vector) と呼ぶ。

任意の特異値分解

${\displaystyle M=U\Sigma V^{*}}$

において、Σ の対角成分は M の特異値に等しく、ユニタリ行列 U, V の列ベクトルは、それぞれ左特異ベクトル、右特異ベクトルを並べたものである。すなわち、

• m × n 行列 M は、少なくとも1つ、多くとも q = min(m, n) 個の異なる特異値を持つ。
• 常に K^m 上のユニタリ基底が存在して、それは M の左特異ベクトルから成る。
• 常に Kⁿ 上のユニタリ基底が存在して、それは M の右特異ベクトルから成る。

1つの特異値に対し、2つ以上の線形独立な右（あるいは左）特異ベクトルが存在する場合、その特異値は縮退 (degenerate) しているという。縮退のない特異値に対しては常に、左右の特異ベクトルがそれぞれ（位相 e^iθ の違いを除いて）唯一つ存在する。結果として、もし行列 M のすべての特異値が正であり縮退のない場合、特異値分解は（ユニタリ行列 U, V の各列にかかる位相 e^iθ_k の違いを除いて）唯一つに定まる。

縮退のある特異値 σ_deg に対して、左特異ベクトル u₁, u₂ の正規化された線型結合 u_c = αu₁ + βu₂ を考えると、左特異ベクトルの線型結合 u_c もまた特異値 σ_deg の左特異ベクトルとなっている。同様のことが右特異ベクトルについても成り立つ。特異値分解のユニタリ行列 V, U の特異値 σ_deg に対応する列ベクトルは、特異ベクトルの線型結合の中から自由に選ぶことができるため、結果として行列 M の分解は一意ではなくなる。

固有値分解が正方行列に対してのみ適用できるのに対し、特異値分解は任意の矩形行列に対して適用が可能である^[2][3]。また、行列 M が正定値のエルミート行列（したがって正方行列）である場合、M の固有値は実数かつ非負であり、このとき M の特異値と特異ベクトルはそれぞれ M の固有値と固有ベクトルに一致する。