多変量正規分布とは何？わかりやすく解説 Weblio辞書

ウィキペディア

索引トップ用語の索引ランキングカテゴリー

多変量正規分布

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/12/07 06:29 UTC 版)

多変量正規分布

確率密度関数

{\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right],{\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]

非退化の場合

多変量正規分布が非退化であるとは、共分散行列 ${\boldsymbol {\Sigma }}$ が正定値であることである。この場合、分布は次の形の確率密度関数を持つ^[5]。

$f_{\mathbf {X} }(x_{1},\ldots ,x_{k})={\frac {\exp \left(-{\frac {1}{2}}({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}$

ここで ${\mathbf {x} }$ は実 k 次元列ベクトルで、 $|{\boldsymbol {\Sigma }}|\equiv \det {\boldsymbol {\Sigma }}$ は ${\boldsymbol {\Sigma }}$ の行列式である。 ${\boldsymbol {\Sigma }}$ が $1\times 1$ 行列（つまり単一の実数）である場合、この式は1変量正規分布の確率密度関数に帰着する。

複素正規分布（英語版）の場合はこれとはわずかに違った形のものになる。

k+1 次元空間内の任意の「等高線」、つまり確率密度関数の値が等しくなるような点の集合は、楕円またはその高次元対応物となる。よって多変量正規分布は楕円分布（英語版）の特別な場合である。

記述統計量 ${\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}$ はマハラノビス距離として知られ、試験ベクトル ${\mathbf {x} }$ と平均ベクトル ${\boldsymbol {\mu }}$ との一種の距離を表す。 $k=1$ の場合、これは標準得点の絶対値に帰着する。

2変量の場合

2次元で非退化の場合（k = rank(Σ) = 2）、ベクトル [X Y]′（右肩のダッシュは転置を表す）の確率密度関数は、

f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2(1-\rho ^{2})}}\left[{\frac {(x-\mu _{X})^{2}}{\sigma _{X}^{2}}}+{\frac {(y-\mu _{Y})^{2}}{\sigma _{Y}^{2}}}-{\frac {2\rho (x-\mu _{X})(y-\mu _{Y})}{\sigma _{X}\sigma _{Y}}}\right]\right)

となる。ここで ρ は X と Y の相関係数であり、 $\sigma _{X}>0$ かつ $\sigma _{Y}>0$ である。このとき、

{\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}

2次元のときは、多変量正規分布であるための同値な条件として挙げた最初の方は、やや緩められる：

可算無限通りの X と Y の線型結合がどれも正規分布に従うならば、ベクトル [X Y]′ は2変量正規分布に従う^[6]。

2変数の場合の等高線を x,y-平面にプロットすると楕円になる。相関係数 ρ が大きくなっていくとき、楕円は次の直線：

y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.

の方向に向かって押しつぶされていく。この背景として、この式の sgn(ρ) （"sgn" は符号関数）を ρ に取り換えたものは、X の値が与えられたときの Y の最良線形不偏予測量（英語版）（best linear unbiased prediction）になっているという性質がある^[7]。

結合分布の正規性

正規分布と独立性

確率変数 $X$ と $Y$ が正規分布に従い、独立であるならば、これらの結合分布は結合正規分布である。つまり、対 $(X,Y)$ は2変量正規分布に従う。しかしながら、多変量正規分布に従う確率変数ベクトルの相異なる2成分は独立であるとは限らない。それらが独立であるのは無相関（ $\rho =0$ ）の場合に限られる。

正規分布に従う確率変数の対は、必ずしも2変量正規分布には従わない

2個の確率変数 $X$ と $Y$ がいずれも正規分布に従っているとしても、それらの対 $(X,Y)$ は必ずしも2変量正規分布には従わない。次のように簡単な例（反例）が構成できる。

X は標準正規分布（平均 0、分散 1）に従う。
ある定数 $c>0$ があって、 $|X|>c$ ならば $Y=X$ 、 $|X|<c$ ならば $Y=-X$

3変数以上の場合も同様に反例が構成できる。一般に、こうした確率変数の和によって混合分布モデル（英語版）が作られる。

相関と独立性

一般に、2個の確率変数が無相関であっても独立であるとは限らない。しかし、確率変数ベクトルが多変量正規分布に従っている場合、その2個以上の成分が互いに無相関であれば、それらは独立である。特に、これらが組ごとに独立（英語版）であれば、独立である。

しかしながら、すぐ上で指摘した例からわかるように、2個の確率変数が正規分布に従い、かつ無相関であるからといって、それらが独立であるとは限らない（X と Y の相関係数が 0 となるよう定数 c を選べばよい）。

周辺分布

多変量正規分布に従う確率変数ベクトルから、その中のいくつかの成分を抜き出した確率変数の組が従う周辺分布を得るには、単に平均ベクトル、分散共分散行列から無関係な成分を除けばよい。これが成り立つことは、多変量正規分布の定義と線形代数によって証明できる^[8]。

例

X = [X₁, X₂, X₃] が多変量正規分布に従うとし、平均ベクトルを μ = [μ₁, μ₂, μ₃]、分散共分散行列を Σ とする。このとき X′ = [X₁, X₃] の周辺分布は再び多変量正規分布であり、その平均ベクトルは μ′ = [μ₁, μ₃]、分散共分散行列は

{\boldsymbol {\Sigma }}'={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{13}\\{\boldsymbol {\Sigma }}_{31}&{\boldsymbol {\Sigma }}_{33}\end{bmatrix}}

である。

アフィン変換

$\mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})$ で Y = c + BX がそのアフィン変換であるとき（c は $M\times 1$ 定ベクトル、B は $M\times N$ 定行列）、Y も多変量正規分布に従い、平均ベクトルは c + Bμ、分散共分散行列は BΣB^T である（つまり $\mathbf {Y} \sim {\mathcal {N}}\left(\mathbf {c} +\mathbf {B} {\boldsymbol {\mu }},\mathbf {B} {\boldsymbol {\Sigma }}\mathbf {B} ^{\rm {T}}\right)$ ）。

特に、成分 X_i たちの任意の部分集合が従う周辺分布は再び多変量正規分布になる。例えば、部分集合 (X₁, X₂, X₄)^T を直接抜き出してくるには、行列

\mathbf {B} ={\begin{bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}

を使えばよい。

別の系として、多変量正規分布に従う X と定ベクトル b のドット積をとった Z = b · X は、1変量正規分布に従う（ $Z\sim {\mathcal {N}}\left(\mathbf {b} \cdot {\boldsymbol {\mu }},\mathbf {b} ^{\rm {T}}{\boldsymbol {\Sigma }}\mathbf {b} \right)$ ）。

\mathbf {B} ={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\end{bmatrix}}=\mathbf {b} ^{\rm {T}}

と考えればよい。Σ の正定値性（半正定値性）から、ドット積をとった確率変数の分散は正（非負）になる。

X のアフィン変換 2X は、X と同一の分布に従う2個の独立な確率変数の和とは別物である。

母数の推定

確率密度関数が

f(\mathbf {x} )={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\exp \left(-{1 \over 2}(\mathbf {x} -{\boldsymbol {\mu }})^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)

である多変量正規分布に従う大きさ n の標本から、共分散行列を推定することを考える。この場合の最尤推定量は

{\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{i=1}^{n}({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})^{\rm {T}}

であり、これは単純に標本共分散行列を計算したものである。ただし不偏推定量ではなく、期待値は

E[{\widehat {\boldsymbol {\Sigma }}}]={\frac {n-1}{n}}{\boldsymbol {\Sigma }}

となる。よって

{\widehat {\boldsymbol {\Sigma }}}={1 \over n-1}\sum _{i=1}^{n}(\mathbf {x} _{i}-{\overline {\mathbf {x} }})(\mathbf {x} _{i}-{\overline {\mathbf {x} }})^{\rm {T}}

とすれば不偏推定量になる。多変量正規分布の母数の推定において、フィッシャー情報行列は閉じた式で書け、例えばクラメール・ラオの限界の算出に用いられる。詳細はフィッシャー情報量を参照。

多変量正規分布からのサンプリング

平均ベクトル μ、分散共分散行列 Σ の N 次元正規分布に従う乱数ベクトルを生成する方法として、以下に述べるような手法が広く用いられている^[9]。

A A^T = Σ となるような実行列 A をどれか1つ見つける。Σ が正定値の場合はコレスキー分解が典型的に用いられるが、（平方根演算を避けた）拡張法は Σ が半正定値であれば必ず通用し、いずれの方法でも適当な行列 A が得られる。別の方法として、Σ のスペクトル分解 Σ = UΛU⁻¹ を用いて A = UΛ^½ としてもよい。前者は計算論的に率直な手法だが、分布の基となる確率変数の並べ替え（Σ の行・列交換）によって行列 A は異なったものに変化する。一方後者は、このような変換をしても A の成分が並べ直されるだけである。理論上はどちらの手法を使っても行列が同程度に良く求まるが、計算時間には違いが出る。
z = (z₁, …, z_N)^T を、標準正規分布に従う N 個の独立な確率変数から成るベクトルとする（このような乱数は例えばボックス＝ミュラー法によって得られる）。
x を μ + Az とする。アフィン変換の性質より、このベクトルは所望の分布に従っている。

脚注

^ ^a ^b ^c Lapidoth, Amos (2009). A Foundation in Digital Communication. Cambridge University Press. ISBN 978-0-521-19395-5
^ Gut, Allan (2009). An Intermediate Course in Probability. Springer. ISBN 978-1-441-90161-3
^ Kac, M. (1939). “On a characterization of the normal distribution”. American Journal of Mathematics 61 (3): 726–728. doi:10.2307/2371328. JSTOR 2371328.
^ Sinz, Fabian; Gerwinn, Sebastian; Bethge, Matthias (2009). “Characterization of the p-generalized normal distribution”. Journal of Multivariate Analysis 100 (5): 817–820. doi:10.1016/j.jmva.2008.07.006.
^ UIUC, Lecture 21. The Multivariate Normal Distribution, 21.5:"Finding the Density".
^ Hamedani, G. G.; Tata, M. N. (1975). “On the determination of the bivariate normal distribution from distributions of linear combinations of the variables”. The American Mathematical Monthly 82 (9): 913–915. doi:10.2307/2318494. JSTOR 2318494.
^ Wyatt, John. “Linear least mean-squared error estimation”. Lecture notes course on applied probability. 2012年1月23日閲覧。
^ 周辺分布についての正式な証明は http://fourier.eng.hmc.edu/e161/lectures/gaussianprocess/node7.html 参照。
^ Gentle, J.E. (2009). Computational Statistics. Statistics and Computing. New York: Springer. pp. 315–316. doi:10.1007/978-0-387-98144-4. ISBN 978-0-387-98143-7. http://cds.cern.ch/record/1639470

参考文献

Rencher, A.C. (1995). Methods of Multivariate Analysis. New York: Wiley
Tong, Y. L. (1990). The multivariate normal distribution. Springer Series in Statistics. New York: Springer-Verlag. doi:10.1007/978-1-4613-9655-0. ISBN 978-1-4613-9657-4

表話編歴確率分布
離散単変量で有限台	ベンフォードベルヌーイベータ二項（英語版）二項 categorical（英語版）超幾何ポワソン二項ラーデマッハ（英語版）離散一様ジップジップ–マンデルブロー（英語版）
離散単変量で無限台	ベータ負二項（英語版）ボレル（英語版）コンウェイ–マクスウェル–ポワソン（英語版）離散位相型（英語版）ドラポルト（英語版）拡張負二項（英語版）ガウス–クズミン幾何対数（英語版）負の二項放物フラクタル（英語版）ポワソンスケラム（英語版）ユール–サイモン（英語版）ゼータ（英語版）
連続単変量で有界区間に台を持つ	アークサイン（英語版） ARGUS（英語版）バルディング–ニコルス（英語版）ベイツ（英語版）ベータ beta rectangular（英語版）アーウィン–ホール（英語版）クマラスワミー（英語版）ロジット-正規（英語版）非中心ベータ（英語版） raised cosine（英語版） reciprocal（英語版）三角 U-quadratic（英語版）一様ウィグナー半円
連続単変量で半無限区間に台を持つ	ベニーニ（英語版）ベンクタンダー第一種（英語版）ベンクタンダー第二種（英語版）第2種ベータ Burr（英語版）カイ二乗カイ（英語版） Dagum（英語版）デービス（英語版）指数-対数（英語版）アーラン指数 F folded normal（英語版） Flory–Schulz（英語版）フレシェガンマ gamma/Gompertz（英語版）一般逆ガウス（英語版） Gompertz（英語版） half-logistic（英語版） half-normal（英語版） Hotelling's T-squared（英語版）超アーラン（英語版）超指数（英語版） hypoexponential（英語版）逆カイ二乗（英語版） scaled inverse chi-squared（英語版）逆ガウス逆ガンマコルモゴロフレヴィ対数コーシー対数ラプラス（英語版）対数ロジスティック（英語版）対数正規ロマックス（英語版）行列指数（英語版）マクスウェル–ボルツマンマクスウェル–ユットナー（英語版）ミッタク-レフラー（英語版）仲上（英語版）非心カイ二乗パレート位相型（英語版） poly-Weibull（英語版）レイリー relativistic Breit–Wigner（英語版）ライス（英語版） shifted Gompertz（英語版）切断正規タイプ2ガンベル（英語版）ワイブル離散ワイブル（英語版）ウィルクスのラムダ（英語版）
連続単変量で実数直線全体に台を持つ	コーシー指数冪（英語版）フィッシャーの z（英語版）ガウスの q（英語版）一般正規（英語版）一般化双曲型幾何安定（英語版）ガンベルホルツマルク（英語版）双曲線正割ジョンソンの S_U（英語版）ランダウラプラス非対称ラプラス（英語版）ロジスティック非心 t 正規 (ガウス) 正規逆ガウス（英語版）歪正規（英語版）スラッシュ安定スチューデントの t タイプ1ガンベル（英語版）トレイシー–ウィダム（英語版）分散ガンマ（英語版）フォークト
連続単変量でタイプの変わる台を持つ	一般極値一般パレート（英語版）マルチェンコ–パストゥール（英語版） q-指数（英語版） q-ガウス q-ワイブル（英語版） shifted log-logistic（英語版）トゥーキーのラムダ（英語版）
混連続-離散単変量	rectified Gaussian（英語版）
多変量 (結合)	【離散】エウェンズ（英語版）多項ディリクレ多項（英語版）負多項（英語版）【連続】ディリクレ一般ディリクレ（英語版）多変量正規多変量安定（英語版）多変量 t（英語版）正規逆ガンマ（英語版）正規ガンマ（英語版）【行列値】逆行列ガンマ（英語版）逆ウィッシャート（英語版）行列正規（英語版）行列 t（英語版）行列ガンマ（英語版）正規逆ウィッシャート（英語版）正規ウィッシャート（英語版）ウィッシャート
方向	【単変量 (円周) 方向】円周一様（英語版）単変数フォン・ミーゼス wrapped 正規（英語版） wrapped コーシー（英語版） wrapped 指数（英語版） wrapped 非対称ラプラス（英語版） wrapped レヴィ（英語版）【二変量 (球面)】ケント（英語版）【二変量 (トロイダル)】二変数フォン・ミーゼス（英語版）【多変量】フォン・ミーゼス–フィッシャー（英語版）ビンガム（英語版）
退化と特異	【退化】ディラックのデルタ関数【特異】カントール
族	円周（英語版）混合ポワソン（英語版）楕円（英語版）指数自然指数（英語版）位置尺度（英語版）最大エントロピー（英語版）混合（英語版）ピアソン（英語版）トウィーディ（英語版） wrapped（英語版）
サンプリング法（英語版）	逆関数サンプリング法マルコフ連鎖モンテカルロ法（メトロポリス・ヘイスティングス法・ギブスサンプリング・スライスサンプリング）粒子フィルタボックス＝ミュラー法棄却サンプリング（英語版）ジッグラト法（英語版）マルサグリア法（英語版）
一覧（英語版）カテゴリ

ウィキペディア小見出し辞書

索引トップ用語の索引ランキング