正規分布での例
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/01/01 00:46 UTC 版)
ある並び ( x 1 , … , x n ) {\displaystyle (x_{1},\dots ,x_{n})} の独立な確率変数 N ( μ , σ v 2 ) {\displaystyle N(\mu ,\sigma _{v}^{2})} があり、 μ {\displaystyle \mu } の事前分布は N ( 0 , σ m 2 ) {\displaystyle N(0,\sigma _{m}^{2})} で与えられるとする。ここで μ {\displaystyle \mu } のMAP推定値を求める。 最大化すべき関数は次のようになる。 π ( μ ) L ( μ ) = 1 2 π σ m exp ( − 1 2 ( μ σ m ) 2 ) ∏ j = 1 n 1 2 π σ v exp ( − 1 2 ( x j − μ σ v ) 2 ) {\displaystyle \pi (\mu )L(\mu )={\frac {1}{{\sqrt {2\pi }}\sigma _{m}}}\exp \left(-{\frac {1}{2}}\left({\frac {\mu }{\sigma _{m}}}\right)^{2}\right)\prod _{j=1}^{n}{\frac {1}{{\sqrt {2\pi }}\sigma _{v}}}\exp \left(-{\frac {1}{2}}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\right)} これの対数を取る。 log π ( μ ) L ( μ ) = − log 2 π σ m − 1 2 ( μ σ m ) 2 − log 2 π σ v − 1 2 ∑ j = 1 n ( x j − μ σ v ) 2 = − 1 2 { ( μ σ m ) 2 + ∑ j = 1 n ( x j − μ σ v ) 2 } − log 2 π σ m σ v {\displaystyle {\begin{aligned}\log \pi (\mu )L(\mu )&=-\log {\sqrt {2\pi }}\sigma _{m}-{\frac {1}{2}}\left({\frac {\mu }{\sigma _{m}}}\right)^{2}-\log {\sqrt {2\pi }}\sigma _{v}-{\frac {1}{2}}\sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\\&=-{\frac {1}{2}}\left\{\left({\frac {\mu }{\sigma _{m}}}\right)^{2}+\sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\right\}-\log 2\pi \sigma _{m}\sigma _{v}\end{aligned}}} これは、 μ {\displaystyle \mu } を動かし次の式を最小化することと等価である。 ∑ j = 1 n ( x j − μ σ v ) 2 + ( μ σ m ) 2 {\displaystyle \sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}+\left({\frac {\mu }{\sigma _{m}}}\right)^{2}} 従って μ {\displaystyle \mu } のMAP推定値は以下のようになる。 μ ^ MAP = σ m 2 n σ m 2 + σ v 2 ∑ j = 1 n x j {\displaystyle {\hat {\mu }}_{\text{MAP}}={\frac {\sigma _{m}^{2}}{n\sigma _{m}^{2}+\sigma _{v}^{2}}}\sum _{j=1}^{n}x_{j}} σ m → ∞ {\displaystyle \sigma _{m}\to \infty } の場合を無情報事前分布（英: non-informative prior）と呼び、この例では μ ^ MAP → μ ^ MLE = 1 n ∑ j = 1 n x j {\displaystyle {\hat {\mu }}_{\text{MAP}}\to {\hat {\mu }}_{\text{MLE}}={\frac {1}{n}}\sum _{j=1}^{n}x_{j}} である。 σ m < ∞ {\displaystyle \sigma _{m}<\infty } の場合は、 μ {\displaystyle \mu } の事前分布の付与はL2正則化と同じ式になる。
※この「正規分布での例」の解説は、「最大事後確率」の解説の一部です。
「正規分布での例」を含む「最大事後確率」の記事については、「最大事後確率」の概要を参照ください。
- 正規分布での例のページへのリンク
