分布、母数とも連続的な場合
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/01/01 00:45 UTC 版)
「最尤推定」の記事における「分布、母数とも連続的な場合」の解説
よく出てくる連続確率分布に、次の正規分布がある： f ( x ∣ μ , σ 2 ) = 1 2 π σ 2 e − ( x − μ ) 2 2 σ 2 {\displaystyle f(x\mid \mu ,\sigma ^{2})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}} この分布に従う n {\displaystyle n} 個の独立なランダム変数標本の密度関数は： f ( x 1 , … , x n ∣ μ , σ 2 ) = ( 1 2 π σ 2 ) n 2 e − ∑ i = 1 n ( x i − μ ) 2 2 σ 2 {\displaystyle f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{\frac {n}{2}}e^{-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}}} また計算しやすいように書き換えると： f ( x 1 , … , x n ∣ μ , σ 2 ) = ( 1 2 π σ 2 ) n 2 e − ∑ i = 1 n ( x i − x ¯ ) 2 + n ( x ¯ − μ ) 2 2 σ 2 {\displaystyle f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{\frac {n}{2}}e^{-{\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}}{2\sigma ^{2}}}}} この分布には平均 μ {\displaystyle \mu } と分散 σ 2 {\displaystyle \sigma ^{2}} の2つの母数がある。上では1つの母数に対する最大化だけを議論したが、この場合も各母数に対して尤度 L ( μ , σ ) = f ( x 1 , , … , x n ∣ μ , σ 2 ) {\displaystyle L(\mu ,\sigma )=f(x_{1},,\ldots ,x_{n}\mid \mu ,\sigma ^{2})} を最大化すればよい。上の書き方なら θ = ( μ , σ 2 ) {\displaystyle \theta =(\mu ,\sigma ^{2})} とする（このように母数が複数の場合は母数ベクトル[要曖昧さ回避]として扱う）。尤度を最大にするのは、尤度の自然対数を最大にするのと同じである（自然対数は単調増加関数であるから）。このような計算法はいろいろな分野でよく利用され、対数尤度は情報のエントロピーやフィッシャー情報と密接な関係がある。 0 = ∂ ∂ μ log ( ( 1 2 π σ 2 ) n 2 e − ∑ i = 1 n ( x i − x ¯ ) 2 + n ( x ¯ − μ ) 2 2 σ 2 ) = ∂ ∂ μ ( log ( 1 2 π σ 2 ) n 2 − ∑ i = 1 n ( x i − x ¯ ) 2 + n ( x ¯ − μ ) 2 2 σ 2 ) = 0 − − 2 n ( x ¯ − μ ) 2 σ 2 {\displaystyle {\begin{matrix}0&=&{\frac {\partial }{\partial \mu }}\log \left(\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{\frac {n}{2}}e^{-{\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}}{2\sigma ^{2}}}}\right)\\&=&{\frac {\partial }{\partial \mu }}\left(\log \left({\frac {1}{2\pi \sigma ^{2}}}\right)^{\frac {n}{2}}-{\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}}{2\sigma ^{2}}}\right)\\&=&0-{\frac {-2n({\bar {x}}-\mu )}{2\sigma ^{2}}}\\\end{matrix}}} これを解くと μ ^ = x ¯ = ∑ i = 1 n x i / n {\displaystyle {\hat {\mu }}={\bar {x}}=\sum _{i=1}^{n}x_{i}/n} となる。これはまさに関数の最大値、すなわち μ {\displaystyle \mu } の唯一の極値で、2次微分は負となる。同様に、 σ {\displaystyle \sigma } に関して微分し0とおけば尤度の最大値 σ ^ 2 = ∑ i = 1 n ( x i − μ ^ ) 2 / n {\displaystyle {\hat {\sigma }}^{2}=\sum _{i=1}^{n}(x_{i}-{\hat {\mu }})^{2}/n} が得られる。つまり、正規分布の母数 θ = ( μ , σ 2 ) {\displaystyle \theta =(\mu ,\sigma ^{2})} に対する最尤推定量は θ ^ = ( μ ^ , σ ^ 2 ) = ( x ¯ , ∑ i = 1 n ( x i − x ¯ ) 2 / n ) {\displaystyle {\hat {\theta }}=({\hat {\mu }},{\hat {\sigma }}^{2})=({\bar {x}},\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}/n)} となる。
※この「分布、母数とも連続的な場合」の解説は、「最尤推定」の解説の一部です。
「分布、母数とも連続的な場合」を含む「最尤推定」の記事については、「最尤推定」の概要を参照ください。
- 分布、母数とも連続的な場合のページへのリンク
