出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2023/12/18 14:11 UTC 版)
具体例
ベルヌーイ分布
ベルヌーイ分布は、確率θ でもたらされる「成功」と、それ以外の場合に起きる「失敗」という2つの結果をもたらす確率変数が従う分布である(ベルヌーイ試行)。例えば、表が出る確率がθ、裏が出る確率が1 - θであるような、コインの投げ上げを考えれば良い。
n回の独立なベルヌーイ試行が含むフィッシャー情報量は、以下のようにして求められる。なお、以下の式中で、A は成功の回数、B は失敗の回数、n =A +B は試行の合計回数を示している。対数尤度関数の2階導関数は、
![{\displaystyle {\begin{aligned}{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln {f(A;\theta )}&={\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln \left[\theta ^{A}(1-\theta )^{B}{\frac {(A+B)!}{A!B!}}\right]\\&={\frac {\partial ^{2}}{\partial \theta ^{2}}}\left[A\ln(\theta )+B\ln(1-\theta )\right]\\&=-{\frac {A}{\theta ^{2}}}-{\frac {B}{(1-\theta )^{2}}}\end{aligned}}}](https://weblio.hs.llnwd.net/e7/img/dict/wkpja/https://wikimedia.org/api/rest_v1/media/math/render/svg/bbb259695a93e5999c2fc8fe679c8f79f2c98bac)
であるから、
![{\begin{aligned}{\mathcal {I}}(\theta )&=-{\mathrm {E}}\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln(f(A;\theta ))\right]\\&={\frac {n\theta }{\theta ^{2}}}+{\frac {n(1-\theta )}{(1-\theta )^{2}}}\end{aligned}}](https://weblio.hs.llnwd.net/e7/img/dict/wkpja/https://wikimedia.org/api/rest_v1/media/math/render/svg/995573eb1780f8d3a74acb53b1f32dd40abfc658)
となる。但し、Aの期待値はn θ、B の期待値はn (1-θ )であることを用いた 。
つまり、最終的な結果は、
![{\mathcal {I}}(\theta )={\frac {n}{\theta (1-\theta )}},](https://weblio.hs.llnwd.net/e7/img/dict/wkpja/https://wikimedia.org/api/rest_v1/media/math/render/svg/0dc6aa3c4cd37f2f2cf2904563c161171d95fb56)
である。これは、n回のベルヌーイ試行の成功数の平均の分散の逆数に等しい。
ガンマ分布
形状パラメータα、尺度パラメータβのガンマ分布において、フィッシャー情報行列は
![{\mathcal {I}}(\alpha ,\beta )={\begin{pmatrix}\psi '(\alpha )&{\frac {1}{\beta }}\\{\frac {1}{\beta }}&{\frac {\alpha }{\beta ^{2}}}\end{pmatrix}}](https://weblio.hs.llnwd.net/e7/img/dict/wkpja/https://wikimedia.org/api/rest_v1/media/math/render/svg/4a46328e3902a23620c71590e2f183492242a30b)
で与えられる。但し、ψ(α)はディガンマ関数を表す。
正規分布
平均μ、分散σ2の正規分布N(μ, σ2)において、フィッシャー情報行列は
![{\mathcal {I}}(\mu ,\sigma ^{2})={\begin{pmatrix}{\frac {1}{\sigma ^{2}}}&0\\0&{\frac {1}{2(\sigma ^{2})^{2}}}\end{pmatrix}}](https://weblio.hs.llnwd.net/e7/img/dict/wkpja/https://wikimedia.org/api/rest_v1/media/math/render/svg/f804e3160cd68fdef25c0efeae1ddc1f3cb32ff0)
で与えられる。
多変量正規分布
N個の変数の多変量正規分布についてのフィッシャー情報行列は、特別な形式を持つ。
![\mu (\theta )={\begin{pmatrix}\mu _{{1}}(\theta ),\mu _{{2}}(\theta ),\cdots ,\mu _{{N}}(\theta )\end{pmatrix}},](https://weblio.hs.llnwd.net/e7/img/dict/wkpja/https://wikimedia.org/api/rest_v1/media/math/render/svg/12f2f3b74be7591b4aa9e68ba74529703f4775de)
であるとし、
が
の共分散行列であるとするなら、
~
のフィッシャー情報行列、
の成分は以下の式で与えられる。
![{\mathcal {I}}_{{m,n}}={\frac {\partial \mu }{\partial \theta _{m}}}\Sigma ^{{-1}}{\frac {\partial \mu ^{\top }}{\partial \theta _{n}}}+{\frac {1}{2}}{\mathrm {tr}}\left(\Sigma ^{{-1}}{\frac {\partial \Sigma }{\partial \theta _{m}}}\Sigma ^{{-1}}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right),](https://weblio.hs.llnwd.net/e7/img/dict/wkpja/https://wikimedia.org/api/rest_v1/media/math/render/svg/7af36e19044ee0bfb2e7a2fc2f54bc7db3a6f516)
ここで、
はベクトルの転置を示す記号であり、
は、平方行列のトレースを表す記号である。また、微分は以下のように定義される。
![{\frac {\partial \mu }{\partial \theta _{m}}}={\begin{pmatrix}{\frac {\partial \mu _{1}}{\partial \theta _{m}}},&{\frac {\partial \mu _{2}}{\partial \theta _{m}}},&\cdots ,&{\frac {\partial \mu _{N}}{\partial \theta _{m}}}\end{pmatrix}}](https://weblio.hs.llnwd.net/e7/img/dict/wkpja/https://wikimedia.org/api/rest_v1/media/math/render/svg/8a6b4a86ea2e994a376c6233a8dd7b003d19de1a)
![{\frac {\partial \Sigma }{\partial \theta _{m}}}={\begin{pmatrix}{\frac {\partial \Sigma _{{1,1}}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{{1,2}}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{{1,N}}}{\partial \theta _{m}}}\\\\{\frac {\partial \Sigma _{{2,1}}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{{2,2}}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{{2,N}}}{\partial \theta _{m}}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial \Sigma _{{N,1}}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{{N,2}}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{{N,N}}}{\partial \theta _{m}}}\end{pmatrix}}.](https://weblio.hs.llnwd.net/e7/img/dict/wkpja/https://wikimedia.org/api/rest_v1/media/math/render/svg/632e7d163aec657324991987073c65a6841a3dab)