超事前分布とは？わかりやすく解説

ベイズ統計学において、超事前分布またはハイパープライアー (英語: Hyperprior)とは、ハイパーパラメータ(日本語で超母数とも呼ばれる)の事前確率分布のことを指す。すなわち、事前確率に出現する母数に対する事前確率分布のことを指す。

ベイズ推定では、「ハイパー」(日本語では「超」)という接頭辞をつけることによって、データ生成に直接関わるモデルのパラメーターの事前分布と超事前分布とを区別する。超母数や超事前分布という概念は、階層ベイズモデルの文脈では頻繁に出現する。^[1]^[2]

例として、確率変数 $X$ が未知の成功確率 $p$ を母数に持つベルヌーイ分布に従うとし、一方 $p$ はベータ分布に従うとすると、

(母数 $p$ をもつ)ベルヌーイ分布は、データ $X$ の生成を記述するモデル
$p$ はモデルの母数
(母数 $\alpha ,\beta$ をもつ)ベータ分布は $p$ の事前確率分布
$\alpha ,\beta$ は事前確率分布の母数、すなわち超母数またはハイパーパラメータ
$\alpha ,\beta$ の事前分布は超事前分布またはハイパープライアー

となる。

超事前分布に対応する事後分布を超事後分布 (Hyperposterior)と呼び、これらが同じ確率分布族に属するのであれば、超事前分布は共役超事前分布（英語版）と呼ぶことができる。しかし、これは急速に非常に抽象的になり、本来のモデルから離れてしまう。

目的

超事前分布は、共役事前分布と同様に、計算上の簡単さを提供するものである。これらはベイズ推定の手順を変化させるものではなく、単に事前分布をより簡単に記述し計算できるようにするものである。

不定性

まず、超事前分布を利用することで、ハイパーパラメータの不定性をベイズ推定に埋め込むことができる。事前分布のパラメータを固定すること自体はベイズ統計を行う人物の仮定に過ぎないため、超事前分布を導入して事前分布のハイパーパラメータの変化を許容することで、この仮定の不確実性を表現することができるようになる。

混合確率分布

さらに抽象的に言えば、超事前分布を使用する場合、（データを生成するモデルの母数に関する）事前分布自体は混合確率分布（英語版）となる。すなわち、データ生成モデルの母数を $\theta$ とし、 $\theta$ の確率分布の母数(すなわちハイパーパラメータ)を $\Lambda$ としたとき、 $\theta$ の確率分布は実際には

$p(\theta )=\sum _{\Lambda }p(\theta |\Lambda )p(\Lambda )$

という形の、(異なる超母数 $\Lambda$ に関する)さまざまな事前分布の加重平均として表現される。なお、 $p(\Lambda )$ が連続確率分布の場合は

$p(\theta )=\int p(\theta |\Lambda )p(\Lambda )d\Lambda$

で表されることとなる。

パラメトリックな分布族は一般的に凸集合でない一方、混合確率分布は分布の凸結合であるため、一般的にはこの事前分布 $p(\theta )$ は $p(\theta |\Lambda )$ の属する分布族には含まれない。

具体例として、 $p(\theta |\Lambda )$ が未知の平均パラメータと $\sigma ^{2}=1$ を持つ正規分布で与えられる状況を考える。 $\Lambda$ の事前分布(超事前分布)として、それぞれ50%の確率で $\Lambda =\pm \mu (\gg 1)$ が選択されるようなものを考えると、 $p(\theta )$ は二峰性の分布となり、これは正規分布ではない。

事前分布として共役事前分布を用いる場合はさらに有用になる。共役事前分布はそれぞれ事後分布の計算が容易であり、従って混合分布の分布族も事前分布と同じ形となる(事前分布のパラメータがどう変化するかのみ知っておけばで良い)。超母数を固定した単一の事前分布を使用すると制限的過ぎることがある一方で、複数の共役事前分布の混合を使用することで、計算しやすい形式で望ましい分布を得ることができる場合がある。

力学系

超事前分布はハイパーパラメータ空間におけるハイパーパラメータの分布を記述する。共役事前分布を利用する場合、超事後分布のパラメータもまた超事前分布のハイパーパラメータ空間に存在する。データを受け取るたびに、確率分布は力学系のように時間発展する。すなわち、ハイパーパラメータ空間上の各点は、データを受け取るたびに、新しいハイパーパラメータを表す点に更新されていく。

参考文献

[脚注の使い方]

^ Ntzoufras, Ioannis (2009). “Bayesian Hierarchical Models”. Bayesian Modelling using WinBUGS. Wiley. pp. 305–340. ISBN 978-0-470-14114-4
^ McElreath, Richard (2020). “Models With Memory”. Statistical Rethinking : A Bayesian Course with Examples in R and Stan. CRC Press. ISBN 978-0-367-13991-9

[1] Ntzoufras, Ioannis (2009). “Bayesian Hierarchical Models”. Bayesian Modelling using WinBUGS. Wiley. pp. 305–340. ISBN 978-0-470-14114-4

[2] McElreath, Richard (2020). “Models With Memory”. Statistical Rethinking : A Bayesian Course with Examples in R and Stan. CRC Press. ISBN 978-0-367-13991-9

[1]

[2]

ベイズ統計学
統計学

ベイズの定理
事後確率 = 尤度×事前確率÷証拠（英語版）
背景
ベイズ推定ベイズ確率ベイズの定理確率の解釈（英語版）根源的蓋然論（英語版）ベルンシュテイン＝フォン・ミーゼスの定理（英語版）ダッチブック論証（英語版）コックスの定理（英語版）クロムウェルの差止め規則（英語版）尤度原理（英語版）等確率の原理最大エントロピー原理
モデル構築
共役事前分布（英語版）ベイズ線形回帰（英語版）階層ベイズモデル(ハイパーパラメータ・超事前分布) ベイジアンネットワーク経験ベイズ法（英語版）
近似手法
マルコフ連鎖モンテカルロ法ラプラスの近似（英語版）変分ベイズ法（英語版）近似ベイズ計算（英語版）ネステッドサンプリング（英語版）
推定量
許容決定規則（英語版）ベイズ推定量（英語版）信用区間最大事後確率推定
モデル評価
ベイズ因子シュワルツ情報量規準事後予測分布
表話編歴

超事前分布とは？ わかりやすく解説