統計モデル

ウィキペディア

統計モデル

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/06/02 23:09 UTC 版)

統計モデル（とうけいモデル、statistical model）は、標本データ（およびより大きな統計的母集団からの類似データ）の生成に関する一連の統計的仮定を具体化した数理モデルである。統計モデルは、データの生成過程をかなり理想化して表現していることが多い。

統計モデルは通常、1つまたは複数の確率変数と他の非確率変数との間の数学的関係として規定される。統計モデルは「理論の形式的表現」（Herman AdèrによるKenneth Bollenの引用）である。

すべての統計的仮説検定とすべての統計的推定量は、統計モデルを介して導出される。より一般的には、統計モデルは統計的推論の基礎の一部である。

導入

簡単にいうと、統計モデルとは「ある事象の確率を計算できる」という特別な特徴をもつ統計的仮定（または統計的仮定の集合）と考えることができる。例として、2つの普通のサイコロ（6面体）を考える。このサイコロについて、2つの異なる統計的仮定を検討することにする。

最初の統計的仮定：各サイコロにおいて、サイコロの各面（1、2、3、4、5、および6）が現れる確率はいずれも ${\frac {1}{6}}$ 「マルチレベルモデル」とは異なります。

第1のモデルのパラメータに制約を加えることで、第1のモデルを第2のモデルに変換できる場合、2つの統計モデルは入れ子（nested）になっている。 例えば、すべてのガウス分布の集合は、その中にゼロ平均ガウス分布の集合を入れ子にしている。 ゼロ平均分布を得るために、全てのガウス分布の集合の平均を制約する。

次の例として、2次モデル

$y=b_{0}+b_{1}x+b_{2}x^{2}+\varepsilon ,\,\varepsilon \sim N(0,\sigma ^{2})$

は、その中に線形モデルが入れ子になっている。

$y=b_{0}+b_{1}x+\varepsilon ,\,\varepsilon \sim N(0,\sigma ^{2})$

ここで、 $b_{2}=0$ となるようにパラメータ $b_{2}$ に制約を加えた。

これらの例では、最初のモデルは2番目のモデルよりも高い次元を持っている（最初の例では、ゼロ平均モデルは次元1を持つ）。これはよくあることだが、常にそうだとは限らない。次元2の正平均ガウス分布の集合は、すべてのガウス分布の集合に入れ子になっている。

モデルの比較

統計モデルを比較することは、多くの統計的推論において基本的なことである。 実際、Konishi & Kitagawa (2008)(p. 75) は「統計的推論における問題の大部分は、統計的モデリングに関連する問題であると考えることができ、それらは通常、いくつかの統計モデルの比較として定式化される」と述べている。

モデルを比較するための一般的な基準としては、R²（決定係数）、ベイズ因子、赤池情報量規準、尤度比検定とその一般化である相対尤度などがある。

条件付き確率モデル

条件付き確率モデル（英: conditional models）は条件付き確率を表現する確率モデルである。

条件付き確率モデルの確率分布は $p_{\theta }(x|y)$ で表現され、 $y$ はモデルの入力（英: input）とも呼ばれる。

様々な事象が条件付き確率モデルを用いてモデル化できる。例えば以下が挙げられる：

• 画像分類器 $p_{\theta }(class|image)$: 画像で条件付けられた（画像を入力とした）所属クラスの確率を出力
• 画像生成器 $p_{\theta }(image|class)$: クラスで条件付けられた（クラスを入力とした）画像の確率を出力

モデルの入力を分布に結びつける（parameterizeする）方法は様々存在する。例として分布にカテゴリカル分布 $Categorical(x;{\boldsymbol {p}})$ を採用し、そのパラメータ ${\boldsymbol {p}}$ を入力のニューラルネットワークによる変換で表現する条件付き確率モデルを考える。これは以下で定式化される：

$p_{\theta }(x|y)=Categorical(x;{\boldsymbol {p}}=NeuralNet_{\theta }(y))$

参考文献

• Davison, A. C. (2008), Statistical Models, Cambridge University Press
• “Algebraic statistical models”, Statistica Sinica 17: 1273–1297, (2007), http://www3.stat.sinica.edu.tw/statistica/oldpdf/A17n41.pdf 
• Freedman, D. A. (2009), Statistical Models, Cambridge University Press
• Helland, I. S. (2010), Steps Towards a Unified Basis for Scientific Models and Methods, World Scientific
• Kroese, D. P.; Chan, J. C. C. (2014), Statistical Modeling and Computation, Springer
• “To explain or to predict?”, Statistical Science 25 (3): 289–310, (2010), arXiv:1101.0891, doi:10.1214/10-STS330