統計モデル

ウィキペディア

統計モデル

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/06/02 23:09 UTC 版)

統計モデル（とうけいモデル、statistical model）は、標本データ（およびより大きな統計的母集団からの類似データ）の生成に関する一連の統計的仮定を具体化した数理モデルである。統計モデルは、データの生成過程をかなり理想化して表現していることが多い^[1]。

統計モデルは通常、1つまたは複数の確率変数と他の非確率変数との間の数学的関係として規定される。統計モデルは「理論の形式的表現」（Herman AdèrによるKenneth Bollenの引用）である^[2]。

すべての統計的仮説検定とすべての統計的推定量は、統計モデルを介して導出される。より一般的には、統計モデルは統計的推論の基礎の一部である。

導入

簡単にいうと、統計モデルとは「ある事象の確率を計算できる」という特別な特徴をもつ統計的仮定（英語版）（または統計的仮定の集合）と考えることができる。例として、2つの普通のサイコロ（6面体）を考える。このサイコロについて、2つの異なる統計的仮定を検討することにする。

最初の統計的仮定：各サイコロにおいて、サイコロの各面（1、2、3、4、5、および6）が現れる確率はいずれも ${\displaystyle {\frac {1}{6}}}$ 「マルチレベルモデル」とは異なります。

第1のモデルのパラメータに制約を加えることで、第1のモデルを第2のモデルに変換できる場合、2つの統計モデルは入れ子（nested）になっている。 例えば、すべてのガウス分布の集合は、その中にゼロ平均ガウス分布の集合を入れ子にしている。 ゼロ平均分布を得るために、全てのガウス分布の集合の平均を制約する。

次の例として、2次モデル

${\displaystyle y=b_{0}+b_{1}x+b_{2}x^{2}+\varepsilon ,\,\varepsilon \sim N(0,\sigma ^{2})}$

は、その中に線形モデルが入れ子になっている。

${\displaystyle y=b_{0}+b_{1}x+\varepsilon ,\,\varepsilon \sim N(0,\sigma ^{2})}$

ここで、${\displaystyle b_{2}=0}$ となるようにパラメータ ${\displaystyle b_{2}}$ に制約を加えた。

これらの例では、最初のモデルは2番目のモデルよりも高い次元を持っている（最初の例では、ゼロ平均モデルは次元1を持つ）。これはよくあることだが、常にそうだとは限らない。次元2の正平均ガウス分布の集合は、すべてのガウス分布の集合に入れ子になっている。

モデルの比較

「モデル選択（英語版）」も参照

統計モデルを比較することは、多くの統計的推論において基本的なことである。 実際、Konishi & Kitagawa (2008)(p. 75) は「統計的推論における問題の大部分は、統計的モデリングに関連する問題であると考えることができ、それらは通常、いくつかの統計モデルの比較として定式化される」と述べている。

モデルを比較するための一般的な基準としては、R²（決定係数）、ベイズ因子、赤池情報量規準、尤度比検定とその一般化である相対尤度（英語版）などがある。

条件付き確率モデル

条件付き確率モデル（英: conditional models）は条件付き確率を表現する確率モデルである^[7]。

条件付き確率モデルの確率分布は ${\displaystyle p_{\theta }(x|y)}$ で表現され、${\displaystyle y}$ はモデルの入力（英: input）とも呼ばれる^[8]。

様々な事象が条件付き確率モデルを用いてモデル化できる。例えば以下が挙げられる：

• 画像分類器 ${\displaystyle p_{\theta }(class|image)}$: 画像で条件付けられた（画像を入力とした）所属クラスの確率を出力
• 画像生成器 ${\displaystyle p_{\theta }(image|class)}$: クラスで条件付けられた（クラスを入力とした）画像の確率を出力

モデルの入力を分布に結びつける（parameterizeする）方法は様々存在する。例として分布にカテゴリカル分布 ${\displaystyle Categorical(x;{\boldsymbol {p}})}$ を採用し、そのパラメータ ${\displaystyle {\boldsymbol {p}}}$ を入力のニューラルネットワークによる変換で表現する条件付き確率モデルを考える。これは以下で定式化される：

${\displaystyle p_{\theta }(x|y)=Categorical(x;{\boldsymbol {p}}=NeuralNet_{\theta }(y))}$

脚注

1. ^ ^{a b c} Cox 2006
2. ^ Adèr 2008, p. 280
3. ^ ^{a b} McCullagh 2002
4. ^ Burnham & Anderson 2002, §1.2.5
5. ^ Konishi & Kitagawa 2008, §1.1
6. ^ Friendly & Meyer 2016, §11.6
7. ^ "a conditional model pθ(y|x) that approximates the underlying conditional distribution p∗(y|x)" Kingma. (2019). An Introduction to Variational Autoencoders. Foundations and Trends in Machine Learning.
8. ^ "pθ(y|x) ... x is often called the input of the model." Kingma. (2019). An Introduction to Variational Autoencoders. Foundations and Trends in Machine Learning.

参考文献

• Davison, A. C. (2008), Statistical Models, Cambridge University Press
• “Algebraic statistical models”, Statistica Sinica 17: 1273–1297, (2007), http://www3.stat.sinica.edu.tw/statistica/oldpdf/A17n41.pdf 
• Freedman, D. A. (2009), Statistical Models, Cambridge University Press
• Helland, I. S. (2010), Steps Towards a Unified Basis for Scientific Models and Methods, World Scientific
• Kroese, D. P.; Chan, J. C. C. (2014), Statistical Modeling and Computation, Springer
• “To explain or to predict?”, Statistical Science 25 (3): 289–310, (2010), arXiv:1101.0891, doi:10.1214/10-STS330 

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
記述統計学	連続データ 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック–ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	交絡変数 ピアソンの積率相関係数 順位相関（スピアマンの順位相関係数・ケンドールの順位相関係数）
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 線形回帰 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 回帰木 ランダムフォレスト ニューラルネットワーク サポートベクター回帰 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法（k-means++法） DBSCAN 密度推定（英語版） カーネル密度推定（カーネル） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉図 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存時間分析	生存時間関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ