AICBICとの比較

ウィキペディア小見出し辞書

AIC・BICとの比較

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2020/05/01 14:07 UTC 版)

「最小記述長」の記事における「AIC・BICとの比較」の解説

統計的推測に基盤を置くAIC、BICが真の分布の存在を仮定するのに対し、MDLは真の分布の存在を仮定せず、あくまでデータの最短記述（規則性抽出）を考える。NMLを漸近展開しΟ (logn)までの項のみを残したものがBICと一致するため、BICはNMLの粗い近似となる。 また、ベイズ統計学における負の対数周辺尤度（ベイズ自由エネルギー）をジェフリーズ事前分布を用いて漸近展開したものがFIAと一致する。さらにサンプルサイズnに拠らない項を切り捨てるとBICになる。したがって、FIAおよびBICはNMLに漸近一致する。AICとBICがモデルの自由パラメータ数のみを複雑性として罰するのに対し、FIAとNMLはモデル式の構造に由来する複雑性をも罰することが可能である。ただし、小サンプルの下ではFIAの罰則項は正常に機能せず、常により複雑なモデルが選択されてしまう（BICおよびNMLにはこの欠点は無い）。AIC、BIC、MDLは立脚する背景が異なるため（期待対数尤度の推定、対数周辺尤度の近似、記述長の最小化）、その時々の問題意識に基づいてどれを使うかを慎重に決める必要がある。漸近理論に強く依存するAIC、BIC、FIAとは異なり、NMLは限られたサンプルに基づく現実のデータ解析において正確なモデル選択指標となる。 表 話 編 歴 統計学標本調査標本 母集団 無作為抽出 層化抽出法 記述統計学 連続データ 位置平均算術 幾何 調和 中央値分位数 順序統計量 最頻値 階級値 分散範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント分散 歪度 尖度 カテゴリデータ頻度 分割表 推計統計学 仮説検定 パラメトリックt検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック–ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリックウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他帰無仮説 対立仮説 有意 棄却 区間推定信頼区間 予測区間 モデル選択基準AIC BIC WAIC MDL その他偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法 ベイズ統計学 確率主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他ベイズ推定 ベイズ因子 相関交絡変数 ピアソンの積率相関係数 順位相関（スピアマンの順位相関係数・ケンドールの順位相関係数） モデル一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル 回帰 線形線形回帰 リッジ回帰 Lasso エラスティックネット 非線形k近傍法 回帰木 ランダムフォレスト ニューラルネットワーク サポートベクター回帰 射影追跡回帰 時系列自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化 分類 線形線形判別分析 ロジスティック回帰 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次二次判別分析 非線形k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他二項分類 多クラス分類 第一種過誤と第二種過誤 教師なし学習 クラスタリングk平均法（k-means++法） 密度推定（英語版）カーネル密度推定（カーネル） その他主成分分析 独立成分分析 自己組織化写像 統計図表棒グラフ バイプロット（英語版） 箱ひげ図 管理図 森林プロット（英語版） ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉図 バイオリン図 ドットプロット ヒートマップ 階級区分図 生存時間分析生存時間関数 カプラン＝マイヤー推定量（英語版） ログランク検定（英語版） 故障率 比例ハザードモデル 歴史統計学歴史 統計学の創始者 確率論と統計学の歩み 応用社会統計学 疫学 生物統計学 統計力学 計量経済学 機械学習 実験計画法 出版物統計学に関する学術誌一覧 重要な出版物 その他方向統計学 カテゴリ