minimum description lengthとは? わかりやすく解説

Weblio 辞書 > 辞書・百科事典 > 百科事典 > minimum description lengthの意味・解説 

最小記述長

(minimum description length から転送)

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2024/05/28 16:54 UTC 版)

最小記述長(さいしょうきじゅつちょう、: minimum description length, MDL)は、情報理論に基づくモデル選択基準である。

モデル選択とは、データに照らして何らかの意味で最適なモデル族(確率分布の集合)を検討する過程を指す。

MDLは、1978年Jorma Rissanen により導入された。MDLでは、データをモデルを用いて圧縮・送信する際の符号長の最小化を考える。これはノイズを含むデータから意味のある規則性を抽出することにあたる。

最小記述長原理に基づくモデル選択指標としてNormalized Maximum Likelihood (NML)と、その罰則項を漸近展開して得られるFisher Information Approximation (FIA)がある。

MDLは (AICと違い) 離散データを扱う情報理論に基盤を置いているので、連続値データに対し使うときは注意を要する。

AIC・BICとの比較

統計的推測に基盤を置くAICBICが真の分布の存在を仮定するのに対し、MDLは真の分布の存在を仮定せず、あくまでデータの最短記述(規則性抽出)を考える。NMLを漸近展開しΟ (logn)までの項のみを残したものがBICと一致するため、BICはNMLの粗い近似となる。

また、ベイズ統計学における負の対数周辺尤度(ベイズ自由エネルギー)をジェフリーズ事前分布を用いて漸近展開したものがFIAと一致する。さらにサンプルサイズnに拠らない項を切り捨てるとBICになる。したがって、FIAおよびBICはNMLに漸近一致する。AICとBICがモデルの自由パラメータ数のみを複雑性として罰するのに対し、FIAとNMLはモデル式の構造に由来する複雑性をも罰することが可能である。ただし、小サンプルの下ではFIAの罰則項は正常に機能せず、常により複雑なモデルが選択されてしまう(BICおよびNMLにはこの欠点は無い)。AIC、BIC、MDLは立脚する背景が異なるため(期待対数尤度の推定、対数周辺尤度の近似、記述長の最小化)、その時々の問題意識に基づいてどれを使うかを慎重に決める必要がある。漸近理論に強く依存するAIC、BIC、FIAとは異なり、NMLは限られたサンプルに基づく現実のデータ解析において正確なモデル選択指標となる。




英和和英テキスト翻訳>> Weblio翻訳
英語⇒日本語日本語⇒英語
  

辞書ショートカット

すべての辞書の索引

「minimum description length」の関連用語

minimum description lengthのお隣キーワード
検索ランキング

   

英語⇒日本語
日本語⇒英語
   



minimum description lengthのページの著作権
Weblio 辞書 情報提供元は 参加元一覧 にて確認できます。

   
ウィキペディアウィキペディア
All text is available under the terms of the GNU Free Documentation License.
この記事は、ウィキペディアの最小記述長 (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。 Weblio辞書に掲載されているウィキペディアの記事も、全てGNU Free Documentation Licenseの元に提供されております。

©2025 GRAS Group, Inc.RSS