パラメータ推定
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/20 14:15 UTC 版)
線形予測法における予測係数 a i {\displaystyle a_{i}} には様々な推定方法が存在する。 最適化においてパラメータ a i {\displaystyle a_{i}} の典型的な選択法は、二乗平均平方根基準であり、これを自己相関基準とも呼ぶ。これは、以下の式で得られる二乗誤差 E[e2(n)] の期待値を最小化する手法である。 ∑ i = 1 p a i R ( i − j ) = − R ( j ) {\displaystyle \sum _{i=1}^{p}a_{i}R(i-j)=-R(j)} ここで 1 ≤ j ≤ p であり、R は信号 xn の自己相関であり、次のように定義される。 R ( i ) = E { x ( n ) x ( n − i ) } {\displaystyle \ R(i)=E\{x(n)x(n-i)\}\,} ここで E は期待値である。多次元の場合、これはL2ノルムを最小化することに対応する。 上の式を正規方程式または Yule-Walker 方程式と呼ぶ。行列形式でこの方程式を表すと、次のようになる。 R a = − r , {\displaystyle Ra=-r,\,} ここで、自己相関行列 R は対称なテプリッツ行列であり、その要素は ri,j = R(i − j) である。また、ベクトル r は自己相関ベクトル rj = R(j) であり、ベクトル a は係数ベクトルである。 より汎用的な形式として、次を最小化する方式もある。 e ( n ) = x ( n ) − x ^ ( n ) = x ( n ) + ∑ i = 1 p a i x ( n − i ) = ∑ i = 0 p a i x ( n − i ) {\displaystyle e(n)=x(n)-{\widehat {x}}(n)=x(n)+\sum _{i=1}^{p}a_{i}x(n-i)=\sum _{i=0}^{p}a_{i}x(n-i)} ここで、係数 a i {\displaystyle a_{i}} について a 0 = 1 {\displaystyle a_{0}=1} とし、自明な解を防ぐのが一般的である。これにより上述と同じになるが、正規方程式は以下のようになる。 R a = [ 1 , 0 , . . . , 0 ] T {\displaystyle \ Ra=[1,0,...,0]^{\mathrm {T} }} ここで、インテックス i の範囲は 0 から p、R は (p + 1) 行 (p + 1) 列の行列である。 パラメータの最適化は大きな問題であり、他にも様々な手法が提案されている。 その中でも自己相関手法が最もよく使われており、例えばGSMでの音声符号化に使われている。 行列方程式 Ra = r の解の計算は、比較的時間のかかる処理である。ガウスの消去法を使った解法が最も古くからあるが、R と r の対称性をうまく利用していない。より高速なアルゴリズムとして、1947年に Norman Levinson が考案したレビンソン再帰という再帰的解法がある。その後、Philippe Delsarte らが、これを改良した分割レビンソン再帰というアルゴリズムを発表した。これは、乗除算回数を約半分にしたもので、パラメータベクトルの特殊な対称性をそれぞれの再帰で利用する。
※この「パラメータ推定」の解説は、「線形予測法」の解説の一部です。
「パラメータ推定」を含む「線形予測法」の記事については、「線形予測法」の概要を参照ください。
パラメータ推定
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/03/05 20:26 UTC 版)
全てのモデルパラメータ（すなわち、クラス事前確率と特徴確率分布）は、訓練例の集合から相対度数によって見積もることができる。それらは確率の最尤推定量である。離散的でない特徴の場合、離散化を事前に行う必要がある。離散化には教師なし（場当たり的な手法）と教師あり（訓練データに基づいた手法）の手法がある。 あるクラスとある特徴値の組合せが訓練例では出現しない場合、度数に基づいた確率推定はゼロとなる。これを乗算に用いると積がゼロになってしまうという問題が生じる。これを防ぐため、確率値の推定をわずかに修正してどの組合せの確率値もゼロにならないようにすることが行われる（擬似カウント（英語版））。
※この「パラメータ推定」の解説は、「単純ベイズ分類器」の解説の一部です。
「パラメータ推定」を含む「単純ベイズ分類器」の記事については、「単純ベイズ分類器」の概要を参照ください。
- パラメータ推定のページへのリンク
