生成的モデルと識別的モデル

ウィキペディア小見出し辞書

生成的モデルと識別的モデル

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2015/11/04 15:51 UTC 版)

「線形分類器」の記事における「生成的モデルと識別的モデル」の解説

線形分類器 のパラメータを決定する手法は大まかに2つに分類される。1つは条件付き確率 をモデル化したものである。そのようなアルゴリズムとして以下のものがある。 線形判別分析 (LDA) - 正規分布モデルかつ等分散性を仮定する。 単純ベイズ分類器 - 独立二項分布モデルを仮定する。 2つめは識別モデルと呼ばれるもので、訓練例の出力の品質を最大化しようとするものである。訓練コスト関数に項を追加することで、最終モデルの正則化が容易に実現できる。線形分類器の識別訓練の例として、以下のものがある。 ロジスティック回帰 - 観測された訓練例が分類器の出力に依存した二項分布モデルで生成されたものと見なし、 を最尤推定する。 パーセプトロン - 訓練例の学習時に発生した全ての誤りを正そうとするアルゴリズム 線形サポートベクターマシン - 判断超平面と訓練例との間の余白を最大化するアルゴリズム なお英語でいうと、線形判別分析（Linear Discriminant Analysis）と識別モデル（Discriminative Model）は関連がありそうだが、上のように分類されている。LDAは主成分分析（Principal Component Analysis、PCA）との対比で意味を持つ名前である。LDAは教師あり学習アルゴリズムであり、PCAは教師なし学習アルゴリズムである。 識別訓練は条件付き確率分布をモデル化する方式よりも正確であることが多い。しかし、欠落データの扱いは条件付き確率分布モデルの方が容易なことが多い。 上述の線形分類器のアルゴリズムはいずれも、カーネルトリックを使って、異なる入力空間 上の非線形アルゴリズムに変換できる。