単純ベイズ確率モデル
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/03/05 20:26 UTC 版)
「単純ベイズ分類器」の記事における「単純ベイズ確率モデル」の解説
抽象的には、分類器の確率モデルは次のような依存クラス変数 C {\displaystyle C} についての条件付きモデルである。クラスは、いくつかの特徴変数 F 1 {\displaystyle F_{1}} から F n {\displaystyle F_{n}} までに依存している。 p ( C | F 1 , … , F n ) {\displaystyle p(C\vert F_{1},\dots ,F_{n})\,} 問題は、特徴数 n {\displaystyle n} が大きいとき、あるいは特徴がとりうる値の範囲が大きいとき、確率表に基づいたようなモデルは現実的でなくなることである。そこで、モデルをより扱いやすく変形する。 ベイズの定理を使えば、次のようになる。 p ( C | F 1 , … , F n ) = p ( C ) p ( F 1 , … , F n | C ) p ( F 1 , … , F n ) {\displaystyle p(C\vert F_{1},\dots ,F_{n})={\frac {p(C)\ p(F_{1},\dots ,F_{n}\vert C)}{p(F_{1},\dots ,F_{n})}}\,} この式を英語で表すと次のようになる（Posterior = 事後、Prior = 事前、Likelihood = 尤度、Evidence = 証拠）。 P o s t e r i o r = P r i o r × L i k e l i h o o d E v i d e n c e {\displaystyle Posterior={\frac {Prior\times Likelihood}{Evidence}}\,} 実際には、分母は C {\displaystyle C} に依存しておらず、分母が実質的に一定であるように F i {\displaystyle F_{i}} が与えられるため、分子だけを考慮すればよい。分子は、次のように表される同時確率モデルと等価である。 p ( C , F 1 , … , F n ) {\displaystyle p(C,F_{1},\dots ,F_{n})\,} これに条件付き確率の定義を繰り返し適用すると、次のように書き換えられる。 p ( C , F 1 , … , F n ) {\displaystyle p(C,F_{1},\dots ,F_{n})\,} = p ( C ) p ( F 1 , … , F n | C ) {\displaystyle =p(C)\ p(F_{1},\dots ,F_{n}\vert C)} = p ( C ) p ( F 1 | C ) p ( F 2 , … , F n | C , F 1 ) {\displaystyle =p(C)\ p(F_{1}\vert C)\ p(F_{2},\dots ,F_{n}\vert C,F_{1})} = p ( C ) p ( F 1 | C ) p ( F 2 | C , F 1 ) p ( F 3 , … , F n | C , F 1 , F 2 ) {\displaystyle =p(C)\ p(F_{1}\vert C)\ p(F_{2}\vert C,F_{1})\ p(F_{3},\dots ,F_{n}\vert C,F_{1},F_{2})} = p ( C ) p ( F 1 | C ) p ( F 2 | C , F 1 ) p ( F 3 | C , F 1 , F 2 ) p ( F 4 , … , F n | C , F 1 , F 2 , F 3 ) {\displaystyle =p(C)\ p(F_{1}\vert C)\ p(F_{2}\vert C,F_{1})\ p(F_{3}\vert C,F_{1},F_{2})\ p(F_{4},\dots ,F_{n}\vert C,F_{1},F_{2},F_{3})} ここで、「単純」な条件付き独立性（英語版）を仮定する。すなわち、各特徴変数 F 1 , … , F n {\displaystyle F_{1},\dots ,F_{n}} が条件付きで独立であるとする。独立性より、次の式が成り立つ。 p ( F i ∣ C , F 1 , … , F i − 1 ) = p ( F i ∣ C ) {\displaystyle p(F_{i}\mid C,F_{1},\ldots ,F_{i-1})=p(F_{i}\mid C)\,} すると、同時モデルは次のように表される。 p ( C , F 1 , … , F n ) = p ( C ) p ( F 1 | C ) p ( F 2 | C ) p ( F 3 | C ) ⋯ {\displaystyle p(C,F_{1},\dots ,F_{n})=p(C)\ p(F_{1}\vert C)\ p(F_{2}\vert C)\ p(F_{3}\vert C)\ \cdots \,} = p ( C ) ∏ i = 1 n p ( F i | C ) {\displaystyle =p(C)\prod _{i=1}^{n}p(F_{i}\vert C)\,} つまり、上述のような独立性の仮定のもとで、クラス変数 C {\displaystyle C} の条件付き分布は次のように表される。 p ( C | F 1 , … , F n ) = 1 Z p ( C ) ∏ i = 1 n p ( F i | C ) {\displaystyle p(C\vert F_{1},\dots ,F_{n})={\frac {1}{Z}}p(C)\prod _{i=1}^{n}p(F_{i}\vert C)} ここで、 Z {\displaystyle Z} は F 1 , … , F n {\displaystyle F_{1},\dots ,F_{n}} にのみ依存する係数であり、特徴変数群の値が既知であれば定数となる。 このようなモデルの方が扱いやすい。いわゆる「クラス事前確率」 p ( C ) {\displaystyle p(C)} と独立確率分布 p ( F i | C ) {\displaystyle p(F_{i}\vert C)} に分かれているからである。 k {\displaystyle k} 個のクラスがあり、 p ( F i ) {\displaystyle p(F_{i})} のモデルを r {\displaystyle r} 個のパラメータで表現できるとき、対応する単純ベイズモデルは (k − 1) + n r k 個のパラメータを持つ。二項分類では k = 2 {\displaystyle k=2} であり、 n {\displaystyle n} は予測に使われる2値の特徴の個数である。
※この「単純ベイズ確率モデル」の解説は、「単純ベイズ分類器」の解説の一部です。
「単純ベイズ確率モデル」を含む「単純ベイズ分類器」の記事については、「単純ベイズ分類器」の概要を参照ください。
- 単純ベイズ確率モデルのページへのリンク
