ベイジアンフィルタ
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/04/12 08:09 UTC 版)
| 機械学習および データマイニング |
|---|
 |
ベイジアンフィルタ (英: Bayesian filter, naive Bayes spam filtering) は単純ベイズ分類器を応用し、対象となるデータを解析・学習し分類する為のフィルタ。学習量が増えるとフィルタの分類精度が上昇するという特徴をもつ。個々の判定を間違えた場合には、ユーザが正しい内容に判定し直すことで再学習を行う[1]。
現状ではスパムメール（いわゆる迷惑メール）を振り分ける機能を持つソフトウェア（フィルタリングソフト）で、スパムフィルターでのスパム判定に利用されることが多い[1]。最近ではWeblogのトラックバック用フィルタ（トラックバックスパム対策）にも利用されるようになるなど、その利用範囲は徐々に広がりつつある。
概要
ベイジアンフィルタでは、初期状態である程度までの振り分けができるように設定されている。振り分け対象となるデータ（迷惑メールなど）の学習量が増えると振り分ける精度（分類精度）が高くなるといった特徴を持つ。個々の判定を間違えた場合にはユーザが判定し直すことで再学習を行う必要があるが、振分け精度が上がると再学習の頻度は少なくなる。
従来型のキーワード指定によるフィルタとは異なり、対象データの内容をフィルタが学習して自動的に分類する為、ユーザーが煩雑なキーワード指定を行う必要が無い。そのため適切なキーワード指定ができない初心者に向いている。
また、個々の迷惑メールの内容が変化した場合にも統計的に解析するため、大量の迷惑メールを受信する場合などにも向いている。
補足用機能として、特定のキーワードやアドレスのメールはフィルタに優先して受け付けるなどの機能を有するものもある。
登場の経緯
従来のフィルタリングソフト（あるいは電子メールクライアントに組み込まれたフィルタリング機能）では、受信を拒否するアドレスや、受信した電子メールに記載された題名や本文に含まれる特定の単語（例えば「広告」「SEX」「交際」などといったキーワード）を一つ一つ設定する必要があるため、使用するためには煩雑な初期設定（条件設定）が必要であった。また、登録したキーワードの一文字を伏字（例えば "s*x"）にしたようなケースではフィルターを潜り抜けてしまうなど、キーワードやメールアドレスが可変的に付けられている迷惑メールに対してはほとんど無力であった。
このような問題に対応するため、迷惑メールの特徴を確率統計的な手法を用いて分析し、分類に利用する方法として登場したのがベイジアンフィルタである。ベイジアンフィルタでは妙な伏字を多用したメールはスパムメールの顕著な特徴であるため、下手な工作はかえってベイジアンフィルタによって排除されやすくなる。
ベイジアンフィルタは2002年にポール・グレアムが発表した論文“A Plan for Spam”が元になって開発された[2][3][1]。さらに改良されたアルゴリズムは“Better Bayesian Filtering”に発表されている[4][5]。
日本語環境特有の問題
ベイジアンフィルタの解析は、単語単位でその数値を計算する。そのため、フィルタでデータを解析する前に、対象となる文章を単語単位に分解しておく必要がある。英語を含む多くの言語では、単語は普通空白によってあらかじめわかち書きされるため、単語単位に分解し直す必要はない。しかし、日本語のように単語を区切るための印がない言語の場合、そのままフィルタで解析を行っても、適切な解析結果が得られない。したがって、日本語の文章を適切な形に分解してから、ベイジアンフィルタに解析させる必要がある。
このように、言語の種類によって単語単位に分解する方法が異なるため、分解する方法の違いによってフィルタ精度が変化してしまう。
このような問題に対応するため、日本語に対応するベイジアンフィルタでは、形態素解析などの自然言語処理が追加されていることがある。
もうひとつの問題として、日本語のメールにおける文字コードの問題もある。通常日本語でのメールであれば、ISO-2022-JP文字コードを使うのが一般的である。しかし、MIMEによる文字コード指定 (charset) が適切であれば、別の文字コードで送ることも原理上可能である。そのため、MIME charsetを見て、文字コードを認識しないといけない。
さらに、日本語のspam（迷惑メール）では、ベイジアンフィルタ等をすりぬけるためか、MIMEによるキャラクタセットと実際の文字コードをわざと違うものにする（MIMEではISO-2022-JPと指定しておきながら、実際はShiftJIS等）こともある。そのため、本文のコードから文字コードを推定することも求められてしまう。この問題は、メールの送受信を行うソフトウェアが文字コードに関して寛容になりすぎていることも原因の一端であろう。
採用している主なソフト
クライアントPC上で動くスパムフィルタ
- POPFile
- Proxy型のベイジアンフィルタ。
- Shuriken
- ジャストシステムの電子メールクライアント。ベイジアンフィルタの機能はShuriken Pro4/R.2より搭載。
- Mozilla Application Suite
- ウェブブラウザ、電子メールクライアント機能などをもつ統合ソフト。
- SeaMonkey
- Mozilla Application Suiteの後継ソフト。
- Mozilla Thunderbird
- Mozillaの内蔵メール機能、およびスパムフィルタ機能を抜き出した単体電子メールクライアント。
- Eudora
- 電子メールクライアント。学習型のスパムフィルタはバージョン6.2Jより搭載。
- Becky!2（電子メールクライアント）専用のスパムフィルタ
- BkASPil for Becky!2
- Becky! メールセキュリティ
- SpamSieve
- macOS用。
- JunkMatcher
- macOSの電子メールクライアントメール用。
受信サーバ上で動くスパムフィルタ
- bsfilter
- Rubyで書かれたベイジアンフィルタ。
- bogofilter
- SpamAssassin
- CRM114
- SPAMBlock
- 設定によりベイジアンフィルタを有効にできる。
- sbcayes
- メールフィルタリングツールscmailに同梱されている。
その他
Web上に「ベイジアンフィルタを使っている」との情報があるが、メーカーサイトの公式情報にはその記述が無いもの
脚注
- ^ a b c Russell Kay (2005年2月7日). “スパム対策に欠かせないベイズ理論とは？ (1/2)”. ITmediaエンタープライズ (ITmedia) 2016年5月14日閲覧。
- ^ (Graham 2002)
- ^ (グレアム 2005)
- ^ (Graham 2003a)
- ^ (グラハム 2003a)
- ^ 青木大我 (2004年4月13日). “米NAI、「McAfee SpamKiller」にベイジアンフィルタリングを採用”. INTERNET Watch (インプレス) 2016年5月14日閲覧。
参考文献
- Graham, Paul (August 2002) (英語), A Plan for Spam 2016年5月14日閲覧。
- ポール・グレアム; Shiro Kawai (2005年2月8日). “スパムへの対策 ---A Plan for Spam”. Practical Scheme. 2011年7月24日時点のオリジナルよりアーカイブ。2016年5月14日閲覧。
- Graham, Paul (January 2003) (英語), Better Bayesian Filtering 2016年5月14日閲覧。
- ポール・グレアム; Shiro Kawai (2003年8月15日). “ベイジアンフィルタの改善 --- Better Bayesian Filtering”. Practical Scheme. 2011年7月24日時点のオリジナルよりアーカイブ。2016年5月14日閲覧。
- Graham, Paul (August 2003) (英語), Filters That Fight Back 2016年5月14日閲覧。
- ポール・グレアム; Shiro Kawai (2003年8月11日). “反撃するフィルタ --- Filters That Fight Back”. 2011年10月18日時点のオリジナルよりアーカイブ。2016年5月14日閲覧。
- Graham, Paul (May 2004), Hackers and Painters: Big Ideas from Computer Age, O'Reilly Media, ISBN 978-0-596-00662-4
- Paul Graham 『ハッカーと画家 コンピュータ時代の創造者たち』川合史朗 監訳、オーム社、2005年1月。ISBN 4-274-06597-9。
関連項目
外部リンク
ベイジアンフィルタ
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/03/25 04:23 UTC 版)
「SpamAssassin」の記事における「ベイジアンフィルタ」の解説
SpamAssassinは自前の規則群をベイジアンフィルタで補強しようとするが、ベイズ学習は実際の入力を伴ったとき最も効果を発揮する。通常ユーザーは、スパムメールの具体例と普通のメールの具体例を入力する必要があり、それによって両者の違いを学習させる。このため、SpamAssassinにはコマンド行ツール sa-learn があり、1つのメールやメールボックス丸ごとをスパムまたは普通のメールとして学習させることができる。 一般にユーザーはスパムと認識されなかったスパムメールを一旦特別なフォルダに分けておき、後からそのフォルダを指定して sa-learn を使い学習させる。あるいはメーラーがサポートしている場合は、個々のメールに対して sa-learn を自動的に呼び出すこともできる。学習をどのように行おうとも、SpamAssassinのベイジアンフィルタは以前に受信したスパムと似た電子メールには高いスコアを付けるようになる（正確に言えば、以前に受信したスパムメールがスパムであると判断されたのと類似した傾向のある電子メールに高いスコアを付ける）。
※この「ベイジアンフィルタ」の解説は、「SpamAssassin」の解説の一部です。
「ベイジアンフィルタ」を含む「SpamAssassin」の記事については、「SpamAssassin」の概要を参照ください。
- ベイジアンフィルタのページへのリンク
