tf-idf tf-idfの概要

ウィキペディア

tf-idf

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/03/28 23:00 UTC 版)

tf-idfの重み付け手法を変形したものは、ユーザーのクエリ（検索ワード）から文書の適合性を得点化し、順位づけする際の中心的なツールとして、よく検索エンジンで用いられている。tf-idfは、自動要約や文書分類といった様々な分野において、ストップワードによるフィルタリングを行うことでうまく動作できる。

最もシンプルな順位付け関数(ranking function)の一つは、クエリに含まれる語ごとのtf-idfの和を計算することで実装される。たくさんのより洗練された順位付け関数はこのシンプルなモデルの変形となっている。

動機

Term frequency (単語頻度)

英語文書の集合を扱っていると仮定し、それらを"the brown cow"というクエリにより関連する順に並べたいとする。問題に取り掛かる上で、シンプルな方法は、"the"、"brown"、"cow"の3つの単語のすべてを含まない文書を除くことであるが、これではたくさん文書がまだ残ってしまう。さらにそれらを区別するために、もしかすると各文書で各単語が何度出現しているかを数えるかもしれない。ある文書内にある単語が何回出現したかという数をその単語のterm frequencyと呼ぶ。しかし、文書の長さにばらつきがある場合、調整が必要となることが多い（詳細は定義を参照）。最初の語の重み付け手法はHans Peter Luhn(1957)により、その内容は以下のようにまとめられうる。

文書内の単語の重みは、その出現頻度に単純に比例する。

Inverse document frequency (逆文書頻度)

"the"という語が非常に普遍であるために、より意味のある単語である"brown"や"cow"に十分な重みを与えず、term frequencyは、"the"という語をより高頻度に含む文書を誤って強調してしまう傾向がある。"the"という語は、普遍的ではない"brown"や"cow"という語とは異なり、文書や単語がクエリに関連している・関連していないと区別するためのキーワードとしてよいものではない。それゆえに、文書集合において非常に出現頻度の高い語の重みを減らし、珍しい語の重みを増加させるため、inverse document frequencyが用いられている。

Karen Spärck Jones(1972) はInverse Document Frequency (idf) と呼ばれる単語の特異性の統計的解釈を考案し、その考えは単語の重み付けの基礎概念となっている。

単語の特異性は、その単語が出現した文書数の逆関数によって定量化できる。

定義

1. tf-idfは2つの統計量、term frequency (tf)と、inverse document frequency (idf) の積である。双方の統計量には、厳密な値を決定するために様々な手法が存在している。
2. 式は、文書やWebページにおけるキーワードやフレーズの重要性を定義することを目的とする。

term frequency (tf) 重みの計算手法

重み付け手法

tf 重み

binary (2値)

${0,1}$ 異なるidf関数(標準、スムージングあり、確率論的idf）グラフのプロット Term frequency–inverse document frequency (tf-idf) ここで、tf-idfは次のように計算される。 $\mathrm {tfidf} (t,d,D)=\mathrm {tf} (t,d)\cdot \mathrm {idf} (t,D)$ tf-idfの重みが高くなるのは、（与えられた文書内で）その単語の単語頻度(term frequency, tf)が高く、かつ、文書集合全体においてその単語の文書頻度(document frequency, df)が低い場合である。それゆえに、重みは普遍的な語をフィルタする傾向がある。idfの対数内の分数は常に1以上となるため、idf（とtf-idf)の値は常に0以上になる。単語がより多くの文書に現れる場合、対数の中の分数は1に近づき、それゆえにidfとtf-idfは0に近づく。 推奨されているtf–idf重み付け手法 重み付け手法 文書における利用 クエリにおける利用 1 $f_{t,d}\cdot \log {\frac {N}{n_{t}}}$ $\left(0.5+0.5{\frac {f_{t,q}}{\max _{t}f_{t,q}}}\right)\cdot \log {\frac {N}{n_{t}}}$ 2 $\log(1+f_{t,d})$ $\log \left(1+{\frac {N}{n_{t}}}\right)$ 3 $(1+\log f_{t,d})\cdot \log {\frac {N}{n_{t}}}$ $(1+\log f_{t,q})\cdot \log {\frac {N}{n_{t}}}$ 大森うたえもん 道義的責任 世界海賊口調日 《甘味処》の正しい読み方 辻沢杏子 英和和英テキスト翻訳 >> Weblio翻訳 英語⇒日本語日本語⇒英語    >> 「tf-idf」を含む用語の索引  tf-idfのページへのリンク 辞書ショートカット 1 ウィキペディア カテゴリ一覧 全て ＋ ビジネス ＋ 業界用語 ＋ コンピュータ ＋ 電車 ＋ 自動車・バイク ＋ 船 ＋ 工学 ＋ 建築・不動産 ＋ 学問 ＋ 文化 ＋ 生活 ＋ ヘルスケア ＋ 趣味 ＋ スポーツ ＋ 生物 ＋ 食品 ＋ 人名 ＋ 方言 ＋ 辞書・百科事典 すべての辞書の索引 あいうえお かきくけこ さしすせそ たちつてと なにぬねの はひふへほ まみむめも やゆよ らりるれろ わをん がぎぐげご ざじずぜぞ だぢづでど ばびぶべぼ ぱぴぷぺぽ ＡＢＣＤＥ ＦＧＨＩＪ ＫＬＭＮＯ ＰＱＲＳＴ ＵＶＷＸＹ Ｚ １２３４５ ６７８９０ 記号 Weblioのサービス 英会話コラム Weblio英会話 英語の質問箱 語彙力診断 スピーキングテスト 1 tf-idf法 IT用語辞典 100% ||||| 2 tf-idfの派生 ウィキペディア小見出し辞書 100% ||||| 3 単語以外への応用 ウィキペディア小見出し辞書 94% ||||| 4 外部リンクと推薦図書 ウィキペディア小見出し辞書 78% ||||| 5 Inverse document frequency ウィキペディア小見出し辞書 70% ||||| 6 Term frequency ウィキペディア小見出し辞書 58% ||||| 7 idfの正当化 ウィキペディア小見出し辞書 56% ||||| 8 情報理論との関係 ウィキペディア小見出し辞書 56% ||||| 9 ランク付け ウィキペディア小見出し辞書 34% ||||| 10 IDF 百科事典 30% ||||| tf-idfのお隣キーワード ThinkPad X1 Carbon ThinkPad X1 Fold t.free teacha techno‐centered tezya (ヴォーカリスト) tf-idf tf-idf法 tfo 検索ランキング 英和和英テキスト翻訳 >> Weblio翻訳     英語⇒日本語 日本語⇒英語     tf-idfのページの著作権 Weblio 辞書 情報提供元は 参加元一覧 にて確認できます。     All text is available under the terms of the GNU Free Documentation License. この記事は、ウィキペディアのtf-idf (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。 Weblio辞書に掲載されているウィキペディアの記事も、全てGNU Free Documentation Licenseの元に提供されております。 ビジネス｜業界用語｜コンピュータ｜電車｜自動車・バイク｜船｜工学｜建築・不動産｜学問 文化｜生活｜ヘルスケア｜趣味｜スポーツ｜生物｜食品｜人名｜方言｜辞書・百科事典 ご利用にあたって ・Weblio辞書とは ・検索の仕方 ・ヘルプ ・利用規約 ・プライバシーポリシー ・サイトマップ 便利な機能 ・ウェブリオのアプリ ・画像から探す お問合せ・ご要望 ・お問い合わせ 会社概要 ・公式企業ページ ・会社情報 ・採用情報 ウェブリオのサービス ・Weblio 辞書 ・類語・対義語辞典 ・英和辞典・和英辞典 ・Weblio翻訳 ・日中中日辞典 ・日韓韓日辞典 ・フランス語辞典 ・インドネシア語辞典 ・タイ語辞典 ・ベトナム語辞典 ・古語辞典 ・手話辞典 ・IT用語辞典バイナリ ・おすすめのプログラミングスクール情報「Livifun」 ©2024 GRAS Group, Inc.RSS      ログイン ※半角英数字、6文字以上、32文字以内で入力してください ログイン パスワードを忘れた方はこちらから 別サービスのアカウントで登録・ログイン アカウントをお持ちでない方 新規会員登録（無料）