しぜんげんご‐しょり【自然言語処理】
自然言語処理
【英】Natural language processing, NLP
自然言語処理とは、日本語や英語などをはじめとした人間が使っている言語をコンピュータに処理させるための技術やソフトウェアなどの総称である。
自然言語処理に属する技術や研究としては、自動要約生成、情報抽出、情報検索、検索エンジン、機械翻訳、翻訳ソフト、固有表現抽出、自然言語生成、手書き文字認識、かな漢字変換、形態素解析、などがある。
また、利用されるアルゴリズムとしては、ヒューリスティックな手法やルールベースの手法の他、ベイズ理論による統計的予測に基づいた機械学習など、様々である。
参照リンク
音声情報処理ポータル - 自然言語処理に関する研究の紹介
自然言語処理
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2024/09/25 07:51 UTC 版)
自然言語処理(しぜんげんごしょり、英語: Natural language processing、略称:NLP)は、人間が日常的に使っている自然言語をコンピュータに処理させる一連の技術であり、人工知能と言語学の一分野である。「計算言語学」(computational linguistics)との類似もあるが、自然言語処理は工学的な視点からの言語処理をさすのに対して、計算言語学は言語学的視点を重視する手法をさす事が多い[1]。データベース内の情報を自然言語に変換したり、自然言語の文章をより形式的な(コンピュータが理解しやすい)表現に変換するといった処理が含まれる。応用例としては機械翻訳や仮名漢字変換が挙げられる。
- 1 自然言語処理とは
- 2 自然言語処理の概要
自然言語処理
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2019/12/22 08:37 UTC 版)
文脈自由文法は本来、自然言語(人間が話す言語)のモデルとして考案された。これを研究者らが拡張したのが SCFG である。 以下に示すのは、2つの規則からなる SCFG 文法である。各規則の前にある数値は確率であり、それぞれがどのような頻度で出現するかを表している。 0.7 VP --> V NP 0.3 VP --> V NP NP この文法によれば、VP から生成される NP の個数の期待値は 0.7 x 1 + 0.3 x 2 = 1.3 となる。 例えば、音声認識システムでSCFGを使い、確率推定能力を高め、性能を向上させるといった応用が考えられる。 最近では、SCFG は接近度階層を説明するにあたって、重要な役割を果たしている。接近度階層とは、文章構造によって理解しやすさが異なる原因を説明する概念である。 尤もらしい構造に関する確率的記述ができるなら、その構造について情報理論的尺度(エントロピー)が計算できることになる。情報理論に基づく文法(構文)認識装置があるとしたら、SCFG に類する技法を使うであろうことは想像に難くない。
※この「自然言語処理」の解説は、「確率文脈自由文法」の解説の一部です。
「自然言語処理」を含む「確率文脈自由文法」の記事については、「確率文脈自由文法」の概要を参照ください。
「自然言語処理」の例文・使い方・用例・文例
固有名詞の分類
- 自然言語処理のページへのリンク