形態素解析

デジタル大辞泉

けいたいそ‐かいせき【形態素解析】

読み方：けいたいそかいせき

《morphological analysis》コンピューターの自然言語処理の一。与えられた文章を、辞書データなどを用いて形態素の単位に区切り、品詞を判別する処理。仮名漢字変換や機械翻訳、音声認識で使用する。

IT用語辞典バイナリ

形態素解析

読み方：けいたいそかいせき
【英】Morphological analysis

形態素解析とは、言語学においてある言葉が変化・活用しない部分を最小単位の「素」と捉え、その素ごとに言葉を分解してゆく手法のことである。言語学者のチョムスキーによって考案されたもので、かな漢字変換を初めとする自然言語処理機能などに応用されている。

言語処理においては、体言や活用する言葉の活用語幹を語幹として、また、助詞や助動詞などを付属語として抽出される。語幹のうち表記ゆれのあるものに関しては、語幹の標準形としてある1つの表記に標準化される。

日本語には 単語の品詞と品詞とのつながりが明確・厳密であるため、他の自然言語処理に比べても解析が容易であるとされる。例えば、「来られないようだ」をという一文を形態素によって解析するならば、以下のように分析される。

来	コ	動詞・自立	カ行変格活用	未然形
られ	ラレ	られる	動詞・接尾辞	未然形
ない	ナイ	ない	助動詞	基本形
よう	ヨウ	よう	非自立名詞	-
だ	ダ	だ	接続助詞	基本形

例えば「うらにわにはにわにわにはにわにわとりがいる」という構文では、多くの場合は「裏庭には二羽、庭には二羽、鶏がいる」という漢字変換が考えられるが、「裏庭に埴輪、庭に埴輪、鶏がいる」という変換でも間違いではないし、さらに「裏にワニ、葉にワニ、環に埴輪、鶏がいる」としても誤りではない。

変換に生じる揺れのうちどれが妥当であるかは、その文の意味によって、もしくは文脈や相手の意図によって変動する。それらのすべてが考慮に入れられなければ正しい意味を把握する事はできない。正解となるかもしれない複数の解答があり、そのどちらとも決定できないといった状況は、言語処理においては「曖昧である」「曖昧性がある」などと呼ばれる。曖昧性の存在は構文解析でも同様であるといえる。

情報と社会のほかの用語一覧

教育：	Webラーニング
自然言語処理：	bigram  隠れマルコフモデル  形態素解析  言語モデル  機械翻訳  機械学習

>>自然言語処理カテゴリの他の用語

ウィキペディア

形態素解析

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2024/03/10 16:06 UTC 版)

形態素解析（けいたいそかいせき、Morphological Analysis）とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の品詞等を判別する作業である。

ウィキペディア小見出し辞書

形態素解析

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/04/08 10:23 UTC 版)

「自然言語処理」の記事における「形態素解析」の解説

中国語、日本語、タイ語といった言語は単語のわかち書きをしない。そのため、単語の区切りを特定するのにテキストの解析が必要となり、それは非常に複雑な作業となる。

形態素解析

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/06/11 00:42 UTC 版)

「全文検索」の記事における「形態素解析」の解説

英文の場合は単語と単語の間にスペースが入るため、自然、スペースで区切られた文字列を抽出していけば、索引データの作成は容易となる。しかし日本語の場合は、単語をスペースで区切る「わかち書き」の習慣がないため、形態素解析技術を用いて、文脈の解析、単語分解を行い、それをもとにインデックスを作成する必要がある。形態素解析を行うためには解析用の辞書が必須であり、検索結果は辞書の品質に少なからず影響を受ける。また、辞書に登録されていないひらがな単語の抽出に難があるなど、技術的障壁も多く、検索漏れが生じることが欠点とされる。