SemEvalワークショップフレームワーク
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/01/15 21:05 UTC 版)
「SemEval」の記事における「SemEvalワークショップフレームワーク」の解説
SemEval/Senseval評価ワークショップのフレームワークは、ARPA(Advanced Research Projects Agency、国防高等研究計画庁(DARPA)に名称変更)が実施しているメッセージ理解会議(Message Understanding Conferences, MUC)などの評価ワークショップを模している。 最初に、参加者と思われる全員にエクササイズのデザインに興味を示し、参加してもらうために招かれた。 最終ワークショップに向けた予定が立てられた。 評価資料の選定計画が合意された。 個々のタスクの「ゴールドスタンダード」が取得され、多くの場合、人間のアノテーターは、コンピューターシステムの適合率と再現率スコアを測定するためのゴールドスタンダードと見なされる。これらの「ゴールドスタンダード」は、計算システムの目標である。 WSDタスクでは、人間のアノテーターは、一連の正しいWSD回答(つまり、特定のコンテキストにおける特定の単語の正しい意味)を生成するタスクに設定された。 回答のないゴールドスタンダードの資料が参加者にリリースされ、参加者はプログラムを実行して、一連の回答を主催者に返した。 その後、主催者が回答を採点し、ワークショップで採点が発表され、議論された。
※この「SemEvalワークショップフレームワーク」の解説は、「SemEval」の解説の一部です。
「SemEvalワークショップフレームワーク」を含む「SemEval」の記事については、「SemEval」の概要を参照ください。
- SemEvalワークショップフレームワークのページへのリンク
