Yet Another Resource Negotiatorとは? わかりやすく解説

Weblio 辞書 > 辞書・百科事典 > ウィキペディア小見出し辞書 > Yet Another Resource Negotiatorの意味・解説 

Yet Another Resource Negotiator (YARN)

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2021/11/26 20:35 UTC 版)

Apache Hadoop」の記事における「Yet Another Resource Negotiator (YARN)」の解説

Yet Another Resource Negotiator (YARN)は、Hadoopクラスタリソース管理、ジョブスケジューリングを担当するHadoop 1系まで、Hadoop構成するモジュールはHDFSとMapReduce2つであったが、以下の課題達成するためにYARN開発されHadoop 2.2から利用可能である。 クラスタ規模の拡大: Hadoop 1系までのMapReduceエンジンにおけるマスタ(JobTracker)が、クラスタリソース管理クラスタ内で実行されるMapReduceジョブのスケジューリングまた、MapReduceジョブ自体スケジューリング(各タスク対す入力データ割り当て進捗管理)の3つ担当する必要があったため、JobTrackerの負荷大きい。そのため、Hadoopクラスタ台数1000程度限界であったリソース管理効率化: Hadoop 1系までのMapReduceエンジンにおけるスレーブ(TaskTracker)ではMapタスク用、Reduceタスク用にそれぞれスロット用意されており、そこにMapReduceの各タスク割り当てられる。ここで、Mapタスク用のスロット空きない場合は、Reduceタスク用のスロット空きがあったとしてもMapタスクこれ以上割り当てることができず、TaskTrackerのリソース使用率が低下する問題があった。 MapReduce以外の分散処理実行: Hadoop分散処理するためには、必ずMapReduce仕組み当てはめる必要があった。MapReduceが2回以上連続するような処理を実行する場合前段MapReduceジョブ処理結果をHDFSに書き込み、それを後続MapReduce読み込む、という流れになるが、ここでHDFSに中間データ書き込むため、処理が非効率である。多段のMapReduceとなるような処理を高速化するために、MapReduceフレームワークとは異な分散処理が必要であったYARNは、Hadoop 1系までのMapReduceからクラスタリソース管理、ジョブスケジューリングを分離したのであるYARNもHDFSと同様にマスタースレーブ型の構成で、マスター役割(リソース管理、ジョブスケジューリング)を担当するのがResourceManager、スレーブ役割(割り当てられた処理の実行)を担当するのがNodeManagerである。MapReduceを含む各アプリケーション用にそれぞれ専用のApplicationMasterが実行されアプリケーション自体スケジューリングはApplicationMasterが担当する。NodeManagerはMapReduce用に特化したスロットではなく、より汎用化したコンテナ単位リソース割り当てる。ApplicationMasterもそのコンテナ上で動作するまた、YARN上でMapReduce以外にも、Apache Spark(英語版)、Apache Storm(英語版)、Apache Tez などの様々な分散処理フレームワーク動作する

※この「Yet Another Resource Negotiator (YARN)」の解説は、「Apache Hadoop」の解説の一部です。
「Yet Another Resource Negotiator (YARN)」を含む「Apache Hadoop」の記事については、「Apache Hadoop」の概要を参照ください。

ウィキペディア小見出し辞書の「Yet Another Resource Negotiator」の項目はプログラムで機械的に意味や本文を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。 お問い合わせ



英和和英テキスト翻訳>> Weblio翻訳
英語⇒日本語日本語⇒英語
  

辞書ショートカット

すべての辞書の索引

「Yet Another Resource Negotiator」の関連用語

Yet Another Resource Negotiatorのお隣キーワード
検索ランキング

   

英語⇒日本語
日本語⇒英語
   



Yet Another Resource Negotiatorのページの著作権
Weblio 辞書 情報提供元は 参加元一覧 にて確認できます。

   
ウィキペディアウィキペディア
Text is available under GNU Free Documentation License (GFDL).
Weblio辞書に掲載されている「ウィキペディア小見出し辞書」の記事は、WikipediaのApache Hadoop (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。

©2025 GRAS Group, Inc.RSS