Spark Coreとは? わかりやすく解説

Spark Core

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2020/11/24 07:50 UTC 版)

Apache Spark」の記事における「Spark Core」の解説

プロジェクト全体基盤であり、RDD抽象化中心とするアプリケーションプログラミングインターフェイスJavaPythonScala、R)を介して公開される分散タスクディスパッチ、スケジューリング、および基本I/O機能実装している。(Java APIは他のJVM言語でも使用でき、Juliaなどの他の非JVM言語でも使用できる。)「ドライバプログラムは、関数Sparkに渡すことによってRDD上でmapfilterreduceなどの並列操作呼び出し関数実行クラスタ上で並列スケジュールする。 [2]これらの操作結合などの追加操作は、RDD入力として受け取り新しRDD生成するRDDイミュータブル遅延評価している。耐故障性は、データ消失場合再構成できるように各RDDの「系統」(生成操作)を追跡により達成されるRDDには任意の種類PythonJavaScalaオブジェクト含められるRDD指向機能的プログラミングスタイルの他に、共有変数2つ制限形式がある。ブロードキャスト変数すべてのノード利用可能読み取り専用データ参照しアキュムレータ命令型プログラミング削減プログラムできる。 RDD中心関数型プログラミング典型例は、テキストファイルセット内に出現するすべての単語頻度計算し、最も一般的なものを表示する次のScalaプログラムである。各マップflatMap(マップ変形)とreduceByKeyは、単一データ項目(または項目のペアに対して簡単な操作実行し、その引数適用してRDD新しRDD変換する無名関数をとる。 val conf = new SparkConf().setAppName("wiki_test") // create a spark config objectval sc = new SparkContext(conf) // Create a spark contextval data = sc.textFile("/path/to/somedir") // Read files from "somedir" into an RDD of (filename, content) pairs.val tokens = data.flatMap(_.split(" ")) // Split each file into a list of tokens (words).val wordFreq = tokens.map((_, 1)).reduceByKey(_ + _) // Add a count of one to each token, then sum the counts per word type.wordFreq.sortBy(s => -s._2).map(x => (x._2, x._1)).top(10) // Get the top 10 words. Swap word and count to sort by count.

※この「Spark Core」の解説は、「Apache Spark」の解説の一部です。
「Spark Core」を含む「Apache Spark」の記事については、「Apache Spark」の概要を参照ください。

ウィキペディア小見出し辞書の「Spark Core」の項目はプログラムで機械的に意味や本文を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。 お問い合わせ



英和和英テキスト翻訳>> Weblio翻訳
英語⇒日本語日本語⇒英語
  

辞書ショートカット

すべての辞書の索引

「Spark Core」の関連用語

Spark Coreのお隣キーワード
検索ランキング

   

英語⇒日本語
日本語⇒英語
   



Spark Coreのページの著作権
Weblio 辞書 情報提供元は 参加元一覧 にて確認できます。

   
ウィキペディアウィキペディア
Text is available under GNU Free Documentation License (GFDL).
Weblio辞書に掲載されている「ウィキペディア小見出し辞書」の記事は、WikipediaのApache Spark (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。

©2025 GRAS Group, Inc.RSS