Apache Beamとは? わかりやすく解説

Weblio 辞書 > 辞書・百科事典 > 百科事典 > Apache Beamの意味・解説 

Apache Beam

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2025/02/16 14:25 UTC 版)

Apache Beam
作者 Google
開発元 Apache Software Foundation
初版 2016年6月15日 (8年前) (2016-06-15)
リポジトリ Beam Repository
プログラミング
言語
Java, Python, Go
対応OS クロスプラットフォーム
ライセンス Apache License 2.0
公式サイト beam.apache.org
テンプレートを表示

Apache Beamは、ETLバッチおよびストリーム処理を含むデータ処理パイプライン英語版を定義・実行するためのオープンソースの統合プログラミングモデルである[1]。提供されているSDKの1つを使用してBeam Pipelinesと呼ばれるデータ処理パイプラインを定義し、Apache Flink英語版Apache Samza英語版Apache SparkGoogle Cloud Dataflow英語版などのBeamがサポートするRunner分散処理バックエンド)の1つを使用してパイプラインを実行する[2]

歴史

Apache Beam[2]は、Dataflowモデルの論文の実装の1つである[3]。Dataflowモデルは、Googleでの分散処理の抽象化、特にFlumeJava[4]とMillwheelに関する過去の成果に基づいて設計されている[5][6]

2014年、Googleは、DataflowモデルのオープンSDK実装と、Dataflowをローカル(非分散)およびGoogle Cloud Platformサービス上で実行する環境をリリースした。

2016年、GoogleはコアSDK、ローカルランナーの実装、およびGoogle Cloud Platformのデータサービスにアクセスするための一連のIO(データコネクタ)をApache SoftwareFoundationに寄贈した。他の企業やコミュニティのメンバーは、既存の分散実行プラットフォームのRunnerや、Beam Runnerを既存のデータベース、Key-Valueストア、メッセージシステムと統合するための新しいIOをコントリビュートしている。さらに、Beamモデルに加えて特定のドメインのニーズをサポートするための新しいDSLが提案されている[要出典]

関連項目

  • Apache Software Foundationプロジェクトの一覧英語版

出典

  1. ^ Woodie (22 April 2016). “Apache Beam's Ambitious Goal: Unify Big Data Development”. Datanami. 4 August 2016閲覧。
  2. ^ a b Cloud Dataflow - Batch & Stream Data Processing”. 2021年5月12日閲覧。
  3. ^ Akidau, Tyler; Schmidt, Eric; Whittle, Sam; Bradshaw, Robert; Chambers, Craig; Chernyak, Slava; Fernández-Moctezuma, Rafael J.; Lax, Reuven et al. (1 August 2015). “The dataflow model”. Proceedings of the VLDB Endowment 8 (12): 1792–1803. doi:10.14778/2824032.2824076. http://www.vldb.org/pvldb/vol8/p1792-Akidau.pdf 4 August 2016閲覧。. 
  4. ^ Chambers, Craig; Raniwala, Ashish; Perry, Frances; Adams, Stephen; Henry, Robert R.; Bradshaw, Robert; Weizenbaum, Nathan (1 January 2010). “FlumeJava: Easy, Efficient Data-parallel Pipelines”. Proceedings of the 31st ACM SIGPLAN Conference on Programming Language Design and Implementation (ACM): 363–375. doi:10.1145/1806596.1806638. https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/35650.pdf 4 August 2016閲覧。. 
  5. ^ Akidau, Tyler; Whittle, Sam; Balikov, Alex; Bekiroğlu, Kaya; Chernyak, Slava; Haberman, Josh; Lax, Reuven; McVeety, Sam et al. (27 August 2013). “MillWheel”. Proceedings of the VLDB Endowment 6 (11): 1033–1044. doi:10.14778/2536222.2536229. https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/41378.pdf 4 August 2016閲覧。. 
  6. ^ Pointer. “Apache Beam wants to be uber-API for big data”. InfoWorld. 4 August 2016閲覧。



英和和英テキスト翻訳>> Weblio翻訳
英語⇒日本語日本語⇒英語
  
  •  Apache Beamのページへのリンク

辞書ショートカット

すべての辞書の索引

「Apache Beam」の関連用語

Apache Beamのお隣キーワード
検索ランキング

   

英語⇒日本語
日本語⇒英語
   



Apache Beamのページの著作権
Weblio 辞書 情報提供元は 参加元一覧 にて確認できます。

   
ウィキペディアウィキペディア
All text is available under the terms of the GNU Free Documentation License.
この記事は、ウィキペディアのApache Beam (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。 Weblio辞書に掲載されているウィキペディアの記事も、全てGNU Free Documentation Licenseの元に提供されております。

©2025 GRAS Group, Inc.RSS