Apache Beam
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/03/01 02:35 UTC 版)
Apache Beamは、ETL、バッチおよびストリーム処理を含むデータ処理パイプラインを定義・実行するためのオープンソースの統合プログラミングモデルである[1]。提供されているSDKの1つを使用してBeam Pipelinesと呼ばれるデータ処理パイプラインを定義し、Apache Flink、Apache Samza、Apache Spark、Google Cloud DataflowなどのBeamがサポートするRunner（分散処理バックエンド）の1つを使用してパイプラインを実行する[2]。
- ^ Woodie (2016年4月22日). “Apache Beam's Ambitious Goal: Unify Big Data Development”. Datanami. 2016年8月4日閲覧。
- ^ a b “Cloud Dataflow - Batch & Stream Data Processing”. 2021年5月12日閲覧。
- ^ Akidau, Tyler; Schmidt, Eric; Whittle, Sam; Bradshaw, Robert; Chambers, Craig; Chernyak, Slava; Fernández-Moctezuma, Rafael J.; Lax, Reuven et al. (1 August 2015). “The dataflow model”. Proceedings of the VLDB Endowment 8 (12): 1792–1803. doi:10.14778/2824032.2824076 2016年8月4日閲覧。.
- ^ Chambers, Craig; Raniwala, Ashish; Perry, Frances; Adams, Stephen; Henry, Robert R.; Bradshaw, Robert; Weizenbaum, Nathan (1 January 2010). “FlumeJava: Easy, Efficient Data-parallel Pipelines”. Proceedings of the 31st ACM SIGPLAN Conference on Programming Language Design and Implementation (ACM): 363–375. doi:10.1145/1806596.1806638 2016年8月4日閲覧。.
- ^ Akidau, Tyler; Whittle, Sam; Balikov, Alex; Bekiroğlu, Kaya; Chernyak, Slava; Haberman, Josh; Lax, Reuven; McVeety, Sam et al. (27 August 2013). “MillWheel”. Proceedings of the VLDB Endowment 6 (11): 1033–1044. doi:10.14778/2536222.2536229 2016年8月4日閲覧。.
- ^ Pointer. “Apache Beam wants to be uber-API for big data”. InfoWorld. 2016年8月4日閲覧。
[続きの解説]
「Apache Beam」の続きの解説一覧
- 1 Apache Beamとは
- 2 Apache Beamの概要
- Apache Beamのページへのリンク
