Beam 的 logo
Google 之前貢獻(xiàn)給 Apache 基金會的大數(shù)據(jù)引擎 Beam,目前已經(jīng)完成孵化,上升到一級項目,網(wǎng)址: https://beam.apache.org/
Apache Beam 稱自己是一個高級的統(tǒng)一編程模型,可用于批處理或流失數(shù)據(jù)處理作業(yè)。你可以用它來創(chuàng)建一個數(shù)據(jù)處理管線,完成各種大并發(fā)的處理任務(wù)。
Apache Beam 目前支持 4 種后端 runner,分別為 Apache Apex、Apache Flink、Apache Spark,以及 Google Cloud Dataflow,均處于研發(fā)階段。
目前支持的開發(fā)語言僅有 Java 一種,正處于活躍開發(fā)中。第二個將被支持的開發(fā)語言為 Python,即將面世。
據(jù)說這個引擎對機(jī)器學(xué)習(xí)的支持也不錯,感興趣的讀者可以開始嘗鮮了。Quickstart 鏈接: https://beam.apache.org/get-started/quickstart/