Storm(一)打造開發環境&創建一個Storm項目

原文鏈接Setting Up a Development Environment
原文鏈接Creating a New Storm Project

一、打造開發環境

只有簡單的兩步:

1.下載storm,解壓,把bin/目錄加到PATH
2.把集群信息加入~/.storm/storm.yaml

Storm開發環境是什么

Storm有local和remote兩種模式,只要開發和測試Storm的程序,無論哪種模式都需要Storm開發環境。Storm集群由Nimbus主節點維護,bin/目錄下的storm客戶端程序用來和Nimbus通信,storm客戶端只用在remote模式,與local模式沒有關系。我們只需要向Nimbus提交code(通常打包成jar格式)和topologies,Nimbus會負責在集群中部署code和指派workers。

本地安裝Storm

如前文所述,本地安裝Storm就是把bin/目錄加到PATH,這樣做的唯一目的就是和遠程集群通信。本地開發和測試Storm只需要在項目中通過Maven引入相關依賴就行了。

啟動和停止集群上的topologies

只需要把Nimbus主節點的地址加入~/.storm/storm.yaml即可,類似這樣:
nimbus.seeds: ["123.45.678.890"]

二、創建一個Storm項目

把Storm jars加到classpath

強烈建議使用Maven,pom.xml例子

如果使用多語言,需把multilang目錄加入classpath

如果不止使用Java來實現spouts or bolts,那么這些實現應該放在項目的multilang/resources/目錄下。為便于Storm找到這些文件,需把resources/目錄加入classpath。在eclipse中可以把multilang/目錄作為source folder添加。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • 背景 OpenShift是目前比較主流的基于Kubernetes的容器云解決方案,OpenShift在kubern...
    小白_18M閱讀 1,209評論 0 5
  • Date: Nov 17-24, 2017 1. 目的 積累Storm為主的流式大數據處理平臺對實時數據處理的相關...
    一只很努力爬樹的貓閱讀 2,208評論 0 4
  • Strom集群結構是有一個主節點(nimbus)和多個工作節點(supervisor)組成的主從結構,主節點通過配...
    看山遠兮閱讀 2,918評論 0 7
  • storm啟停腳本的編寫: 第一步:在master節點創建start-supervisor.sh腳本,然后分發到各...
    夙夜M閱讀 728評論 0 0
  • 一杯玫瑰花茶帶她回到許多年前那個南方的小鎮,清新的花香讓她回憶起那位老奶奶的音容笑貌,以及老奶奶更久遠的故事。 很...
    夕雁無邊閱讀 355評論 2 4