一、環(huán)境部署
hadoop集群2.7.1
zookeerper集群
kafka集群：kafka_2.11-0.10.0.0
spark集群：spark-2.0.1-bin-hadoop2.7.tgz
環(huán)境搭建可參考我前面幾篇文章。不再贅述
三臺(tái)機(jī)器：master，slave1,slave2
二、啟動(dòng)集群環(huán)境
1.啟動(dòng)hadoop集群
start-all.sh
2.啟動(dòng)spark集群
start-master.sh
start-slaves.sh
3.啟動(dòng)zookeeper集群
在三臺(tái)機(jī)器下均輸入以下命令
zkServer.sh start
4.啟動(dòng)kafka集群
在三臺(tái)機(jī)器下均輸入以下命令
kafka-server-start.sh -daemon ../config/server.properties
5.jps查看進(jìn)程
master:
slave1與slave2一樣:
6.創(chuàng)建kafka topic
kafka-topics.sh --create --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181 --replication-factor 3 --partitions 3 --topic test5
故topic為test3 分區(qū)為3個(gè)，分別為：0,1,2
可用該命令查看
kafka-topics.sh --describe --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181 --topic test5 ```
####三、編程,KafkaWordCount.py
**編寫spark steaming 代碼，讀取kafka流數(shù)據(jù)，并統(tǒng)計(jì)詞頻**
spark streaming 從 kafka 接收數(shù)據(jù)，有兩種方法：(1)使用receivers和高層次的API;(2)使用Direct API，低層次的kafkaAPI
這里我采用的是第一中方式，基于receivers的方法
具體兩種方式以及編程實(shí)例可參考[官網(wǎng)](https://spark.apache.org/docs/2.0.1/streaming-kafka-0-8-integration.html)
kafka topic 為：test5
partitions： 0,1,2
consumer_group_id: test-consumer-group (在kafka/config/consumer.properties里面查看group.id)
代碼(python 實(shí)現(xiàn))：
-- coding: UTF-8 --
spark streaming&&kafka
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils
sc=SparkContext("local[2]","KafkaWordCount")
處理時(shí)間間隔為2s
ssc=StreamingContext(sc,2)
zookeeper="192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181"
打開(kāi)一個(gè)TCP socket 地址 和 端口號(hào)
topic={"test5":0,"test5":1,"test5":2} #要列舉出分區(qū)
groupid="test-consumer-group"
lines = KafkaUtils.createStream(ssc, zookeeper,groupid,topic)
lines1=lines.map(lambda x:x[1]) #注意 取tuple下的第二個(gè)即為接收到的kafka流
對(duì)2s內(nèi)收到的字符串進(jìn)行分割
words=lines1.flatMap(lambda line:line.split(" "))
映射為（word，1）元祖
pairs=words.map(lambda word:(word,1))
wordcounts=pairs.reduceByKey(lambda x,y:x+y)
輸出文件，前綴+自動(dòng)加日期
wordcounts.saveAsTextFiles("/tmp/kafka")
wordcounts.pprint()
啟動(dòng)spark streaming應(yīng)用
ssc.start()
等待計(jì)算終止
ssc.awaitTermination()
####四、運(yùn)行
#####1.下載依賴的jars包
注意，應(yīng)該去官網(wǎng)找對(duì)應(yīng)的jar包，例如
kafka2.01對(duì)應(yīng)
下載spark-streaming-kafka-0-8_2.11.jar 我放在了kafka/lib下
#####2.啟動(dòng)kafka生產(chǎn)者
kafka-console-producer.sh --broker-list 192.168.31.131:9092 --topic test5
#####3.運(yùn)行KafkaWordCount.py
在master下
運(yùn)行
spark-submit --jars kafka/libs/spark-streaming-kafka-0-8-assembly_2.11-2.0.1.jar KafkaWordCount.py```
這里有個(gè)小技巧，因?yàn)榻K端報(bào)的信息很多，有時(shí)候，一些錯(cuò)誤信息被覆蓋掉了，因此，可將終端的輸出信息輸出到文件中
例如
spark-submit --jars kafka/libs/spark-streaming-kafka-0-8-assembly_2.11-2.0.1.jar KafkaWordCount.py 2> error.txt
便如查看錯(cuò)誤信息
4.生產(chǎn)者端輸入流數(shù)據(jù)
5.result
終端打印：
hdfs上：
hadoop fs -ls /tmp/kafka*
四、下一步
考慮使用direct API,待完成
