流程
1.爬取17k的小說數(shù)據(jù)約5-10萬，存入mysql數(shù)據(jù)庫；
2.使用mapreduce對mysql中的小說數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗，轉(zhuǎn)為.csv文件上傳至hdfs文件系統(tǒng)；
3.根據(jù).csv文件結(jié)構(gòu)，使用hive建庫建表；
4.一半分析指標(biāo)使用hive_sql完成，一半分析指標(biāo)使用Spark-Scala完成;
5.將分析結(jié)果使用sqoop導(dǎo)入mysql數(shù)據(jù)庫；
6.使用Flask+echarts構(gòu)建可視化大屏；
創(chuàng)新點(diǎn)：Python爬蟲、海量數(shù)據(jù)、可視化、實(shí)時計(jì)算spark+離線計(jì)算hive雙實(shí)現(xiàn)
可選裝知識圖譜、推薦系統(tǒng)、后臺管理、預(yù)測系統(tǒng)等，實(shí)現(xiàn)界面如下(可0秒無縫銜接選裝上)

1.png

2.png

3.png

7.png

8.png

9.png

10.png

11.png

12.png