流程：
1.selenium爬取微博熱搜、文章、評論數據存入mysql數據庫（并對評論lstm情感分析模型建模分析）;
2.使用mapreduce對mysql中采集的微博數據進行數據清洗，轉為.csv文件上傳hdfs文件系統；
3.使用hive建庫建表,導入.csv數據集；
4.一半指標使用hive_sql進行離線分析，一半指標使用Spark之Scala實時分析；
5.分析的結果使用sqoop導入mysql數據庫；
6.使用Flask+echarts制作可視化統計大屏； 創新點：微博情感分析算法、Python爬蟲、海量微博數據、可視化大屏

1.png

2.png

4.png

5.png

6.png

8.png

9.png

選裝(如果覺得功能還不夠，可以選裝推薦系統、預測系統、知識圖圖譜，可以0秒對接選裝)：

可選裝項目模塊如下：

1.推薦系統(4種深度學習推薦算法 協同過濾基于用戶 基于物品 SVD神經網絡 MLP)。附帶AI、支付、短信、lstm情感分析。
2.預測系統(KNN CNN RNN卷積神經預測 K-means 線性回歸)。
3.知識圖譜neo4j可視化關系網絡圖。
4.后臺管理系統。