開發(fā)技術(shù)：
spark hadoop hive 裝杯顯擺虛擬機Linux敲命令炫酷吊打 flask echarts sqoop scala hdfs yarn mysql selenium爬蟲框架等；
流程：
1.采集雪球網(wǎng)約50萬股票數(shù)據(jù)存入mysql;
2.使用pandas+numpy或hadoop+mapreduce對mysql中的數(shù)據(jù)進行數(shù)據(jù)清洗并轉(zhuǎn)存.csv文件上傳到hdfs;
3.使用hive建表建庫導(dǎo)入hdfs中的.csv數(shù)據(jù)集;
4.一半指標(biāo)使用hive_sql進行離線計算分析，一半指標(biāo)使用Spark之Scala語法進行實時計算分析；
5.分析結(jié)果使用sqoop導(dǎo)入mysql數(shù)據(jù)庫；
6.使用flask+echarts搭建可視化大屏界面；
創(chuàng)新點：
Python爬蟲、海量數(shù)據(jù)、可視化大屏、實時+離線計算雙實現(xiàn)、spark+hive離線計算實時計算混合開發(fā)雙實現(xiàn)防止被導(dǎo)師噴
如果他(導(dǎo)師)還是狂噴不止，繼續(xù)選擇以下的系統(tǒng)，他們可以選裝牛鼻功能！
可選裝項目模塊如下：
1.推薦系統(tǒng)(4種深度學(xué)習(xí)推薦算法 協(xié)同過濾基于用戶 基于物品 SVD神經(jīng)網(wǎng)絡(luò) MLP)。附帶AI、支付、短信、lstm情感分析。
2.預(yù)測系統(tǒng)(KNN CNN RNN卷積神經(jīng)預(yù)測 K-means 線性回歸)。
3.知識圖譜neo4j可視化關(guān)系網(wǎng)絡(luò)圖。
4.后臺管理系統(tǒng)。
注意：以上1234部分均采用springboot+vue.js前后端分離架構(gòu)！！！
