光陰似箭，歲月如梭。機器學習時間也將近大半年了，一直在思考為什么要學習這玩意。高數和線代一直是多少人的噩夢，諱莫如深的算法，加上spark、scala等各種復雜框架折磨你，仔...
發簡信
IP屬地：廣東
-
-
@Life_0ecc 大數據平臺數據清洗以后來的呀
大數據之點聚合算法
聚合點算法實現 在地圖上查詢結果通常以標記點的形式展現，但是如果標記點較多，不僅會大大增加客戶端的渲染時間，讓客戶端變得很卡，而且會讓人產生密集恐懼癥（圖1）。為了解決這一問...
-
-
從數據中提取有用特征
幾乎所有的機器學習模型都是與用向量表示的數值特征打交道。因此，需要將原始數據轉換為數值。 數值特征：這些特征通常為實數或整數，比如年齡 類別特征：它們的取值只能是可能狀態集合...
-
ML Pipelines
pipelines中文意思是計算機流水線作業，通過pipelines的api可以很方便的實現數據工作流：數據源->特征轉換->數據建模->數據預言 pipeline常用組件 ...
-
從貝葉斯定理到最大似然估計
昨天看到這樣一道題，一機器在良好狀態生產合格產品幾率是 90%，在故障狀態生產合格產品幾率是 30%，機器良好的概率是 75%。若一日第一件產品是合格品，那么此日機器良好的概...
-
-
Spark中進行聚合時的特殊場景
在對數據進行統計分析時，如果對指標進行聚合運算，而待查詢的字段中還包含了維度，則原則上我們還需要按照維度字段進行分組。倘若這個聚合運算為sum函數，分組之后就相當于分類匯總了...
-
spark sql快速入門
常用的sql查詢引擎 hive，impala，hive on spark，presto（京東），drill（支持hdfs，hive），phoenix（hbase） 存儲格式 ...
-
Hadoop分布式集群搭建
規劃 配機器名稱 配機器名稱和ip地址的映射 ssh免秘鑰 主節點要能ssh免秘鑰到其它機器，需要將主機的id_rsa.pub 拷貝到其它節點 jdk安裝 配置主從關系，并分發文件
