不同損失函數與激活函數所帶來的訓練的不同 ,,，導數 對比前兩列，最大的不同在,使用交叉熵的模型少乘了一個,而往往是很小的(只在0附近比較大)，所以第二列會比第一列收斂快。 ...
發簡信
IP屬地：山西
-
深度學習-前向傳播與反向傳播2
-
這個具體我沒做過，最近不做排序這塊有點忘記了，對于moultihot的話，如文中所說，需要多個vec聚合成一個vec，求和還是平均還是加權平均還是其他方法我覺得都可以試試
推薦系統-重排序-CTR-DeepFM等DNN模型
概述 關鍵詞：特征組合LR：缺乏特征組合能力，需人工做特征工程GBDT+LR：特種組合能力不強，對高維的稀疏特征應對乏力FM：具有較強的二階特征組合能力，高階特征組合應對乏力...
-
深度學習-RNN-循環神經網絡1，結構 輸入層，它通過一組連接權重接入狀態層。變成 隱藏層，它就厲害了。他有兩個輸入，一是輸入層，二是上一個自己。再通過激活函數變成所以，RNN的隱藏層，是在反復更新自己的...
-
深度學習-激活函數與優化器
1，激活函數 具體激活函數參見此篇https://www.jiqizhixin.com/articles/2017-10-10-3 激活函數從圖像上來看通常比較簡單。他的工作...
-
NLP-Word Embedding-Attention機制attention機制是個坑。要明白attention機制，首先要明白seq2seq要明白seq2sql，首先要明白RNN要明白RNN，首先要明白MLP和BP算法這是atte...
-
深度學習-前向傳播與反向傳播概述 對于全連接的神經網絡(MLP)，其結構看似復雜， 其實只是簡單結構的不斷重復。這里的簡單結構就是sigmoid函數即LR:對于 有 和 標量 使當然隨著激活函數的發展...
-
推薦系統-重排序-CTR-DCN-CIN-xDeepFM一個總結https://www.cnblogs.com/xianbin7/p/10661572.html 特征交叉的 元素級bit-wise VS 向量級vector-wis...
-
推薦系統-重排序-CTR-DeepFM等DNN模型概述 關鍵詞：特征組合LR：缺乏特征組合能力，需人工做特征工程GBDT+LR：特種組合能力不強，對高維的稀疏特征應對乏力FM：具有較強的二階特征組合能力，高階特征組合應對乏力...
-
推薦系統-重排序-CTR-Wide&Deep模型模型 上圖講得十分清楚：第一層(最下層)黃點和灰點，表示稀疏離散特征。第二層表示對稀疏離散特征embedding后的稠密特征向量。第三層就是深度模型，這里使用了ReLu激活函...
-
推薦系統-重排序-CTR-GBDT+LR概述 GBDT的加入，是為了彌補LR難以實現特征組合的缺點。 LR LR作為一個線性模型，以概率形式輸出結果，在工業上得到了十分廣泛的應用。其具有簡單快速高效，結果可解釋，可...
-
推薦系統-重排序-CTR-FM模型及FFM等
1 概述 重排序模型中，特征主要使用離散one-hot編碼的特征。這是由任務本身特點與歷史發展以及模型特點決定的。首先就任務本身來說，主要涉及到的特征分為用戶特征-物品特征-...
-
機器學習-模型評價指標對于機器學習模型性能的評價，我們最常見的指標就是準確率(Accuracy,ACC)，當然，這是針對分類的。那么，除此之外，還有很多其他的指標。前面我們列出的損失函數，其實在某...
-
集成學習-Bagging-隨機森林RF
bagging bagging又名Bootstrap aggregating(自助聚合法，很扯的翻譯)Bootstrap 又名自助法，是統計學上的概念，核心思想是樣本重采樣(...
-
-
機器學習-泛化誤差與偏差bias與方差Variance
我們之所以需要擬合，就是因為我們難以甚至無法獲得全部真實數據如果我們可以獲取完備的真實數據集，那么我們壓根就不需要做擬合了，我們只要查詢就好了。所以，我們能獲取的數據，以及能...
-
集成學習-Boosting-GBDT
GBDT （梯度提升樹 Gradient Boosting Decision Tree ） GBDT是以決策樹（CART回歸樹）為弱學習器，應用加法模型的boosting算法...
-
決策樹-ID3，C4.5，CART決策樹 直觀上，決策樹是一個樹結構，從根節點開始，測試待分類項中相應的特征屬性（每次只測一個特征維度），并按照其值選擇輸出分支，直到到達葉子節點，將葉子節點存放的類別作為決策...
