機器學習

  • 分類


  • 訓練數據集


  • 檢驗


  • 如何檢測行人在哪里


  • 檢測問題轉化為分類問題


  • 邏輯回歸分類器



  • Softmax函數


  • 數值大小對Softmax函數預測結果的影響


  • 一位有效編碼


  • 交叉熵方法計算預測值與實際值的距離


  • Logistic多項式回歸法


  • 如何確定W，b：使正確分類距離小，錯誤分類距離大


  • 罰函數


  • 將機器學習問題轉化為數值優化問題


  • 梯度下降法


  • 尋找最優解方法的好壞


  • 標準化處理圖片像素的基礎數據


  • 尋找好的初始化值：均值為0，標準差為sigma的高斯分布中隨機抽樣，sigma決定了初始點輸出的數量級，sigma越大越武斷，越小越謹慎，訓練時先小后大比較合適


  • 訓練分類器的方法


  • 不斷使損失函數越來越小


  • 隨機梯度下降


  • 保存梯度的移動平均，代替一批數據的方向


  • 學習率衰減（接近目標的時候，步子要足夠小）


  • 模型的訓練速度越快，并不一定越好


  • 線性模型需要訓練的參數過多


  • 線性模型的局限性


  • 線性模型的定義


  • 線性模型的運算非常穩定


  • 線性函數的導數為常量


  • 無論你神經網絡有多少層，輸出都是輸入的線性組合，與只有一個隱藏層效果相當，如何得到非線性函數


  • 修正線性單元ReLU


  • 簡單的神經網絡


  • 反向傳播法，比起正向傳播，要花費2倍的運算與存儲空間


  • 為模型增加更深的層次，使得模型效果更好


  • 通過讓網絡變深的方式，可以讓模型參數變少，表現變好


  • 更深的模型，往往會出現層次化的結構


  • 防止過擬合的方法：早停


  • 防止過擬合的方法：正則化


  • L2正則化：核心：在罰函數中加入額外一項，削減大權重的影響，但這樣就不可避免的引入了新參數需要調試


  • 丟棄法


最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容