1：優化器。機器學習訓練的目的在于更新參數，優化目標函數，常見優化器有SGD，Adagrad，Adadelta，Adam，Adamax，Nadam。其中SGD和Adam優化器是最為常用的兩種優化器，SGD根據每個batch的數據計算一次局部的估計，最小化代價函數。學習速率決定了每次步進的大小，因此我們需要選擇一個合適的學習速率進行調優。學習速率太大會導致不收斂，速率太小收斂速度慢。因此SGD通常訓練時間更長，但是在好的初始化和學習率調度方案的情況下，結果更可靠。Adam優化器結合了Adagrad善于處理稀疏梯度和RMSprop善于處理非平穩目標的優點，能夠自動調整學習速率，收斂速度更快，在復雜網絡中表現更優。

2：學習速率。學習速率的設置第一次可以設置大一點的學習率加快收斂，后續慢慢調整；也可以采用動態變化學習速率的方式（比如，每一輪乘以一個衰減系數或者根據損失的變化動態調整學習速率）。

3：dropout。數據第一次跑模型的時候可以不加dropout，后期調優的時候dropout用于防止過擬合有比較明顯的效果，特別是數據量相對較小的時候。dropout的原理是使一部分神經元失效，僅僅保留一部分神經元的計算，因此添加dropout層的位置為cnn或者lstm層之后。機器學習的目標是優化方差和偏差，而過擬合是機器學習常見的問題，dropout能降低過擬合，其原因在于dropout使部分神經元失效之后，每次模型都只學到部分的特征（類似于隨機深林），降低了模型了方差。

4：變量初始化。常見的變量初始化有零值初始化、隨機初始化、均勻分布初始值、正態分布初始值和正交分布初始值。一般采用正態分布或均勻分布的初始化值，有的論文說正交分布的初始值能帶來更好的效果。實驗的時候可以才正態分布和正交分布初始值做一個嘗試。

5：訓練輪數。模型收斂即可停止迭代，一般可采用驗證集作為停止迭代的條件。如果連續幾輪模型損失都沒有相應減少，則停止迭代。

6：正則化。為了防止過擬合，可通過加入l1、l2正則化。從公式可以看出，加入l1正則化的目的是為了加強權值的稀疏性，讓更多值接近于零。而l2正則化則是為了減小每次權重的調整幅度，避免模型訓練過程中出現較大抖動。

7：預訓練。對需要訓練的語料進行預訓練可以加快訓練速度，并且對于模型最終的效果會有少量的提升，常用的預訓練工具有word2vec和glove。

8：激活函數。常用的激活函數為sigmoid、tanh、relu、leaky relu、elu。采用sigmoid激活函數計算量較大，而且sigmoid飽和區變換緩慢，求導趨近于0，導致梯度消失。sigmoid函數的輸出值恒大于0，這會導致模型訓練的收斂速度變慢。tanh它解決了zero-centered的輸出問題，然而，gradient vanishing的問題和冪運算的問題仍然存在。relu從公式上可以看出，解決了gradient vanishing問題并且計算簡單更容易優化，但是某些神經元可能永遠不會被激活，導致相應的參數永遠不能被更新（Dead ReLU Problem）；leaky relu有relu的所有優點，外加不會有Dead ReLU問題，但是在實際操作當中，并沒有完全證明leaky relu總是好于relu。elu也是為解決relu存在的問題而提出，elu有relu的基本所有優點，但計算量稍大，并且沒有完全證明elu總是好于relu。

9：特征學習函數。常用的特征學習函數有cnn、rnn、lstm、gru。cnn注重詞位置上的特征，而具有時序關系的詞采用rnn、lstm、gru抽取特征會更有效。gru是簡化版的lstm，具有更少的參數，訓練速度更快。但是對于足夠的訓練數據，為了追求更好的性能可以采用lstm模型。

10：特征抽取。max-pooling、avg-pooling是深度學習中最常用的特征抽取方式。max-pooling是抽取最大的信息向量，然而當存在多個有用的信息向量時，這樣的操作會丟失大量有用的信息。avg-pooling是對所有信息向量求平均，當僅僅部分向量相關而大部分向量無關時，會導致有用信息向量被噪聲淹沒。針對這樣的情況，在有多個有用向量的情形下盡量在最終的代表向量中保留這些有用的向量信息，又想在只有一個顯著相關向量的情形下直接提取該向量做代表向量，避免其被噪聲淹沒。那么解決方案只有：加權平均，即Attention。

11：每輪訓練數據亂序。每輪數據迭代保持不同的順序，避免模型每輪都對相同的數據進行計算。

12：batch_size選擇。對于小數據量的模型，可以全量訓練，這樣能更準確的朝著極值所在的方向更新。但是對于大數據，全量訓練將會導致內存溢出，因此需要選擇一個較小的batch_size。如果這時選擇batch_size為1，則此時為在線學習，每次修正方向為各自樣本的梯度方向修正，難以達到收斂。batch_size增大，處理相同數據量的時間減少，但是達到相同精度的輪數增多。實際中可以逐步增大batch_size，隨著batch_size增大，模型達到收斂，并且訓練時間最為合適。