TensorFlow從0到1系列回顧

前面的14 交叉熵?fù)p失函數(shù)——防止學(xué)習(xí)緩慢和15 重新思考神經(jīng)網(wǎng)絡(luò)初始化從學(xué)習(xí)緩慢問題入手，嘗試改進(jìn)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。本篇討論過擬合問題，并引入與之相對(duì)的L2正則化（Regularization）方法。

overfitting，來源：http://blog.algotrading101.com

無處不在的過擬合

模型對(duì)于已知數(shù)據(jù)的描述適應(yīng)性過高，導(dǎo)致對(duì)新數(shù)據(jù)的泛化能力不佳，我們稱模型對(duì)于數(shù)據(jù)過擬合（overfitting）。

過擬合無處不在。

羅素的火雞對(duì)自己的末日始料未及，曾真理般存在的牛頓力學(xué)淪為狹義相對(duì)論在低速情況下的近似，次貸危機(jī)破滅了美國(guó)買房只漲不跌的神話，血戰(zhàn)鋼鋸嶺的醫(yī)療兵Desmond也并不是懦夫。

凡是基于經(jīng)驗(yàn)的學(xué)習(xí)，都存在過擬合的風(fēng)險(xiǎn)。動(dòng)物、人、機(jī)器都不能幸免。

Russell's Turkey，來源：http://chaospet.com/115-russells-turkey/g

誰(shuí)存在過擬合？

對(duì)于一些離散的二維空間中的樣本點(diǎn)，下面兩條曲線誰(shuí)存在過擬合？

誰(shuí)存在過擬合？

遵循奧卡姆剃刀的一派，主張“如無必要,勿增實(shí)體”。他們相信相對(duì)簡(jiǎn)單的模型泛化能力更好：上圖中的藍(lán)色直線，雖然只有很少的樣本點(diǎn)直接落在它上面，但是不妨認(rèn)為這些樣本點(diǎn)或多或少包含一些噪聲。基于這種認(rèn)知，可以預(yù)測(cè)新樣本也會(huì)在這條直線附近出現(xiàn)。

或許很多時(shí)候，傾向簡(jiǎn)單會(huì)占上風(fēng)，但是真實(shí)世界的復(fù)雜性深不可測(cè)。雖然在自然科學(xué)中，奧卡姆剃刀被作為啟發(fā)性技巧來使用，幫助科學(xué)家發(fā)展理論模型工具，但是它并沒有被當(dāng)做邏輯上不可辯駁的定理或者科學(xué)結(jié)論。總有簡(jiǎn)單模型表達(dá)不了，只能通過復(fù)雜模型來描述的事物存在。很有可能紅色的曲線才是對(duì)客觀世界的真實(shí)反映。

康德為了對(duì)抗奧卡姆剃刀產(chǎn)生的影響，創(chuàng)建了他自己的反剃刀：“存在的多樣性不應(yīng)被粗暴地忽視”。

阿爾伯特·愛因斯坦告誡：“科學(xué)理論應(yīng)該盡可能簡(jiǎn)單，但不能過于簡(jiǎn)單。”

所以僅從上圖來判斷，一個(gè)理性的回答是：不知道。即使是如此簡(jiǎn)單的二維空間情況下，在沒有更多的新樣本數(shù)據(jù)做出驗(yàn)證之前，不能僅通過模型形式的簡(jiǎn)單或復(fù)雜來判定誰(shuí)存在過擬合。

過擬合的判斷

二維、三維的模型，本身可以很容易的繪制出來，當(dāng)新的樣本出現(xiàn)后，通過觀察即可大致判斷模型是否存在過擬合。

然而現(xiàn)實(shí)情況要復(fù)雜的多。對(duì)MNIST數(shù)字識(shí)別所采用的3層感知器——輸入層784個(gè)神經(jīng)元，隱藏層30個(gè)神經(jīng)元，輸出層10個(gè)神經(jīng)元，包含23860個(gè)參數(shù)（23860 = 784 x 30 + 30 x 10 + 30 + 10），靠繪制模型來觀察是不現(xiàn)實(shí)的。

最有效的方式是通過識(shí)別精度判斷模型是否存在過擬合：比較模型對(duì)驗(yàn)證集和訓(xùn)練集的識(shí)別精度，如果驗(yàn)證集識(shí)別精度大幅低于訓(xùn)練集，則可以判斷模型存在過擬合。

至于為什么是驗(yàn)證集而不是測(cè)試集，請(qǐng)復(fù)習(xí)11 74行Python實(shí)現(xiàn)手寫體數(shù)字識(shí)別中“驗(yàn)證集與超參數(shù)”一節(jié)。

然而靜態(tài)的比較已訓(xùn)練模型對(duì)兩個(gè)集合的識(shí)別精度無法回答一個(gè)問題：過擬合是什么時(shí)候發(fā)生的？

要獲得這個(gè)信息，就需要在模型訓(xùn)練過程中動(dòng)態(tài)的監(jiān)測(cè)每次迭代（Epoch）后訓(xùn)練集和驗(yàn)證集的識(shí)別精度，一旦出現(xiàn)訓(xùn)練集識(shí)別率繼續(xù)上升而驗(yàn)證集識(shí)別率不再提高，就說明過擬合發(fā)生了。

這種方法還會(huì)帶來一個(gè)額外的收獲：確定作為超參數(shù)之一的迭代數(shù)（Epoch Number）的量級(jí)。更進(jìn)一步，甚至可以不設(shè)置固定的迭代次數(shù)，以過擬合為信號(hào)，一旦發(fā)生就提前停止（early stopping）訓(xùn)練，避免后續(xù)無效的迭代。

過擬合監(jiān)測(cè)

了解了過擬合的概念以及監(jiān)測(cè)方法，就可以開始分析我們訓(xùn)練MNIST數(shù)字識(shí)別模型是否存在過擬合了。

所用代碼：tf_16_mnist_loss_weight.py。它在12 TensorFlow構(gòu)建3層NN玩轉(zhuǎn)MNIST代碼的基礎(chǔ)上，使用了交叉熵?fù)p失，以及1/sqrt(n_in)權(quán)重初始化：

• 1個(gè)隱藏層，包含30個(gè)神經(jīng)元；
• 學(xué)習(xí)率：3.0；
• 迭代數(shù)：30次；
• mini batch：10；

訓(xùn)練過程中，分別對(duì)訓(xùn)練集和驗(yàn)證集的識(shí)別精度進(jìn)行了跟蹤，如下圖所示，其中紅線代表訓(xùn)練集識(shí)別率，藍(lán)線代表測(cè)試集識(shí)別率。圖中顯示，大約在第15次迭代前后，測(cè)試集的識(shí)別精度穩(wěn)定在95.5%不再提高，而訓(xùn)練集的識(shí)別精度仍然繼續(xù)上升，直到30次迭代全部結(jié)束后達(dá)到了98.5%，兩者相差3%。

由此可見，模型存在明顯的過擬合的特征。

訓(xùn)練集和驗(yàn)證集識(shí)別精度（基于TensorBoard繪制）

過擬合的對(duì)策：L2正則化

對(duì)抗過擬合最有效的方法就是增加訓(xùn)練數(shù)據(jù)的完備性，但它昂貴且有限。另一種思路是減小網(wǎng)絡(luò)的規(guī)模，但它可能會(huì)因?yàn)橄拗屏四Ｐ偷谋磉_(dá)潛力而導(dǎo)致識(shí)別精度整體下降。

本篇引入L2正則化（Regularization），可以在原有的訓(xùn)練數(shù)據(jù)，以及網(wǎng)絡(luò)架構(gòu)不縮減的情況下，有效避免過擬合。L2正則化即在損失函數(shù)C的表達(dá)式上追加L2正則化項(xiàng)：

L2正則化

上式中的C₀代表原損失函數(shù)，可以替換成均方誤差、交叉熵等任何一種損失函數(shù)表達(dá)式。

關(guān)于L2正則化項(xiàng)的幾點(diǎn)說明：

• 求和∑是對(duì)網(wǎng)絡(luò)中的所有權(quán)重進(jìn)行的；
• λ（lambda）為自定義參數(shù)（超參數(shù)）；
• n是訓(xùn)練樣本的數(shù)量（注意不是所有權(quán)重的數(shù)量！）；
• L2正則化并沒有偏置參與；

該如何理解正則化呢？

對(duì)于使網(wǎng)絡(luò)達(dá)到最小損失的權(quán)重w，很可能有非常多不同分布的解：有的均值偏大、有的偏小，有的分布均勻，有的稀疏。那么在這個(gè)w的解空間里，該如何挑選相對(duì)更好的呢？正則化通過添加約束的方式，幫我們找到一個(gè)方向。

L2正則化表達(dá)式暗示著一種傾向：訓(xùn)練盡可能的小的權(quán)重，較大的權(quán)重需要保證能顯著降低原有損失C₀才能保留。

至于正則化為何能有效的緩解過擬合，這方面數(shù)學(xué)解釋其實(shí)并不充分，更多是基于經(jīng)驗(yàn)的認(rèn)知。

L2正則化的實(shí)現(xiàn)

因?yàn)樵谠袚p失函數(shù)中追加了L2正則化項(xiàng)，那么是不是得修改現(xiàn)有反向傳播算法（BP1中有用到C的表達(dá)式）？答案是不需要。

C對(duì)w求偏導(dǎo)數(shù)，可以拆分成原有C₀對(duì)w求偏導(dǎo)，以及L2正則項(xiàng)對(duì)w求偏導(dǎo)。前者繼續(xù)利用原有的反向傳播計(jì)算方法，而后者可以直接計(jì)算得到：

C對(duì)于偏置b求偏導(dǎo)保持不變：

基于上述，就可以得到權(quán)重w和偏置b的更新方法：

TensorFlow實(shí)現(xiàn)L2正則化

TensorFlow的最優(yōu)化方法tf.train.GradientDescentOptimizer包辦了梯度下降、反向傳播，所以基于TensorFlow實(shí)現(xiàn)L2正則化，并不能按照上節(jié)的算法直接干預(yù)權(quán)重的更新，而要使用TensorFlow方式：

tf.add_to_collection(tf.GraphKeys.WEIGHTS, W_2)
tf.add_to_collection(tf.GraphKeys.WEIGHTS, W_3)
regularizer = tf.contrib.layers.l2_regularizer(scale=5.0/50000)
reg_term = tf.contrib.layers.apply_regularization(regularizer)

loss = (tf.reduce_mean(
    tf.nn.sigmoid_cross_entropy_with_logits(labels=y_, logits=z_3)) +
    reg_term)

對(duì)上述代碼的一些說明：

• 將網(wǎng)絡(luò)中所有層中的權(quán)重，依次通過tf.add_to_collectio加入到tf.GraphKeys.WEIGHTS中；
• 調(diào)用tf.contrib.layers.l2_regularizer生成L2正則化方法，注意所傳參數(shù)scale=λ/n(n為訓(xùn)練樣本的數(shù)量);
• 調(diào)用tf.contrib.layers.apply_regularization來生成損失函數(shù)的L2正則化項(xiàng)reg_term，所傳第一個(gè)參數(shù)為上面生成的正則化方法，第二個(gè)參數(shù)為none時(shí)默認(rèn)值為tf.GraphKeys.WEIGHTS；
• 最后將L2正則化reg_term項(xiàng)追加到損失函數(shù)表達(dá)式；

向原有損失函數(shù)追加L2正則化項(xiàng)，模型和訓(xùn)練設(shè)置略作調(diào)整：

• 1個(gè)隱藏層，包含100個(gè)神經(jīng)元；
• 學(xué)習(xí)率：0.5；
• 迭代數(shù)：30次；
• mini batch：10；

重新運(yùn)行訓(xùn)練，跟蹤訓(xùn)練集和驗(yàn)證集的識(shí)別精度，如下圖所示。圖中顯示，在整個(gè)30次迭代中，訓(xùn)練集和驗(yàn)證集的識(shí)別率均持續(xù)上升（都超過95%），最終兩者的差距控制在0.5%，過擬合程度顯著的減輕了。

需要注意的是，盡管正則化有效降低了驗(yàn)證集上過擬合程度，但是也降低了訓(xùn)練集的識(shí)別精度。所以在實(shí)現(xiàn)L2正則化時(shí)增加了隱藏層的神經(jīng)元數(shù)量（從30到100）來抵消識(shí)別精度的下降。

L2正則化（基于TensorBoard繪制）

附完整代碼

import argparse
import sys
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf

FLAGS = None


def main(_):
    # Import data
    mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True,
                                      validation_size=10000)

    # Create the model
    x = tf.placeholder(tf.float32, [None, 784])
    W_2 = tf.Variable(tf.random_normal([784, 100]) / tf.sqrt(784.0))
    '''W_2 = tf.get_variable(
        name="W_2",
        regularizer=regularizer,
        initializer=tf.random_normal([784, 30], stddev=1 / tf.sqrt(784.0)))'''
    b_2 = tf.Variable(tf.random_normal([100]))
    z_2 = tf.matmul(x, W_2) + b_2
    a_2 = tf.sigmoid(z_2)

    W_3 = tf.Variable(tf.random_normal([100, 10]) / tf.sqrt(100.0))
    '''W_3 = tf.get_variable(
        name="W_3",
        regularizer=regularizer,
        initializer=tf.random_normal([30, 10], stddev=1 / tf.sqrt(30.0)))'''
    b_3 = tf.Variable(tf.random_normal([10]))
    z_3 = tf.matmul(a_2, W_3) + b_3
    a_3 = tf.sigmoid(z_3)

    # Define loss and optimizer
    y_ = tf.placeholder(tf.float32, [None, 10])

    tf.add_to_collection(tf.GraphKeys.WEIGHTS, W_2)
    tf.add_to_collection(tf.GraphKeys.WEIGHTS, W_3)
    regularizer = tf.contrib.layers.l2_regularizer(scale=5.0 / 50000)
    reg_term = tf.contrib.layers.apply_regularization(regularizer)

    loss = (tf.reduce_mean(
        tf.nn.sigmoid_cross_entropy_with_logits(labels=y_, logits=z_3)) +
        reg_term)

    train_step = tf.train.GradientDescentOptimizer(0.5).minimize(loss)

    sess = tf.InteractiveSession()
    tf.global_variables_initializer().run()

    correct_prediction = tf.equal(tf.argmax(a_3, 1), tf.argmax(y_, 1))
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

    scalar_accuracy = tf.summary.scalar('accuracy', accuracy)
    train_writer = tf.summary.FileWriter(
        'MNIST/logs/tf16_reg/train', sess.graph)
    validation_writer = tf.summary.FileWriter(
        'MNIST/logs/tf16_reg/validation')

    # Train
    best = 0
    for epoch in range(30):
        for _ in range(5000):
            batch_xs, batch_ys = mnist.train.next_batch(10)
            sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
        # Test trained model
        accuracy_currut_train = sess.run(accuracy,
                                         feed_dict={x: mnist.train.images,
                                                    y_: mnist.train.labels})

        accuracy_currut_validation = sess.run(
            accuracy,
            feed_dict={x: mnist.validation.images,
                       y_: mnist.validation.labels})

        sum_accuracy_train = sess.run(
            scalar_accuracy,
            feed_dict={x: mnist.train.images,
                       y_: mnist.train.labels})

        sum_accuracy_validation = sess.run(
            scalar_accuracy,
            feed_dict={x: mnist.validation.images,
                       y_: mnist.validation.labels})

        train_writer.add_summary(sum_accuracy_train, epoch)
        validation_writer.add_summary(sum_accuracy_validation, epoch)

        print("Epoch %s: train: %s validation: %s"
              % (epoch, accuracy_currut_train, accuracy_currut_validation))
        best = (best, accuracy_currut_validation)[
            best <= accuracy_currut_validation]

    # Test trained model
    print("best: %s" % best)


if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--data_dir', type=str, default='../MNIST/',
                        help='Directory for storing input data')
    FLAGS, unparsed = parser.parse_known_args()
    tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)

下載 tf_16_mnist_loss_weight_reg.py

上一篇 15 重新思考神經(jīng)網(wǎng)絡(luò)初始化
下一篇 17 Step By Step上手TensorBoard

共享協(xié)議：署名-非商業(yè)性使用-禁止演繹（CC BY-NC-ND 3.0 CN）
轉(zhuǎn)載請(qǐng)注明：作者黑猿大叔（簡(jiǎn)書）