TensorFlow 里的線性函數

TensorFlow 里的權重和偏差

訓練神經網絡的目的是更新權重和偏差來更好地預測目標。為了使用權重和偏差，你需要一個能修改的 Tensor。這就排除了 tf.placeholder() 和 tf.constant()，因為它們的 Tensor 不能改變。這里就需要 tf.Variable 了。

tf.Variable()

x = tf.Variable(5)

tf.Variable 類創建一個 tensor，其初始值可以被改變，就像普通的 Python 變量一樣。該 tensor 把它的狀態存在 session 里，所以你必須手動初始化它的狀態。你將使用 tf.global_variables_initializer() 函數來初始化所有可變 tensor。

初始化

init = tf.global_variables_initializer()
with tf.Session() as sess:
    sess.run(init)

tf.global_variables_initializer() 會返回一個操作，它會從 graph 中初始化所有的 TensorFlow 變量。你可以通過 session 來調用這個操作來初始化所有上面的變量。用 tf.Variable 類可以讓我們改變權重和偏差，但還是要選擇一個初始值。

從正態分布中取隨機數來初始化權重是個好習慣。隨機化權重可以避免模型每次訓練時候卡在同一個地方。在下節學習梯度下降的時候，你將了解更多相關內容。

類似地，從正態分布中選擇權重可以避免任意一個權重與其他權重相比有壓倒性的特性。你可以用 tf.truncated_normal() 函數從一個正態分布中生成隨機數。

tf.truncated_normal()

n_features = 120
n_labels = 5
weights = tf.Variable(tf.truncated_normal((n_features, n_labels)))

tf.truncated_normal() 返回一個 tensor，它的隨機值取自一個正態分布，并且它們的取值會在這個正態分布平均值的兩個標準差之內。

因為權重已經被隨機化來幫助模型不被卡住，你不需要再把偏差隨機化了。讓我們簡單地把偏差設為 0。

tf.zeros()

n_labels = 5
bias = tf.Variable(tf.zeros(n_labels))

tf.zeros() 函數返回一個都是 0 的 tensor。

TensorFlow Softmax

Softmax 函數可以把它的輸入，通常被稱為 logits 或者 logit scores，處理成 0 到 1 之間，并且能夠把輸出歸一化到和為 1。這意味著 softmax 函數與分類的概率分布等價。它是一個網絡預測多分類問題的最佳輸出激活函數。

TensorFlow Softmax

當我們用 TensorFlow 來構建一個神經網絡時，相應地，它有一個計算 softmax 的函數。

x = tf.nn.softmax([2.0, 1.0, 0.2])

就是這么簡單，tf.nn.softmax() 直接為你實現了 softmax 函數，它輸入 logits，返回 softmax 激活函數。

# Solution is available in the other "solution.py" tab
import tensorflow as tf


def run():
    output = None
    logit_data = [2.0, 1.0, 0.1]
    logits = tf.placeholder(tf.float32)
    
    # TODO: Calculate the softmax of the logits
    softmax = tf.nn.softmax(logits)    
    
    
    with tf.Session() as sess:
        # TODO: Feed in the logit data
         output = sess.run(softmax,feed_dict={logits:logit_data})

    return output

TensorFlow 中的交叉熵（Cross Entropy）

與 softmax 一樣，TensorFlow 也有一個函數可以方便地幫我們實現交叉熵。

讓我們把你從視頻當中學到的知識，在 TensorFlow 中來創建一個交叉熵函數。創建一個交叉熵函數，你需要用到這兩個新的函數：

• tf.reduce_sum()
• tf.log()

Reduce Sum

x = tf.reduce_sum([1, 2, 3, 4, 5])  # 15

tf.reduce_sum() 函數輸入一個序列，返回它們的和

Natural Log

x = tf.log(100)  # 4.60517

tf.log() 所做跟你所想的一樣，它返回所輸入值的自然對數。

練習

用 softmax_data 和 one_hot_encod_label 打印交叉熵

# Solution is available in the other "solution.py" tab
import tensorflow as tf

softmax_data = [0.7, 0.2, 0.1]
one_hot_data = [1.0, 0.0, 0.0]

softmax = tf.placeholder(tf.float32)
one_hot = tf.placeholder(tf.float32)

# TODO: Print cross entropy from session
cross_entropy = -tf.reduce_sum(tf.multiply(one_hot, tf.log(softmax)))

with tf.Session() as sess:
    print(sess.run(cross_entropy, feed_dict={softmax: softmax_data, one_hot: one_hot_data}))

參考 https://cn.udacity.com/