https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1174/syllabus.html 第一次作業筆記

Softmax

softmax常數不變性

$softmax(x_i) = \frac{e^{x_i}}{\sum_j{e^{x_j}}}$

$\begin{align} (softmax(x + c))_{i}= \frac{e^{x_{i} + c}}{\sum_{j} e^{x_{j} + c}} = \frac{e^{x_{i}} \times e^{c}}{e^{c} \times \sum_{j} e^{x_{j}}} \nonumber \\ = \frac{e^{x_{i}} \times {e^{c}}}{{e^{c}} \times \sum_{j} e^{x_{j}}} = (softmax(x))_{i} \nonumber \end{align}$

由于 $e^{x+y}=e^x * e^y$ ，因此多余的 $e^c$ 可以上下消除，于是：
這里

$softmax(x) = softmax(x + c)$

發現了一個Softmax非常好的性質，即使兩個數都很大比如 1000與 1001，其結果與 1和2的結果相同，即其只關注數字之間的差，而不是差占的比例。

Python實現

之所以介紹Softmax常數不變性，是因為發現給定的測試用例非常大，直接計算 $e^x$ 次方

import numpy as np


def softmax(x):
    orig_shape = x.shape

    if len(x.shape) > 1:
        # Matrix
        ### YOUR CODE HERE
        x_max = np.max(x, axis=1).reshape(x.shape[0], 1)
        x -= x_max
        exp_sum = np.sum(np.exp(x), axis=1).reshape(x.shape[0], 1)
        x = np.exp(x) / exp_sum 
        ### END YOUR CODE
    else:
        # Vector
        ### YOUR CODE HERE
        x_max = np.max(x)
        x -= x_max
        exp_sum = np.sum(np.exp(x))
        x = np.exp(x) / exp_sum
        ### END YOUR CODE
        #or:  x = (np.exp(x)/sum(np.exp(x)))   

    assert x.shape == orig_shape
    return x

def test_softmax_basic():
    """
    Some simple tests to get you started.
    Warning: these are not exhaustive.
    """
    print("Running basic tests...")
    test1 = softmax(np.array([1,2]))
    print(test1)
    ans1 = np.array([0.26894142,  0.73105858])
    assert np.allclose(test1, ans1, rtol=1e-05, atol=1e-06)

    test2 = softmax(np.array([[1001,1002],[3,4]]))
    print(test2)
    ans2 = np.array([
        [0.26894142, 0.73105858],
        [0.26894142, 0.73105858]])
    assert np.allclose(test2, ans2, rtol=1e-05, atol=1e-06)

    test3 = softmax(np.array([[-1001,-1002]]))
    print(test3)
    ans3 = np.array([0.73105858, 0.26894142])
    assert np.allclose(test3, ans3, rtol=1e-05, atol=1e-06)

    print("You should be able to verify these results by hand!\n")

if __name__ == "__main__":
    test_softmax_basic()

神經網絡基礎

梯度檢查

image

Sigmoid導數

定義 $\sigma(x)$ 如下，發現 $\sigma(x) + \sigma(-x) = 1$ 。
$\sigma(x) &= \frac{1}{1 + e^{-x}} = \frac{e^x}{e^x + 1}\\ \sigma(-x) &= \frac{1}{1 + e^{x}} = \frac{e^x+1}{e^x + 1} - \frac{e^x}{e^x + 1}=1-\sigma(x)$

image

即: $\sigma' = \sigma(x) \times (1-\sigma(x))$

交叉熵定義

當使用交叉熵作為評價指標時，求梯度：

已知: $\hat{y} = softmax(\theta)$
交叉熵： $CE(y,\hat{y}) = - \sum_i{y_i \times log(\hat{y_i})}$

其中 $\boldsymbol{y}$ 是指示變量，如果該類別和樣本的類別相同就是1，否則就是0。因為y一般為one-hot類型。

而 $\hat{y_i}$ 表示每種類型的概率，概率已經過softmax計算。

對于交叉熵其實有多重定義的方式，但含義相同：

分別為：

二分類定義

$\begin{align}J = ?[y\cdot log(p)+(1?y)\cdot log(1?p)]\end{align} \\$

y——表示樣本的label，正類為1，負類為0
p——表示樣本預測為正的概率

多分類定義

$\begin{align}J = -\sum_{c=1}^My_{c}\log(p_{c})\end{align} \\$

y——指示變量（0或1）,如果該類別和樣本的類別相同就是1，否則是0；
p——對于觀測樣本屬于類別c的預測概率。

但表示的意思都相同，交叉熵用于反映 分類正確時的概率情況。

Softmax導數

進入解答：

首先定義 $S_i$ 和分子分母。

$S_i = softmax(\theta) = \frac{f_i}{g_i} = \frac{e^{\theta_i}}{\sum^{k}_{k=1}e^{\theta_k}}$

$S_i$ 對 $\theta_j$ 求導：

$\begin{align} \frac{\partial{S_i}}{\partial{\theta_j}} &= \frac{f_i'g_i - f_ig_i'}{g_i}\\ &=\frac{(e^{\theta_i})'\sum^{k}_{k=1}e^{\theta_k} - e^{\theta_i}(\sum^{k}_{k=1}e^{\theta_k})'}{(\sum^{k}_{k=1}e^{\theta_k})^2}\end{align}$

注意: $S_i$ 分子是 $\theta_i$ ，分母是所有的 $\theta$ ，而求偏微的是 $\theta_j$ 。

因此，根據i與j的關系，分為兩種情況：

當 $i == j$ 時：

$f_i' = e^{\theta_i}$,$g_i' = e^{\theta_j}$ 



$\begin{align} \frac{\partial{S_i}}{\partial{\theta_j}} &=\frac{e^{\theta_i}\sum^{k}_{k=1}e^{\theta_k} - e^{\theta_i}e^{\theta_j}}{(\sum^{k}_{k=1}e^{\theta_k})^2} \\ &= \frac{e^{\theta_{i}}}{\sum_{k} e^{\theta_{k}}} \times \frac{\sum_{k} e^{\theta_{k}} – e^{\theta_{j}}}{\sum_{k} e^{\theta_{k}}} \nonumber \\  &= S_{i} \times (1 – S_{i})   \end{align}$

當 $i \not= j$ 時：

$f'_{i} = 0 $,$g'_{i} = e^{\theta_{j}}$ 



$\begin{align}  \frac{\partial{S_i}}{\partial{\theta_j}} &= \frac{0 – e^{\theta_{j}} e^{\theta_{i}}}{(\sum_{k} e^{\theta_{k}})^{2}}  \\&= – \frac{e^{\theta_{j}}}{\sum_{k} ^{\theta_{k}}} \times \frac{e^{\theta_{i}}}{\sum_{k} e^{\theta_{k}}} \\ &=-S_j \times S_i\end{align}$

交叉熵梯度

計算 $\frac{\partial{CE}}{\partial{\theta_i}}$ ，根據鏈式法則， $\frac{\partial{CE}}{\partial{\theta_i}} = \frac{\partial{CE}}{\partial{S_i}}\frac{\partial{S_i}}{\partial{\theta_j}}$

$\hat{y} = softmax(\theta)$
$CE(y,\hat{y}) = - \sum_k{y_k log(\hat{y_k})}$

$\begin{align}      \frac{\partial CE}{\partial \theta_{i}} &= – \sum_{k} y_{k} \frac{\partial log S_{k}}{\partial \theta_{i}}  \\&= – \sum_{k} y_{k} \frac{1}{S_{k}} \frac{\partial S_{k}}{\partial \theta_{i}} \\ &= – y_{i} (1 – S_{i}) – \sum_{k \ne i} y_{k} \frac{1}{S_{k}} (-S_{k} \times S_{i}) \\ &= – y_{i} (1 – S_{i}) + \sum_{k \ne i} y_{k} S_{i} \\ &= S_{i}(\sum_{k} y_{k}) – y_{i}\end{align}$

因為 $\sum_{k} y_{k}=1$ ，所以 $\frac{\partial CE}{\partial \theta_{i}} = S_i - y_i = \hat{y} - y$

反向傳播計算神經網絡梯度

根據題目給定的定義：

image

已知損失函數 $J = CE$ ， $h = sigmoid(xW_1+b_1)$ , $\hat{y} = softmax(hW_2+b_2)$

求 $\frac{\partial{J}}{\partial{x}}$ , $\frac{\partial{J}}{\partial{W_2}}$ , $\frac{\partial{J}}{\partial{W1}}$ , $\frac{\partial{J}}{\partial{b2}}$ , $\frac{\partial{J}}{\partial{b_1}}$

解答：

反向傳播，定義 $z_2 = hW_2 + b_2$ ， $z_1 = xW_1 + b_1$ ：

對于輸出層 $\hat{y}$ 來說， $\hat{y}$ 的輸入為 $z_2 = hW_2+b_2$ ，而輸出則為 $\hat{y} = softmax(z_2)$

上小節計算得到 $CE(y,\hat{y}) = - \sum_k{y_k log(\hat{y_k})}$ 的梯度為 $\frac{\partial CE}{\partial \theta_{i}} = \hat{y} - y$ ,

可以使用 $z_2$ 替代 $\theta_i$ ，得到

$\delta_1 = \frac{\partial{CE}}{\partial{z_2}} = \hat{y} - y$
$\begin{align} \delta_2 = \frac{\partial{CE}}{\partial{h}} = \frac{\partial{CE}}{\partial{z_2}} \frac{\partial{z_2}}{\partial{h}} = \delta_1W_2^T \end{align}$
$\begin{align}\delta_3 = \frac{\partial{CE}}{z_1} = \frac{\partial{CE}}{\partial{h}}\frac{\partial{h}}{\partial{z_1}} = \delta_2 \frac{\partial{h}}{\partial{z_1}}= \delta_2 \circ \sigma'(z_1)\end{align}$ # 推測這里使用點乘的原因是 $\delta_2$ 經過計算后，應該是一個標量，而不是向量。
于是得到： $\frac{\partial{CE}}{\partial{x}}=\delta_3\frac{\partial{z_1}}{\partial{x}} = \delta_3W_1^T$

與計算 $\frac{\partial{CE}}{\partial{x}}$ 相似，計算

$\frac{\partial{CE}}{\partial{W_2}} = \frac{\partial{CE}}{\partial{z_2}}\frac{\partial{z_2}}{\partial{W_2}}=\delta_1 \cdot h$
$\frac{\partial{CE}}{\partial{b_2}} = \frac{\partial{CE}}{\partial{z_2}}\frac{\partial{z_2}}{\partial{b_2}}=\delta_1$
$\frac{\partial{CE}}{\partial{W_1}} = \frac{\partial{CE}}{\partial{z_1}}\frac{\partial{z_1}}{\partial{W_1}}=\delta_3 \cdot x$
$\frac{\partial{CE}}{\partial{b_1}} = \frac{\partial{CE}}{\partial{z_1}}\frac{\partial{z_1}}{\partial{b_1}}=\delta_3$

如果仍然對反向傳播有疑惑

可以參考一文弄懂神經網絡中的反向傳播法——BackPropagation，畫圖出來推導一下。
如何直觀地解釋 backpropagation 算法？ - Anonymous的回答 - 知乎
https://www.zhihu.com/question/27239198/answer/89853077

參數數量

$\begin{align} n_{W_{1}} &= D_{x} \times H \\ n_{b_{1}} &= H \\ n_{W_{2}} &= H \times D_{y} \\ n_{b_{2}} &= D_{y} \\ N &= (D_{x} \times H) + H + (H \times D_{y}) + D_{y} \\ &=(D_x+1)\times H+(H+1)\times D_y \end{align}$

代碼實現

sigmoid和對應的梯度

def sigmoid(x):
    s = 1 / (1 + np.exp(-x))
    return s

def sigmoid_grad(s):
    ds = s * (1-s)
    return ds

梯度檢查

import numpy as np
import random


# First implement a gradient checker by filling in the following functions
def gradcheck_naive(f, x):
    """ Gradient check for a function f.

    Arguments:
    f -- a function that takes a single argument and outputs the
         cost and its gradients
    x -- the point (numpy array) to check the gradient at
    """

    rndstate = random.getstate()
    random.setstate(rndstate)
    fx, grad = f(x) # Evaluate function value at original point
    h = 1e-4        # Do not change this!

    # Iterate over all indexes in x
    it = np.nditer(x, flags=['multi_index'], op_flags=['readwrite'])
    while not it.finished:
        ix = it.multi_index
        print(ix)
        # Try modifying x[ix] with h defined above to compute
        # numerical gradients. Make sure you call random.setstate(rndstate)
        # before calling f(x) each time. This will make it possible
        # to test cost functions with built in randomness later.

        ### YOUR CODE HERE:
        x[ix] += h
        new_f1 = f(x)[0]
        x[ix] -= 2*h
        random.setstate(rndstate)
        new_f2 = f(x)[0]
        x[ix] += h
        numgrad = (new_f1 - new_f2) / (2 * h)
        ### END YOUR CODE

        # Compare gradients
        reldiff = abs(numgrad - grad[ix]) / max(1, abs(numgrad), abs(grad[ix]))
        if reldiff > 1e-5:
            print("Gradient check failed.")
            print("First gradient error found at index %s" % str(ix))
            print("Your gradient: %f \t Numerical gradient: %f" % (
                grad[ix], numgrad))
            return

        it.iternext() # Step to next dimension

    print("Gradient check passed!")

反向傳播

  def forward_backward_prop(data, labels, params, dimensions):
      """
      Forward and backward propagation for a two-layer sigmoidal network
      Compute the forward propagation and for the cross entropy cost,
      and backward propagation for the gradients for all parameters.
      Arguments:
      data -- M x Dx matrix, where each row is a training example.
      labels -- M x Dy matrix, where each row is a one-hot vector.
      params -- Model parameters, these are unpacked for you.
      dimensions -- A tuple of input dimension, number of hidden units
                    and output dimension
      """
      ### Unpack network parameters (do not modify)
      ofs = 0
      Dx, H, Dy = (dimensions[0], dimensions[1], dimensions[2])
      W1 = np.reshape(params[ofs:ofs+ Dx * H], (Dx, H))
      ofs += Dx * H
      b1 = np.reshape(params[ofs:ofs + H], (1, H))
      ofs += H
      W2 = np.reshape(params[ofs:ofs + H * Dy], (H, Dy))
      ofs += H * Dy
      b2 = np.reshape(params[ofs:ofs + Dy], (1, Dy))
      ### YOUR CODE HERE: forward propagation
      h = sigmoid(np.dot(data,W1) + b1)
      yhat = softmax(np.dot(h,W2) + b2)
      ### END YOUR CODE
      ### YOUR CODE HERE: backward propagation
      cost = np.sum(-np.log(yhat[labels==1])) 
      
      d1 = (yhat - labels)
      gradW2 = np.dot(h.T, d1)
      gradb2 = np.sum(d1,0,keepdims=True)
      
      d2 = np.dot(d1,W2.T)
      # h = sigmoid(z_1)
      d3 = sigmoid_grad(h) * d2
      gradW1 = np.dot(data.T,d3)
      gradb1 = np.sum(d3,0)
      
      ### END YOUR CODE
      ### Stack gradients (do not modify)
      grad = np.concatenate((gradW1.flatten(), gradb1.flatten(),
          gradW2.flatten(), gradb2.flatten()))
      return cost, grad

word2vec

關于詞向量的梯度

在以softmax為假設函數的word2vec中

$\begin{align} \hat{\boldsymbol{y}}_{o} = p(\boldsymbol{o} \vert \boldsymbol{c}) =\frac{exp(\boldsymbol{u}_{0}^{T} \boldsymbol{v}_{c})}{\sum\limits_{w=1}^{W} exp(\boldsymbol{u}_{w}^{T} \boldsymbol{v}_{c})} \end{align}$

$\boldsymbol{v}_{c}$ 是中央單詞的詞向量

$\boldsymbol{u}_{w}$ ( $w = 1,...,W$ ) 是第 $w$ 個詞語的詞向量。

假設使用交叉熵作為損失函數， $\boldsymbol{o}$ 為正確單詞 (one-hot向量的第 $\boldsymbol{o}$ 維為1)，請推導損失函數關于 $\boldsymbol{v}_c$ 的梯度。

提示：

$\begin{align}J_{softmax-CE}(\boldsymbol{o}, \boldsymbol{v}_{c}, \boldsymbol{U}) = CE(\boldsymbol{y}, \hat{\boldsymbol{y}})\end{align}$

其中 $\boldsymbol{U}$ = $[\boldsymbol{u}_{1}$ , $\boldsymbol{u}_{1}$ , $\dots$ , $\boldsymbol{u}_{W}]$ 是所有詞向量構成的矩陣。

解答：

首先明確本題給定的模型是skip-gram ，通過給定中心詞，來發現周圍詞的。

定義 $z=U^T \cdot v_c$ ， $U$ 表示所有詞向量組成的矩陣，而 $v_c$ 也表示的是一個詞向量。

hint: 如果兩個向量相似性越高，則乘積也就越大。想象一下余弦夾角，應該比較好明白。

因為 $U$ 中所有的詞向量，都和 $v_c$ 乘一下獲得 $z$ 。

$z$ 是干嘛用的呢？ $z$ 內就有W個值，每個值表示和 $v_c$ 相似程度，通過這個相似度 $softmax$ 選出最大值，然后與實際對比，進行交叉熵的計算。

已知： $\frac{\partial z}{\partial v_c} = U$ 和 $\frac{\partial J}{\partial \boldsymbol{z}} = (\hat{\boldsymbol{y}} -\boldsymbol{y})$

因此： $\frac{\partial J}{\partial{v_c}} =\frac{\partial J}{\partial \boldsymbol{z}} \frac{\partial z}{\partial v_c} = U(\hat{\boldsymbol{y}} -\boldsymbol{y})$

除了上述表示之外，還有另一種計算方法

image

[圖片上傳失敗...(image-53cc75-1557025564256)]

于是： $\frac{\partial J}{\partial{v_c}} = -u_i + \sum^{W}_{w=1}\hat{y_w}u_w$

仔細觀察這兩種寫法，會發現其實是一回事，都是觀察與期望的差( $\hat{y} - y$ )。

推導lookup-table梯度

與詞向量相似

$\frac{\partial J}{\partial{U}} =\frac{\partial J}{\partial \boldsymbol{z}} \frac{\partial z}{\partial U} = v_c(\hat{\boldsymbol{y}} -\boldsymbol{y})^{T}$

負采樣時的梯度推導

假設進行負采樣，樣本數為 $\boldsymbol{K}$ ，正確答案為 $\boldsymbol{o}$ ，那么有 $o \notin \{1,...,K\}$ 。負采樣損失函數定義如下：

$\begin{align}J_{neg-sample}(\boldsymbol{o}, \boldsymbol{v}_{c}, \boldsymbol{U}) = ? log(\sigma(\boldsymbol{u}_{o}^{T} \boldsymbol{v}_{c})) - \sum\limits_{k=1}^{K} log(\sigma(-\boldsymbol{u}_{k}^{T} \boldsymbol{v}_{c})) \end{align}$

其中：

$\begin{align}\sigma(x) = \frac{1}{1 + e^{-x}} \nonumber \\= \frac{e^{x}}{1 + e^{x}} \nonumber \end{align}$

$\frac{\partial}{\partial x} \sigma(x) = \sigma(x) \times (1 - \sigma(x))$

解答：

首先說明一下， $J_{neg-sample}$ 從哪里來的，參考note1 第11頁，會有一個非常詳細的解釋。

$\begin{align} \frac{\partial J}{\partial v_c}&=\left(\sigma(u_o^Tv_c)-1\right)u_o-\sum_{k=1}^K\left(\sigma(-u_k^Tv_c)-1\right)u_k\\ \frac{\partial J}{\partial u_o}&=\left(\sigma(u_o^Tv_c)-1\right)v_c\\ \frac{\partial J}{\partial u_k}&=-\left(\sigma(-u_k^Tv_c)-1\right)v_c\\ \end{align}$

全部梯度

推導窗口半徑 $m$ 的上下文[word $_{c?m}$ ,...,word $_{c?1}$ ,word $_{c}$ ,word $_{c+1}$ ,...,word $_{c+m}$ ]時，skip-gram 和 CBOW的損失函數 $F(\boldsymbol{o}, \boldsymbol{v}_{c})$ ( $\boldsymbol{o}$ 是正確答案的詞向量）或說 $J_{softmax-CE}(\boldsymbol{o},\boldsymbol{v}_{c},\dots)$ 或 $J_{neg-sample}(\boldsymbol{o},\boldsymbol{v}_{c},\dots)$ 關于每個詞向量的梯度。

對于skip-gram來講， $c$ 的上下文對應的損失函數是：

$\begin{align} J_{skip-gram}(word_{c-m \dots c+m})= \sum\limits_{-m \leq j \leq m, j \ne 0} F(\boldsymbol{w}_{c+j}, \boldsymbol{v}_{c})\end{align}$

這里? $\boldsymbol{w}_{c+j}$ 是離中心詞距離 $j$ 的那個單詞。

而CBOW稍有不同，不使用中心詞 $\boldsymbol{v}_{c}$ 而使用上下文詞向量的和 $\hat{\boldsymbol{v}}$ 作為輸入去預測中心詞：

$\begin{align} \hat{\boldsymbol{v}} = \sum\limits_{-m \leq j \leq m, j \ne 0} \boldsymbol{v}_{c+j}\end{align}$

然后CBOW的損失函數是：

$\begin{align} J_{CBOW}(word_{c-m \dots c+m})= F(\boldsymbol{w}_{c}, \hat{\boldsymbol{v}})\end{align}$

解答：

根據前面的推導，知道如何得到梯度 $\begin{align} \frac{\partial J}{\partial \boldsymbol{v_c}} = \boldsymbol{U}^{T} (\hat{\boldsymbol{y}} - \boldsymbol{y}) \nonumber \end{align}$ 和 $\begin{align} \frac{\partial J}{\partial \boldsymbol{U}} = \boldsymbol{v}_{c} (\hat{\boldsymbol{y}} - \boldsymbol{y})^{T} \nonumber \end{align}$ 。那么所求的梯度可以寫作：

skip-gram

$\begin{align} \frac{J_{skip-gram}(word_{c-m \dots c+m})}{\partial \boldsymbol{U}} &= \sum\limits_{-m \leq j \leq m, j \ne 0} \frac{\partial F(\boldsymbol{w}_{c+j}, \boldsymbol{v}_{c})}{\partial \boldsymbol{U}} \nonumber \\ \frac{J_{skip-gram}(word_{c-m \dots c+m})}{\partial \boldsymbol{v}_{c}} &= \sum\limits_{-m \leq j \leq m, j \ne 0} \frac{\partial F(\boldsymbol{w}_{c+j}, \boldsymbol{v}_{c})}{\partial \boldsymbol{v}_{c}} \nonumber \\ \frac{J_{skip-gram}(word_{c-m \dots c+m})}{\partial \boldsymbol{v}_{j}} &= 0, \forall j\ne c \nonumber\end{align}$

CBOW

$\begin{align} \frac{J_{CBOW}(word_{c-m \dots c+m})}{\partial \boldsymbol{U}}& = \frac{\partial F(\boldsymbol{w}_{c}, \hat{\boldsymbol{v}})}{\partial \boldsymbol{U}} \nonumber \\ \frac{J_{CBOW}(word_{c-m \dots c+m})}{\partial \boldsymbol{v}_{j}} &= \frac{\partial F(\boldsymbol{w}_{c}, \hat{\boldsymbol{v}})}{\partial \hat{\boldsymbol{v}}}, \forall (j \ne c) \in \{c-m \dots c+m\} \nonumber \\ \frac{J_{CBOW}(word_{c-m \dots c+m})}{\partial \boldsymbol{v}_{j}} &= 0, \forall (j \ne c) \notin \{c-m \dots c+m\} \nonumber\end{align}$

補充部分：

矩陣的每個行向量的長度歸一化

 x = x/np.linalg.norm(x,axis=1,keepdims=True)

在斯坦福情感樹庫上訓練詞向量

直接運行q3_run即可

image

情感分析

特征向量

最簡單的特征選擇方法就是取所有詞向量的平均

    sentence_index = [tokens[i] for i in sentence]
    for index in sentence_index:
        sentVector += wordVectors[index, :]

    sentVector /= len(sentence)

正則化

values = np.logspace(-4, 2, num=100, base=10)

調參

bestResult = max(results, key= lambda x: x['dev'])

懲罰因子對效果的影響

image

confusion matrix

關聯性排序的一個東西，對角線上的元素越多，預測越準確。

image

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

CS224n Assignment 1

CS224n Assignment 1

Softmax

softmax常數不變性

Python實現

神經網絡基礎

梯度檢查

Sigmoid導數

交叉熵定義

二分類定義

多分類定義

Softmax導數

交叉熵梯度

反向傳播計算神經網絡梯度

參數數量

代碼實現

word2vec

關于詞向量的梯度

推導lookup-table梯度

負采樣時的梯度推導

全部梯度

補充部分：

在斯坦福情感樹庫上訓練詞向量

情感分析

特征向量

正則化

調參

懲罰因子對效果的影響

confusion matrix

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

CS224n Assignment 1

Softmax

softmax常數不變性

Python實現

神經網絡基礎

梯度檢查

Sigmoid導數

交叉熵定義

二分類定義

多分類定義

Softmax導數

交叉熵梯度

反向傳播計算神經網絡梯度

參數數量

代碼實現

word2vec

關于詞向量的梯度

推導lookup-table梯度

負采樣時的梯度推導

全部梯度

補充部分：

在斯坦福情感樹庫上訓練詞向量

情感分析

特征向量

正則化

調參

懲罰因子對效果的影響

confusion matrix

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频