Word2vec

word2vector，顧名思義，就是將語料庫中的詞轉(zhuǎn)化成向量，以便后續(xù)在詞向量的基礎(chǔ)上進行各種計算。

我們以詞為單位掃描這句話，每掃描到一個詞，都把該詞左右各2個詞（窗口尺寸）共4個詞拿出來，分別與被掃描的單詞組成單詞對，作為我們的訓(xùn)練數(shù)據(jù)。

基本思想是首先將所有詞語進行one-hot編碼，輸入只有一個隱藏層的神經(jīng)網(wǎng)絡(luò)，定義好loss后進行訓(xùn)練，后面我們會講解如何定義loss，這里暫時按下不表。訓(xùn)練完成后，我們就可以用隱藏層的權(quán)重來作為詞的向量表示??！

隱藏層的神經(jīng)元個數(shù)，取決于我們希望得到的詞向量是多少維，有多少個隱藏神經(jīng)元詞向量就是多少維。網(wǎng)絡(luò)的輸入是one-hot編碼的單詞，它與隱藏層權(quán)重矩陣相乘實際上是取權(quán)重矩陣特定的行。這意味著，隱藏層實際上相當(dāng)于是一個查找表，它的輸出就是輸入的單詞的詞向量。

輸出層的神經(jīng)元數(shù)量和語料庫中的單詞數(shù)量一樣。每一個神經(jīng)元可以認(rèn)為對應(yīng)一個單詞的輸出權(quán)重，詞向量乘以該輸出權(quán)重就得到一個數(shù)，該數(shù)字代表了輸出神經(jīng)元對應(yīng)的單詞出現(xiàn)在輸入單詞周圍的可能性大小，通過對所有的輸出層神經(jīng)元的輸出進行softmax操作，我們就把輸出層的輸出規(guī)整為一個概率分布了。
這里有一點需要注意，我們說輸出的是該單詞出現(xiàn)在輸入單詞周圍的概率大小，這個“周圍”包含單詞的前面，也包含單詞的后面。

神經(jīng)網(wǎng)絡(luò)訓(xùn)練，大體有如下幾個步驟：

準(zhǔn)備好data，即X和Y
定義好網(wǎng)絡(luò)結(jié)構(gòu)
定義好loss
選擇合適的優(yōu)化器
進行迭代訓(xùn)練
存儲訓(xùn)練好的網(wǎng)絡(luò)

對高頻詞進行抽樣

下采樣subsampling，具體意思是：
當(dāng)我們掃描文本中的詞時，會根據(jù)一定的概率刪除這個詞，也就是相當(dāng)于文本中此處沒有了這個詞。這個概率大小取決于該詞在整個語料庫中的出現(xiàn)頻率。出現(xiàn)頻率越高，那么我們刪除該詞的概率就越大。

1.PNG

這個很容易理解，以上面的the為例，由于它在整個語料庫中出現(xiàn)的頻率很高，我們就會刪除相當(dāng)一部分的the，以便減少訓(xùn)練量。。

負(fù)采樣

在我們的例子中，我們看到其他應(yīng)當(dāng)為0的維度有7個，在實際工作中，這個維度的數(shù)量是非常大的，因為我們的詞表一般會很大。
所謂負(fù)抽樣，即是從這些應(yīng)當(dāng)為0的維度中隨機抽取幾個，只更新這幾個維度對應(yīng)的神經(jīng)元的權(quán)重，這既是負(fù)抽樣的確切含義。當(dāng)然，同時還要加上輸出應(yīng)當(dāng)為1的維度所對應(yīng)的神經(jīng)元。
具體負(fù)抽樣時抽幾個維度的神經(jīng)元，取決于具體的問題，google的論文中建議是5到20個。

用一個例子來具體感受一下。假設(shè)我們負(fù)抽樣的維度數(shù)為5，我們的詞表中有10000個單詞，詞向量的維度為300，也即是隱藏層有300個神經(jīng)元。
那么，在輸出層，權(quán)重矩陣的大小將是30010000?，F(xiàn)在我們抽取了5個負(fù)的維度（輸出應(yīng)當(dāng)為0的維度），加上輸出為1的維度，只更新這6個維度所對應(yīng)的神經(jīng)元。那么需要更新的權(quán)重系數(shù)是3006=1800個。這只占輸出層中所有權(quán)重系數(shù)的0.06%！！
在抽取這5個維度時，是按照單詞在語料庫中出現(xiàn)的次數(shù)多少來的， 出現(xiàn)次數(shù)越多，那么越可能被抽中。

2.PNG

區(qū)別

不同點：構(gòu)建目標(biāo)函數(shù)的方式不同。
CBOW: 根據(jù)詞語上下文預(yù)測中心詞
Skip-gram: 根據(jù)中心詞預(yù)測上下文
共同點：以小窗粒度捕獲詞語與上下文的聯(lián)系，然后滑動小窗，在整個語料上捕獲聯(lián)系。
制定目標(biāo)函數(shù)，量化這種聯(lián)系，最優(yōu)化，從而求得每個詞的向量。

word embedding

通過訓(xùn)練，將每個詞都映射到一個較短的詞向量上來
Word Embedding 是NLP中一組語言模型和特征學(xué)習(xí)技術(shù)的總稱，把詞匯表中的單詞或者短語映射成由實數(shù)構(gòu)成的向量上(映射)。
我們將king這個詞從一個可能非常稀疏的向量坐在的空間，映射到現(xiàn)在這個四維向量所在的空間，必須滿足以下性質(zhì)：
（1）這個映射是單設(shè)（不懂的概念自行搜索）；
（2）映射之后的向量不會丟失之前的那種向量所含的信息。
這個過程稱為word embedding（詞嵌入），即將高維詞向量嵌入到一個低維空間。

詞的表示

詞的表示分為獨熱表示one-hot、分布式表示distributed。

獨熱表示one-hot
1、向量的維度會隨著句子的詞的數(shù)量類型增大而增大；2、任意兩個詞之間都是孤立的，根本無法表示出在語義層面上詞語詞之間的相關(guān)信息，而這一點是致命的。

分布式表示distributed representation
根據(jù)建模的不同，主要可以分為三類：基于矩陣的分布表示、基于聚類的分布表示和基于神經(jīng)網(wǎng)絡(luò)的分布表示（即word embedding）。
基于神經(jīng)網(wǎng)絡(luò)的分布表示一般稱為詞向量、詞嵌入（word embedding）或分布式表示（distributed representation）

語言模型

語言模型包括文法語言模型和統(tǒng)計語言模型。一般我們指的是統(tǒng)計語言模型。
簡單來說，就是衡量一個句子是否符合人說出來的自然句子的概率（或者置信度）。

常見的統(tǒng)計語言模型有N元文法模型（N-gram Model），最常見的是unigram model、bigram model、trigram model等等。

統(tǒng)計語言模型： 統(tǒng)計語言模型把語言（詞的序列）看作一個隨機事件，并賦予相應(yīng)的概率來描述其屬于某種語言集合的可能性。給定一個詞匯集合 V，對于一個由 V 中的詞構(gòu)成的序列S = ?w1, · · · , wT ? ∈ Vn，統(tǒng)計語言模型賦予這個序列一個概率P(S)，來衡量S 符合自然語言的語法和語義規(guī)則的置信度。

機器學(xué)習(xí)必須熟悉的算法之word2vector（一）
http://www.lxweimin.com/p/1405932293ea
機器學(xué)習(xí)必須熟悉的算法之word2vector（一）
http://www.lxweimin.com/p/d0e2d00fb4f0
通俗理解word2vec
http://www.lxweimin.com/p/471d9bfbd72f
詞嵌入來龍去脈 word embedding、word2vec
https://blog.csdn.net/u012052268/article/details/77170517
Word Embedding&word2vec
http://www.lxweimin.com/p/af8f20fe7dd3
詞嵌入算法
https://blog.csdn.net/lilong117194/article/details/82085172
自然語言處理：問答語料生成詞匯表,詞轉(zhuǎn)向量(三)
https://blog.csdn.net/Xin_101/article/details/87359705
機器翻譯質(zhì)量評測算法-BLEU
https://blog.csdn.net/wwj_748/article/details/79686042

【聊天機器人】
利用tensorflow制作一個簡單的聊天機器人
https://blog.csdn.net/a18852867035/article/details/53816030

1. 基于檢索的模型 vs. 產(chǎn)生式模型
   https://www.cnblogs.com/LittleHann/p/6426610.html
   bert代碼解讀4----中文命名實體識別
   http://www.lxweimin.com/writer#/notebooks/29448373/notes/45067149
   BERT+BiLSTM-CRF-NER用于做ner識別
   https://blog.csdn.net/qqywm/article/details/85569885