這是全棧數據工程師養成攻略系列教程的第十八期：18 NLP 詞嵌入的概念和實現。
詞嵌入（Word Embedding）是一項非常重要且應用廣泛的技術，可以將文本和詞語轉換為機器能夠接受的數值向量，這里我們詳細討論其概念和實現。
語言的表示
如何向計算機解釋一個詞語的意思？或者說如何表示一個詞語才能恰當地體現出其包含的語義？看到“蘋果”這個詞時，我們會聯想起可以吃的蘋果這一水果，還會聯想起喬布斯創建的蘋果公司，因此一個詞可以包含多重語義。如果讓計算機分析“蘋果”和“梨子”兩個詞之間的相關性，通過字符串匹配只能得到完全不相等的結論，但是我們知道它們都屬于水果，因此詞語所蘊含的語義往往非常復雜，無法通過簡單的字符串表示。
語言的表示主要有兩種：符號主義和分布式表示。
符號主義中典型的代表是Bag of words，即詞袋模型。如果將語料詞典中的每個詞都看作一個袋子，那么一句話無非是選擇一些袋子，然后將出現的詞丟入相應的袋子。用數學的語言來說，假設詞典中一共有N個詞，就可以用N個N維向量來表示每個詞。以下是用Python描述的一個簡單例子，這里的詞典中只有5個詞：蘋果、梨子、香蕉、和、好吃，分別用一個5維向量表示，僅對應的維度上為1，其他維度都為0。基于詞袋模型可以方便地用一個N維向量表示任何一句話，每個維度的值即對應的詞出現的次數。
# 詞典：蘋果、梨子、香蕉、和、好吃
dictionary = {
"蘋果": [1, 0, 0, 0, 0],
"梨子": [0, 1, 0, 0, 0],
"香蕉": [0, 0, 1, 0, 0],
"和": [0, 0, 0, 1, 0],
"好吃": [0, 0, 0, 0, 1]
}
# 蘋果好吃：[1, 0, 0, 0, 1]
# 梨子和香蕉好吃：[0, 1, 1, 1, 1]
# 蘋果好吃蘋果好吃：[2, 0, 0, 0, 2]
詞袋模型雖然簡單，但其缺點也十分顯著。
- 當詞典中詞的數量增大時，向量的維度將隨之增大。雖然常用的漢字只有幾千個，但是依然會給計算帶來很大的不便；
- 無論是詞還是句子的表示，向量都過于稀疏，除了少數維度之外的大多數維度都為0；
- 每個詞所對應的向量在空間上都兩兩正交，任意一對向量之間的內積等數值特征都為零，無法表達詞語之間的語義關聯和差異；
- 句子的向量表示丟失了詞序特征，即“我很不高興”和“不我很高興”對應的向量相同，而這顯然是不符合語義的。
分布式表示中典型的代表是Word Embedding，即詞嵌入，使用低維、稠密、實值的詞向量來表示每一個詞，從而賦予詞語豐富的語義含義，并使得計算詞語相關度成為可能。以最簡單的情況為例，如果使用二維向量來表示詞語，那么可以將每個詞看作平面上的一個點，點的位置即橫縱坐標由對應的二維向量確定，可以是任意且連續的。如果希望點的位置中蘊含詞的語義，那么平面上位置相鄰的點應當具有相關或相似的語義。用數學的語言來說，兩個詞具有語義相關或相似，則它們所對應的詞向量之間距離相近，度量向量之間的距離可以使用經典的歐拉距離和余弦相似度等。
詞嵌入可以將詞典中的每個詞映射成對應的詞向量，一個好的詞嵌入模型應當滿足以下兩方面要求：
- 相關：語義相關或相似的詞語，它們所對應的詞向量之間距離相近，例如“蘋果”和“梨子”的詞向量距離相近；
- 類比：具有類比關系的四個詞語，例如男人對于女人，類比國王對于王后，滿足
男人-女人=國王-王后，即保持詞向量之間的關聯類比，其中的減號表示兩個詞向量之間求差。
這樣一來，通過詞嵌入模型得到的詞向量中既包含了詞本身的語義，又蘊含了詞之間的關聯，同時具備低維、稠密、實值等優點，可以直接輸入到計算機并進行后續分析。但詞典中的詞如此之多，詞本身的語義便十分豐富，詞之間的關聯則更為復雜，所以相對于詞袋模型，訓練一個足夠好的詞向量模型更加困難。
訓練詞嵌入模型
詞嵌入模型的訓練主要是基于無監督學習，從大量文本語料中學習出每個詞的最佳詞向量，例如維基百科、大量新聞報道等。訓練的核心思想是，語義相關或相似的詞語，往往具有相似的上下文，即它們經常在相似的語境中出現，例如“蘋果”和“梨子”的上下文中可能都會出現類似“吃”、“水果”等詞語，可以使用“開心”的語境往往也能使用“高興”。
詞嵌入模型中的典型代表是Word2Vec，模型實現原理可以參考Mikolov的兩篇文章，Distributed Representations of Words and Phrases and their Compositionality，Efficient Estimation of Word Representations in Vector Space，主要包括CBOW和Skip-Gram兩個模型，前者根據上下文預測對應的當前詞語，后者根據當前詞語預測相應的上下文。如果希望進一步深入理解詞嵌入模型訓練的原理和細節，可以仔細研讀以上兩篇文章。如果僅需要應用詞嵌入模型，則直接了解如何用代碼實現即可。
代碼實現
gensim是一款開源的Python工具包，用于從非結構化文本中無監督地學習文本隱層的主題向量表示，支持包括TF-IDF、LSA、LDA和Word2Vec在內的多種主題模型算法，并提供了諸如相似度計算、信息檢索等一系列常用任務的API接口。以下是gensim官網對于其中Word2Vec模型的介紹，http://radimrehurek.com/gensim/models/word2vec.html，里面提供了和Word2Vec相關的完整使用文檔。
同樣，如果沒有gensim的話，使用pip安裝即可。
pip install gensim
另外，gensim僅提供了Word2Vec的模型實現，訓練詞向量的另一個必須條件是足夠大的文本語料。這里我們將要使用的是中文維基百科語料，我已經整理成文本文件并放在網盤上，直接下載即可，https://pan.baidu.com/s/1qXKIPp6，提取密碼為kade。
下載之后可以在Sublime中打開并查看其內容，文件名和后綴名可以不用在意，因為Sublime支持打開任意類型的文本文件。其中每一行是一條維基百科，即一項詞條對應的百科內容，并且已經完成了分詞處理。
以下代碼使用gensim提供的Word2Vec模型訓練并使用詞向量，主要包括加載包、訓練模型、保存模型、加載模型、使用模型等步驟。
# 加載包
from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence
# 訓練模型
sentences = LineSentence('wiki.zh.word.text')
# size：詞向量的維度
# window：上下文環境的窗口大小
# min_count：忽略出現次數低于min_count的詞
model = Word2Vec(sentences, size=128, window=5, min_count=5, workers=4)
# 保存模型
model.save('word_embedding_128')
# 如果已經保存過模型，則直接加載即可
# 前面訓練并保存的代碼都可以省略
# model = Word2Vec.load("word_embedding_128")
# 使用模型
# 返回和一個詞語最相關的多個詞語以及對應的相關度
items = model.most_similar(u'中國')
for item in items:
# 詞的內容，詞的相關度
print item[0], item[1]
# 返回兩個詞語之間的相關度
model.similarity(u'男人', u'女人')
除此之外，gensim中的Word2Vec還實現了多項NLP功能，例如從多個詞中找出和其他詞相關性相對更弱的一個，以及根據給定的三個詞類比推理出第四個詞等，詳細使用方法可以參考官方完整文檔。
視頻鏈接：詞嵌入的概念和實現
