在自然語言處理的任務中，無論哪種算法都需要將文本形態的詞轉換成為向量形式的詞向量（word embedding）。良好的詞向量可以達到語義相近的詞在詞向量空間里聚集在一起，這對后續的文本分類，文本聚類等等算法提供良好的數據樣本，本文將詳細介紹如何使用word2vec構建中文詞向量
這里所需要用到的包，這些包需要首先使用pip或者conda安裝
jiaba
gensim
sklearn
一、中文語料庫
本文采用的是搜狗實驗室的搜狗新聞語料庫，數據鏈接 http://www.sogou.com/labs/resource/cs.php
下載下來的文件名為： news_sohusite_xml.full.tar.gz
二、數據預處理
2.1 解壓數據文件
cd 到原始文件目錄下，執行解壓命令：
tar -zvxf news_sohusite_xml.full.tar.gz
2.2 提取有效內容
語料庫中提供了很多的數據項，但是這里我們只需要使用 <content> </content> 中的內容,執行如下命令：
cat news_sohusite_xml.dat | iconv -f gbk -t utf-8 -c | grep "<content>" > corpus.txt
得到文件名為corpus.txt的文件。這里注意如果在windows下打開就會出現很多的編碼錯誤，所以要么使用linux，要么在windows下使用bash 進行處理。不要在windows下編寫python代碼處理數據
2.3 分詞
注意，對于中文來講送給word2vec的文件是需要分詞的，這樣才可以較好的表達文本的意思。分詞可以采用jieba分詞實現
對原始文本內容進行分詞，python 程序如下：
filePath = 'D:\\ML_learning\\NLP_data\\corpus.txt'
fileSegWordDonePath = 'D:\\ML_learning\\NLP_data\\corpusSegDone.txt'
fileTrainRead = pd.read_csv(filePath)
fileTrain = pd.Series(fileTrainRead.iloc[:,0])
f = lambda x: x[9:-11]
fileTrain = fileTrain.apply(f)
fileTrain.dropna(how='any')
fileTrainSeg = []
for line in fileTrain:
data = jieba.cut(line, cut_all=False)
# print(list(data))
fileTrainSeg.append(" ".join(list(data)))
output_list = pd.Series(fileTrainSeg)
output_list.to_csv(fileSegWordDonePath, encoding='utf-8')
可以使用Pandas的特性快速批量的對數據進行格式化：
- 使用pd.apply() 來對每行數據進行處理， 一句語句就可以刪除所有string的起始的<content> 和結尾的</content>
- 使用dropna 來去除數據為空的行
三、構建詞向量
3.1 構建詞向量
執行以下程序：
from gensim.models import word2vec
import pandas as pd
mopdelfilePath = 'D:\\ML_learning\\NLP_data\\model.bin'
fileSegWordDonePath = 'D:\\ML_learning\\NLP_data\\corpusSegDone.txt'
fileTrainRead = pd.read_csv(fileSegWordDonePath)
train_sentences = pd.Series(fileTrainRead.iloc[:, 1])
f = lambda x: str(x).split(" ")
train_sentences = train_sentences.apply(f)
model = word2vec.Word2Vec(train_sentences, size=300)
model.save(mopdelfilePath)
上面的代碼將讀入分詞文件，并將其傳入到word2vec中用來構建詞向量，最后將構建出來的詞向量保存。這里我們設置word2vec創建300維的詞向量
3.2 顯示并使用詞向量
3.3.1 查看詞向量
from gensim.models import word2vec
mopdelfilePath = 'D:\\ML_learning\\NLP_data\\model.bin'
model = word2vec.Word2Vec.load(mopdelfilePath)
print(model.wv['中國'])
可以得到如下結果(300維的一個向量)：
[ 2.2904966 -2.2582266 -2.7562246 1.2342433 2.717599 1.377568
2.720106 0.9635297 -1.6690013 1.2432543 2.7351687 2.4857194
....
0.6931309 -1.1371846 -0.8067352 2.2179334 -1.1542435 1.1875417
0.76617193 1.3922322 -2.2338731 0.97370434 1.9159969 -1.706138 ]
3.3.2 查看詞表中的詞
from gensim.models import word2vec
mopdelfilePath = 'D:\\ML_learning\\NLP_data\\model.bin'
model = word2vec.Word2Vec.load(mopdelfilePath)
index = 1000
print (model.wv.index2word[1000])
得到結果如下：
存款
可以得到詞表中第1000個詞為: 存款
3.3.3 顯示空間距離相近的詞
一個好的詞向量可以實現詞義相近的一組詞在詞向量空間中也是接近的，可以通過顯示詞向量空間中相近的一組詞并判斷它們語義是否相近來評價詞向量構建的好壞：
from gensim.models import word2vec
mopdelfilePath = 'D:\\ML_learning\\NLP_data\\model.bin'
model = word2vec.Word2Vec.load(mopdelfilePath)
indexes = model.wv.most_similar_cosmul('中國')
for index in indexes:
print(index)
得到的結果如下 與給定詞最相近的詞以及相似度：
('我國', 0.8150987029075623)
('亞洲', 0.794571578502655)
('印度', 0.7809259295463562)
('國內', 0.7792256474494934)
('日本', 0.7718893885612488)
('美國', 0.7644745707511902)
('全球', 0.7569549083709717)
('本國', 0.7533475160598755)
四、二維空間中顯示詞向量
現在的詞向量是300維的，為了能直觀的顯示這些詞在向量空間中的分布，這里將詞向量采用PCA進行降維，得到二維的詞向量，并打印出來，代碼如下：
中文的顯示需要做特殊處理，需要加入字詞文件
from gensim.models import word2vec
from sklearn.decomposition import PCA
import numpy as np
import matplotlib
import matplotlib.pyplot as plt
mopdelfilePath = 'D:\\ML_learning\\NLP_data\\model.bin'
model = word2vec.Word2Vec.load(mopdelfilePath)
raw_word_vec = model.wv.vectors
cent_word1 = "中國"
cent_word2 = "成都"
cent_word3 = "淘寶"
cent_word4 = "自行車"
cent_word5 = "計算機"
wordList1 = model.wv.most_similar_cosmul(cent_word1)
wordList2 = model.wv.most_similar_cosmul(cent_word2)
wordList3 = model.wv.most_similar_cosmul(cent_word3)
wordList4 = model.wv.most_similar_cosmul(cent_word4)
wordList5 = model.wv.most_similar_cosmul(cent_word5)
wordList1 = np.append([item[0] for item in wordList1], cent_word1)
wordList2 = np.append([item[0] for item in wordList2], cent_word2)
wordList3 = np.append([item[0] for item in wordList3], cent_word3)
wordList4 = np.append([item[0] for item in wordList4], cent_word4)
wordList5 = np.append([item[0] for item in wordList5], cent_word5)
def get_word_index(word):
index = model.wv.vocab[word].index
return index
index_list1 = map(get_word_index, wordList1)
index_list2 = map(get_word_index, wordList2)
index_list3 = map(get_word_index, wordList3)
index_list4 = map(get_word_index, wordList4)
index_list5 = map(get_word_index, wordList5)
vec_reduced = PCA(n_components=2).fit_transform(raw_word_vec)
zhfont = matplotlib.font_manager.FontProperties(fname=r'C:\Nuance\python_env\basic_dev\Lib\site-packages\matplotlib\mpl-data\fonts\ttf\msyh.ttf')
x = np.arange(-10, 10, 0.1)
y = x
plt.plot(x, y)
for i in index_list1:
plt.text(vec_reduced[i][0], vec_reduced[i][1], model.wv.index2word[i], color='r', fontproperties=zhfont)
for i in index_list2:
plt.text(vec_reduced[i][0], vec_reduced[i][1], model.wv.index2word[i], color='b', fontproperties=zhfont)
for i in index_list3:
plt.text(vec_reduced[i][0], vec_reduced[i][1], model.wv.index2word[i], color='g', fontproperties=zhfont)
for i in index_list4:
plt.text(vec_reduced[i][0], vec_reduced[i][1], model.wv.index2word[i], color='k', fontproperties=zhfont)
for i in index_list5:
plt.text(vec_reduced[i][0], vec_reduced[i][1], model.wv.index2word[i], color='c', fontproperties=zhfont)
plt.show()
下圖是執行結果：
image.png
