“不忘初心,牢記使命,高舉中國特色社會主義偉大旗幟,決勝全面建成小康社會,奪取新時代中國特色社會主義偉大勝利,為實現中華民族偉大復興的中國夢不懈奮斗。”
十九大召開已過去近一個月,我國社會主要矛盾已經轉變,中國特色社會主義進入了新時代,中國人民實現了從站起來,富起來到強起來,我們國家已經走近世界舞臺的中央。國家強盛,民族自豪,為了中國夢,戮力前行。
考研的同學應該此刻也在對著十九大報告埋頭苦背吧,作為一只有中國夢和愛國心的程序猿,這份報告也必須熟讀了解啊,萬一有機會考研就用到了呢。
出于對技術的熱愛和好奇心,Python大法立時出現在腦海,網上也曾有人用詞云解讀過報告,人生苦短,何不用Python來自己解讀一下這份報告,加深映像呢。
詞云
偶有看到有人實現用詞云展示十九大報告關鍵詞,這里就利用自己掌握的技術實現一下詞云解讀報告。先來看看生成的詞云圖:
是不是還是蠻有趣的,報告中的高頻詞匯都清晰地以徽標的形狀映射出來了,詞頻越高,詞匯也就越大。
也許也有很多同學想要學習一下這么酷炫的小技巧,在自己的ppt和匯報中show一下,這里就將具體實現過程分享給大家。
首先要裝好python環境,然后裝好幾個python的常用庫,包括詞云庫wordcloud,繪圖庫matplotlib,中文分詞庫jieba,圖像處理庫PIL和科學計算庫numpy。
這么多庫一個個裝也會麻煩些,其實下載Anaconda就可以了,很多庫都直接集成在里面了。裝了Anaconda的話,只需再裝個詞云庫就可以了,可以在終端或者cmd輸入下面命令安裝,如果要在已有python環境安裝其他庫也可以用這個命令,具體安裝過程也可以搜索一下教程。
pip install wordcloud
準備好環境可以開始做詞云圖了,首先準備好報告全文,另存為純文本文件如shijiuda.txt。
第一步,導入所需的庫和報告全文,path為文本文件路徑。
用jieba庫對全文分詞,分詞結果以字符串形式存入alldata中,注意格式為“詞語1 詞語2 詞語3”,詞語之間用空格隔開。
import wordcloud as wc
import matplotlib.pyplot as plt
import jieba
from PIL import Image
from numpy import array
path="D:/.../shijiuda.txt"
#從路徑讀取報告全文,存為data
data=open(path,"r",encoding="UTF-8").read()
#使用jieba分詞
cutdata=jieba.cut(data)
alldata=""
for i in cutdata:
alldata=alldata+" "+str(i)
第二步,選取生成詞云所需的中文字體font,一般為.ttf文件,windos系統在目錄C:\WINDOWS\Fonts下,mac在/System/Library/Fonts或/Library/Fonts目錄下,這里選了常規簡體中文黑體。
然后準備好一張背景圖片,如dang.jpg,用輪廓越清晰,質量越高的圖片生成的詞云圖效果越好,對于上面做的詞云圖我找的背景圖是下面這張。
用PIL的Image方法讀取圖片,將圖片轉為數組,然后用分好的詞alladata生成詞云圖。
font=r"/System/Library/Fonts/STHeiti Medium.ttc"
#讀圖片
pic=Image.open("D:/.../dang.jpg")
#圖片轉數組
picarray=array(pic)
#collocations=False表示是否歸并詞,傳入字體路徑,圖片數組,設置背景顏色為白色,用alldata生成詞云
mywc=wc.WordCloud(collocations=False, font_path=font,mask=picarray,background_color="white").generate(alldata)
#畫布大小
fig = plt.figure(figsize=(10,10))
#展示圖片
plt.imshow(mywc)
#去掉坐標軸
plt.axis('off')
plt.show()
然后就可以換幾個圖片背景看看其他詞云效果了。
可以看到較大較明顯的詞都是十九大報告中的高頻關鍵詞。
詞頻統計
如果想更深入了解具體詞頻情況,可以繼續做詞頻統計。比如我想把出現最多的前20個詞拿出來比對一下,詞云圖無法展示哪20個詞出現最多,這時可以用條形圖對比分析。
這個圖也是完全用Python做統計分析后實現的。從這個對比圖就非常清楚的看出“社會”、“發展”、“人民”、“中國”、“建設“、社會主義”等詞出現頻率最高,都出現過150次以上。
首先從分詞后的數據中找出出現次數最多的前20個詞,以及它們的詞頻。
from jieba.analyse import extract_tags
import numpy as npy
#extract_tags提取詞頻前20的關鍵詞存為列表tags中
tags = extract_tags(sentence=alldata, topK=20)
#全切詞,分別統計出這20個關鍵詞出現次數,即詞頻,存為字典words_freq中
words = [word for word in jieba.cut(data, cut_all=True)]
words_freq = {}
for tag in tags:
freq = words.count(tag)
words_freq[tag] = freq
#將該字典按詞頻排序
usedata=sorted(words_freq.items(), key=lambda d:d[1])
#字典轉為numpy數組并作矩陣轉置,方便畫圖取用
tmp= npy.array(usedata).T
print(tmp)
tmp即為統計后的前20個數據,存有兩個列表,詞語和對應的詞頻,輸出如下:
然后利用統計好的數據作圖,作圖代碼如下:
#導入繪圖庫
from numpy import arange
import matplotlib
#畫布大小
fig,ax = plt.subplots(figsize=(10,10))
#輸出中文字體
myfont = matplotlib.font_manager.FontProperties(fname="/System/Library/Fonts/STHeiti Medium.ttc")
#圖表標題設置,想要標題居中可以去掉x,y的設置
plt.title(u'十九大報告詞頻統計',fontproperties=myfont,fontsize=20,x=0.001,y=1.02)
#圖表x軸設置
ax.set_xlabel(u'出現次數',fontproperties=myfont,fontsize=20,x=0.06,y=1.02,color="gray")
#邊框線設置,去除上方右方的框線,左下框線置灰融入背景
ax.spines['bottom'].set_color('grey')
ax.spines['left'].set_color('grey')
ax.spines['top'].set_color('white')
ax.spines['right'].set_color('white')
#傳入詞語,y軸顯示20個標記位置,設置字體大小,顏色為灰色
tick_positions = range(1,21)
ax.set_yticks(tick_positions)
ax.set_yticklabels(tmp[0],fontproperties=myfont,fontsize=18,color="gray")
#設置數據條的間隔
bar_positions = arange(20) + 0.75
#導入數據并做圖展示
ax.barh(bar_positions, tmp[1], 0.5,align="edge")
plt.show()
這樣就實現了完全用python繪制出上面的詞頻統計圖了。
利用上面的方法就可以畫其他文本比如小說、文章、評論的詞云或者詞頻統計圖啦。