Python詞云展示十九大報告

“不忘初心,牢記使命,高舉中國特色社會主義偉大旗幟,決勝全面建成小康社會,奪取新時代中國特色社會主義偉大勝利,為實現中華民族偉大復興的中國夢不懈奮斗。”

十九大召開已過去近一個月,我國社會主要矛盾已經轉變,中國特色社會主義進入了新時代,中國人民實現了從站起來,富起來到強起來,我們國家已經走近世界舞臺的中央。國家強盛,民族自豪,為了中國夢,戮力前行。

考研的同學應該此刻也在對著十九大報告埋頭苦背吧,作為一只有中國夢和愛國心的程序猿,這份報告也必須熟讀了解啊,萬一有機會考研就用到了呢。

出于對技術的熱愛和好奇心,Python大法立時出現在腦海,網上也曾有人用詞云解讀過報告,人生苦短,何不用Python來自己解讀一下這份報告,加深映像呢。

詞云

偶有看到有人實現用詞云展示十九大報告關鍵詞,這里就利用自己掌握的技術實現一下詞云解讀報告。先來看看生成的詞云圖:

詞云圖

是不是還是蠻有趣的,報告中的高頻詞匯都清晰地以徽標的形狀映射出來了,詞頻越高,詞匯也就越大。

也許也有很多同學想要學習一下這么酷炫的小技巧,在自己的ppt和匯報中show一下,這里就將具體實現過程分享給大家。

首先要裝好python環境,然后裝好幾個python的常用庫,包括詞云庫wordcloud,繪圖庫matplotlib,中文分詞庫jieba,圖像處理庫PIL和科學計算庫numpy。

這么多庫一個個裝也會麻煩些,其實下載Anaconda就可以了,很多庫都直接集成在里面了。裝了Anaconda的話,只需再裝個詞云庫就可以了,可以在終端或者cmd輸入下面命令安裝,如果要在已有python環境安裝其他庫也可以用這個命令,具體安裝過程也可以搜索一下教程。

pip install wordcloud

準備好環境可以開始做詞云圖了,首先準備好報告全文,另存為純文本文件如shijiuda.txt。

第一步,導入所需的庫和報告全文,path為文本文件路徑。

用jieba庫對全文分詞,分詞結果以字符串形式存入alldata中,注意格式為“詞語1 詞語2 詞語3”,詞語之間用空格隔開。

import wordcloud as wc
import matplotlib.pyplot as plt
import jieba
from PIL import Image
from numpy import array

path="D:/.../shijiuda.txt"
#從路徑讀取報告全文,存為data
data=open(path,"r",encoding="UTF-8").read()
#使用jieba分詞
cutdata=jieba.cut(data)
alldata=""
for i in cutdata:
    alldata=alldata+" "+str(i)

第二步,選取生成詞云所需的中文字體font,一般為.ttf文件,windos系統在目錄C:\WINDOWS\Fonts下,mac在/System/Library/Fonts或/Library/Fonts目錄下,這里選了常規簡體中文黑體。

然后準備好一張背景圖片,如dang.jpg,用輪廓越清晰,質量越高的圖片生成的詞云圖效果越好,對于上面做的詞云圖我找的背景圖是下面這張。

選取底版

用PIL的Image方法讀取圖片,將圖片轉為數組,然后用分好的詞alladata生成詞云圖。

font=r"/System/Library/Fonts/STHeiti Medium.ttc"
#讀圖片
pic=Image.open("D:/.../dang.jpg")
#圖片轉數組
picarray=array(pic)
#collocations=False表示是否歸并詞,傳入字體路徑,圖片數組,設置背景顏色為白色,用alldata生成詞云
mywc=wc.WordCloud(collocations=False, font_path=font,mask=picarray,background_color="white").generate(alldata)
#畫布大小
fig = plt.figure(figsize=(10,10))
#展示圖片
plt.imshow(mywc)
#去掉坐標軸
plt.axis('off')
plt.show()

然后就可以換幾個圖片背景看看其他詞云效果了。

其他詞云圖

可以看到較大較明顯的詞都是十九大報告中的高頻關鍵詞。

詞頻統計

如果想更深入了解具體詞頻情況,可以繼續做詞頻統計。比如我想把出現最多的前20個詞拿出來比對一下,詞云圖無法展示哪20個詞出現最多,這時可以用條形圖對比分析。

詞頻統計圖

這個圖也是完全用Python做統計分析后實現的。從這個對比圖就非常清楚的看出“社會”、“發展”、“人民”、“中國”、“建設“、社會主義”等詞出現頻率最高,都出現過150次以上。

首先從分詞后的數據中找出出現次數最多的前20個詞,以及它們的詞頻。

from jieba.analyse import extract_tags
import numpy as npy
#extract_tags提取詞頻前20的關鍵詞存為列表tags中
tags = extract_tags(sentence=alldata, topK=20)
#全切詞,分別統計出這20個關鍵詞出現次數,即詞頻,存為字典words_freq中
words = [word for word in jieba.cut(data, cut_all=True)]  
words_freq = {}  
for tag in tags:
    freq = words.count(tag)  
    words_freq[tag] = freq
#將該字典按詞頻排序
usedata=sorted(words_freq.items(), key=lambda d:d[1])
#字典轉為numpy數組并作矩陣轉置,方便畫圖取用
tmp= npy.array(usedata).T
print(tmp)

tmp即為統計后的前20個數據,存有兩個列表,詞語和對應的詞頻,輸出如下:

print(tmp)

然后利用統計好的數據作圖,作圖代碼如下:

#導入繪圖庫
from numpy import arange
import matplotlib
#畫布大小
fig,ax = plt.subplots(figsize=(10,10))
#輸出中文字體
myfont = matplotlib.font_manager.FontProperties(fname="/System/Library/Fonts/STHeiti Medium.ttc")
#圖表標題設置,想要標題居中可以去掉x,y的設置
plt.title(u'十九大報告詞頻統計',fontproperties=myfont,fontsize=20,x=0.001,y=1.02)
#圖表x軸設置
ax.set_xlabel(u'出現次數',fontproperties=myfont,fontsize=20,x=0.06,y=1.02,color="gray")
#邊框線設置,去除上方右方的框線,左下框線置灰融入背景
ax.spines['bottom'].set_color('grey')
ax.spines['left'].set_color('grey')
ax.spines['top'].set_color('white')
ax.spines['right'].set_color('white')
#傳入詞語,y軸顯示20個標記位置,設置字體大小,顏色為灰色
tick_positions = range(1,21)
ax.set_yticks(tick_positions)
ax.set_yticklabels(tmp[0],fontproperties=myfont,fontsize=18,color="gray")
#設置數據條的間隔
bar_positions = arange(20) + 0.75
#導入數據并做圖展示
ax.barh(bar_positions, tmp[1], 0.5,align="edge")
plt.show()

這樣就實現了完全用python繪制出上面的詞頻統計圖了。

利用上面的方法就可以畫其他文本比如小說、文章、評論的詞云或者詞頻統計圖啦。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 173,596評論 25 708
  • GitHub 上有一個 Awesome - XXX 系列的資源整理,資源非常豐富,涉及面非常廣。awesome-p...
    若與閱讀 18,789評論 4 418
  • 我,一個初三的學生,面臨人生的第一場重要考試——中考。在2018年6月24日我們就要各奔東西,去往不一樣的地方,...
    Pressure_b82c閱讀 239評論 0 1
  • 總是有些事情,無論我們做多么精細的計劃,總是有些事情在我們計劃之外,這不2018年第一個重要的決定就是一個意外:給...
    破繭人閱讀 201評論 1 0
  • 列了個常規工作日程表,今天是第二個工作日。 有個清單,便不用心里總是提醒自己,時刻負擔。 感覺還好。要堅持! 慢慢...
    勝似春閱讀 200評論 0 0