一、簡介
詞云圖是文本挖掘中用來表征詞頻的數據可視化圖像,通過它可以很直觀地展現文本數據中地高頻詞:!
圖1 詞云圖示例
在Python中有很多可視化框架可以用來制作詞云圖,如pyecharts,但這些框架并不是專門用于制作詞云圖的,因此并不支持更加個性化的制圖需求,要想創作出更加美觀個性的詞云圖,需要用到一些專門繪制詞云圖的第三方模塊,本文就將針對其中較為優秀易用的wordcloud以及stylecloud的用法進行介紹和舉例說明。
二、利用wordcloud繪制詞云圖
wordcloud是Python中制作詞云圖比較經典的一個模塊,賦予用戶高度的自由度來創作詞云圖:
圖2 wordcloud制作詞云圖示例
2.1 從一個簡單的例子開始
這里我們使用到來自wordcloud官方文檔中的constitution.txt來作為可視化的數據素材:
圖3 constitution.txt
首先我們讀入數據并將數據清洗成空格分隔的長字符串:
importre
withopen(‘constitution.txt’)asc:
‘’’抽取文本中的英文部分并小寫化,并將空格作為分隔拼接為長字符串’’’
text =‘ ‘.join([word.group().lower()forwordinre.finditer(‘[a-zA-Z]+’, c.read())])
‘’’查看前100個字符’’’
text[:500]
圖4 清洗后的片段文本
接著使用wordcloud中用于生成詞云圖的類WordCloud配合matplotlib,在默認參數設置下生成一張簡單的詞云圖:
fromwordcloudimportWordCloud
importmatplotlib.pyplotasplt
%matplotlib inline
‘’’從文本中生成詞云圖’’’
wordcloud = WordCloud().generate(text)
plt.figure(figsize=[12,10])
plt.imshow(wordcloud)
plt.axis(‘off’)
plt.show()
生成的詞云圖:
圖5 默認參數下的詞云圖
畢竟是在默認參數下生成的詞云圖,既丑陋又模糊,為了繪制好看的詞云圖,接下來我們來對wordcloud繪制詞云圖的細節內容進行介紹,并不斷地對圖5進行升級改造。
2.2 WordCloud
作為wordcloud繪制詞云圖最核心的類,WordCloud的主要參數及說明如下:
fontpath:字符型,用于傳入本地特定字體文件的路徑(ttf或otf文件)從而影響詞云圖的字體族
width:int型,用于控制詞云圖畫布寬度,默認為400
height:int型,用于控制詞云圖畫布高度,默認為200
prefer_horizontal:float型,控制所有水平顯示的文字相對于豎直顯示文字的比例,越小則詞云圖中豎直顯示的文字越多
mask:傳入蒙版圖像矩陣,使得詞云的分布與傳入的蒙版圖像一致
contour:float型,當mask不為None時,contour參數決定了蒙版圖像輪廓線的顯示寬度,默認為0即不顯示輪廓線
contour_color:設置蒙版輪廓線的顏色,默認為’black’
scale:當畫布長寬固定時,按照比例進行放大畫布,如scale設置為1.5,則長和寬都是原來畫布的1.5倍
min_font_size:int型,控制詞云圖中最小的詞對應的字體大小,默認為4
max_font_size:int型,控制詞云圖中最大的詞對應的字體大小,默認為200
max_words:int型,控制一張畫布中最多繪制的詞個數,默認為200
stopwords:控制繪圖時忽略的停用詞,即不繪制停用詞中提及的詞,默認為None,即調用自帶的停用詞表(僅限英文,中文需自己提供并傳入)
background_color:控制詞云圖背景色,默認為’black’
mode:當設置為’RGBA’且background_color設置為None時,背景色變為透明,默認為’RGB’
relative_scaling:float型,控制詞云圖繪制字的字體大小與對應字詞頻的一致相關性,當設置為1時完全相關,當為0時完全不相關,默認為0.5
color_func:傳入自定義調色盤函數,默認為None
colormap:對應matplotlib中的colormap調色盤,默認為viridis,這個參數與參數color_func互斥,當color_func有函數傳入時本參數失效
repeat:bool型,控制是否允許一張詞云圖中出現重復詞,默認為False即不允許重復詞
random_state:控制隨機數水平,傳入某個固定的數字之后每一次繪圖文字布局將不會改變
了解了上述參數的意義之后,首先我們修改背景色為白色,增大圖床的長和寬,加大scale以提升圖片的精細程度,并使得水平顯示的文字盡可能多:
‘’’從文本中生成詞云圖’’’
wordcloud = WordCloud(background_color=‘white’,# 背景色為白色
height=400,# 高度設置為400
width=800,# 寬度設置為800
scale=20,# 長寬拉伸程度設置為20
prefer_horizontal=0.9999).generate(text)
plt.figure(figsize=[8,4])
plt.imshow(wordcloud)
plt.axis(‘off’)
‘’’保存到本地’’’
plt.savefig(‘圖6.jpg’, dpi=600, bbox_inches=‘tight’, quality=95)
plt.show()
圖6
可以看到相較于圖5,在美觀程度上有了很大的進步,接下來,我們在圖6的基礎上添加美國本土地圖蒙版:
圖7 美國本土地圖蒙版
利用PIL模塊讀取我們的美國本土地圖蒙版.png文件并轉換為numpy數組,作為WordCloud的mask參數傳入:
fromPILimportImage
importnumpyasnp
usa_mask = np.array(Image.open(‘美國本土地圖蒙版.png’))
‘’’從文本中生成詞云圖’’’
wordcloud = WordCloud(background_color=‘white’,# 背景色為白色
height=4000,# 高度設置為400
width=8000,# 寬度設置為800
scale=20,# 長寬拉伸程度程度設置為20
prefer_horizontal=0.9999,
mask=usa_mask# 添加蒙版
).generate(text)
plt.figure(figsize=[8,4])
plt.imshow(wordcloud)
plt.axis(‘off’)
‘’’保存到本地’’’
plt.savefig(‘圖8.jpg’, dpi=600, bbox_inches=‘tight’, quality=95)
plt.show()
圖8
可以看到圖8在圖6的基礎上進一步提升了美觀程度,接下來我們利用wordcloud中用于從圖片中提取調色方案的類ImageColorGenerator來從下面的星條旗美國地圖蒙版中提取色彩方案,進而反饋到詞云圖上:
圖9 美國地圖蒙版星條旗色
fromPILimportImage
importnumpyasnp
fromwordcloudimportImageColorGenerator
usamask = np.array(Image.open(‘美國地圖蒙版星條旗色.png’))
image_colors = ImageColorGenerator(usa_mask)
‘’’從文本中生成詞云圖’’’
wordcloud = WordCloud(background_color=‘white’,# 背景色為白色
height=400,# 高度設置為400
width=800,# 寬度設置為800
scale=20,# 長寬拉伸程度程度設置為20
prefer_horizontal=0.2,# 調整水平顯示傾向程度為0.2
mask=usa_mask,# 添加蒙版
max_words=1000,# 設置最大顯示字數為1000
relative_scaling=0.3,# 設置字體大小與詞頻的關聯程度為0.3
max_font_size=80# 縮小最大字體為80
).generate(text)
plt.figure(figsize=[8,4])
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)
plt.axis(‘off’)
‘’’保存到本地’’’
plt.savefig(‘圖10.jpg’, dpi=600, bbox_inches=‘tight’, quality=95)
plt.show()
圖10
2.3 中文詞云圖
相較于英文文本語料,中文語料處理起來要麻煩一些,我們需要先進行分詞等預處理才能進行下一步的處理,這里我們使用某外賣平臺用戶評論數據,先讀取進來看看:
importpandasaspd
importjieba
‘’’讀入原始數據’’’
raw_comments = pd.read_csv(‘waimai_10k.csv’);raw_comments.head()
圖11
接下來我們利用re、jieba以及pandas中的apply對評論列進行快速清洗:
‘’’導入停用詞表’’’
withopen(‘stopwords.txt’)ass:
stopwords = set([line.replace(‘\n’,‘’)forlineins])
‘’’傳入apply的預處理函數,完成中文提取、分詞以及多余空格剔除’’’
defpreprocessing(c):
c = [wordforwordinjieba.cut(‘ ‘.join(re.findall(‘[\u4e00-\u9fa5]+’, c)))ifword !=‘ ‘andwordnotinstopwords]
return‘ ‘.join(c)
‘’’將所有語料按空格拼接為一整段文字’’’
comments =‘ ‘.join(raw_comments[‘review’].apply(preprocessing));comments[:500]
得到的結果如圖12:
圖12
這時我們就得到所需的文本數據,接下來我們用美團外賣的logo圖片作為蒙版繪制詞云圖:
圖13 美團外賣logo蒙版
fromPILimportImage
importnumpyasnp
fromwordcloudimportImageColorGenerator
waimai_mask = np.array(Image.open(‘美團外賣logo蒙版.png’))
image_colors = ImageColorGenerator(waimai_mask)
‘’’從文本中生成詞云圖’’’
wordcloud = WordCloud(background_color=‘white’,# 背景色為白色
height=400,# 高度設置為400
width=800,# 寬度設置為800
scale=20,# 長寬拉伸程度程度設置為20
prefer_horizontal=0.2,# 調整水平顯示傾向程度為0.2
mask=waimai_mask,# 添加蒙版
max_words=1000,# 設置最大顯示字數為1000
relative_scaling=0.3,# 設置字體大小與詞頻的關聯程度為0.3
max_font_size=80# 縮小最大字體為80
).generate(comments)
plt.figure(figsize=[8,4])
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)
plt.axis(‘off’)
‘’’保存到本地’’’
plt.savefig(‘圖14.jpg’, dpi=600, bbox_inches=‘tight’, quality=95)
plt.show()
這時我們會發現詞云圖上繪制出的全是亂碼,這是因為matplotlib默認字體是不包含中文的:
圖14 中文亂碼問題
這時我們只需要為WordCloud傳入font_path參數即可,這里我們選擇SimHei字體:
fromPILimportImage
importnumpyasnp
fromwordcloudimportImageColorGenerator
waimai_mask = np.array(Image.open(‘美團外賣logo蒙版.png’))
image_colors = ImageColorGenerator(waimai_mask)
‘’’從文本中生成詞云圖’’’
wordcloud = WordCloud(font_path=‘SimHei.ttf’,# 定義SimHei字體文件
background_color=‘white’,# 背景色為白色
height=400,# 高度設置為400
width=800,# 寬度設置為800
scale=20,# 長寬拉伸程度程度設置為20
prefer_horizontal=0.2,# 調整水平顯示傾向程度為0.2
mask=waimai_mask,# 添加蒙版
max_words=1000,# 設置最大顯示字數為1000
relative_scaling=0.3,# 設置字體大小與詞頻的關聯程度為0.3
max_font_size=80# 縮小最大字體為80
).generate(comments)
plt.figure(figsize=[8,4])
plt.imshow(wordcloud.recolor(color_func=image_colors), alpha=1)
plt.axis(‘off’)
‘’’保存到本地’’’
plt.savefig(‘圖15.jpg’, dpi=600, bbox_inches=‘tight’, quality=95)
plt.show()
圖15
三、利用stylecloud繪制詞云圖
stylecloud是一個較為嶄新的模塊,它基于wordcloud,添加了一系列的嶄新特性譬如漸變顏色等,可以支持更為個性化的詞云圖創作:
圖16 styleword制作詞云圖示例
3.1 從一個簡單的例子開始
這里我們沿用上一章節中使用過的處理好的text來繪制詞云圖:
importstylecloud
fromIPython.displayimportImage# 用于在jupyter lab中顯示本地圖片
‘’’生成詞云圖’’’
stylecloud.gen_stylecloud(text=text,
size=512,
output_name=‘圖17.png’)
‘’’顯示本地圖片’’’
Image(filename=‘圖17.png’)
圖17
可以看出,styleword生成詞云圖的方式跟wordcloud不同,它直接就將原始文本轉換成本地詞云圖片文件,下面我們針對其繪制詞云圖的細節內容進行介紹。
3.2 gen_stylecloud
在stylecloud中繪制詞云圖只需要gen_stylecloud這一個函數即可,其主要參數及說明如下:
text:字符串,格式同WordCloud中的generate()方法中傳入的text
gradient:控制詞云圖顏色漸變的方向,’horizontal’表示水平方向上漸變,’vertical’表示豎直方向上漸變,默認為’horizontal’
size:控制輸出圖像文件的分辨率(因為stylecloud默認輸出方形圖片,所以size傳入的單個整數代表長和寬),默認為512
icon_name:這是stylecloud中的特殊參數,通過傳遞對應icon的名稱,你可以使用多達1544個免費圖標來作為詞云圖的蒙版,點擊這里查看你可以免費使用的圖標蒙版樣式,默認為’fas fa-flag’
palette:控制調色方案,stylecloud的調色方案調用了palettable,這是一個非常實用的模塊,其內部收集了數量驚人的大量的經典調色方案,默認為’cartocolors.qualitative.Bold_5’
background_color:字符串,控制詞云圖底色,可傳入顏色名稱或16進制色彩,默認為’white’
max_font_size:同wordcloud
max_words:同wordcloud
stopwords:bool型,控制是否開啟去停用詞功能,默認為True,調用自帶的英文停用詞表
custom_stopwords:傳入自定義的停用詞List,配合stopwords共同使用
output_name:控制輸出詞云圖文件的文件名,默認為stylecloud.png
font_path:傳入自定義字體*.ttf文件的路徑
random_state:同wordcloud
對上述參數有所了解之后,下面我們在圖17的基礎上進行改良,首先我們將圖標形狀換成炸彈的樣子,接著將配色方案修改為scientific.diverging.Broc_3:
‘’’生成詞云圖’’’
stylecloud.gen_stylecloud(text=text,
size=1024,
output_name=‘圖18.png’,
palette=‘scientific.diverging.Broc_3’,# 設置配色方案
icon_name=‘fas fa-bomb’# 設置圖標樣式
)
‘’’顯示本地圖片’’’
Image(filename=‘圖18.png’)
圖18
3.3 繪制中文詞云圖
在wordcloud中繪制中文詞云圖類似wordcloud只需要注意傳入支持中文的字體文件即可,下面我們使用一個微博語料數據weibo_senti_100k.csv來舉例:
weibo = pd.read_csv(‘weibo_senti_100k.csv’)
weibo_text = [wordforwordinjieba.cut(‘ ‘.join(re.findall(‘[\u4e00-\u9fa5]+’,‘ ‘.join(weibo[‘review’].tolist()))))ifword !=‘ ‘andwordnotinstopwords]
weibo_text[:10]
圖19
接著我們將蒙版圖標樣式換成新浪微博,將色彩方案換成colorbrewer.sequential.Reds_3:
‘’’生成詞云圖’’’
‘’’生成詞云圖’’’
stylecloud.gen_stylecloud(text=‘ ‘.join(weibo_text),
size=1024,
output_name=‘圖20.png’,
palette=‘colorbrewer.sequential.Reds_3’,# 設置配色方案為https://jiffyclub.github.io/palettable/colorbrewer/sequential/#reds_3
icon_name=‘fab fa-weibo’,# 設置圖標樣式
gradient=‘horizontal’,# 設置顏色漸變方向為水平
font_path=‘SimHei.ttf’,
collocations=False
)
‘’’顯示本地圖片’’’
Image(filename=‘圖20.png’)
圖20
以上就是本文的全部內容,如有筆誤望指出!