使用TextRank4ZH提取關鍵詞或者摘要

原文文檔
代碼所用文本

安裝TextRank4ZH

pip install TextRank4ZH

依賴環境

jieba版本號至少0.35
numpy版本號至少1.7.1
networkx版本號至少1.9.1

示例

不多bb,看代碼:

# -*- coding:utf-8 -*-
from textrank4zh import TextRank4Keyword, TextRank4Sentence

with open('./test.txt','r') as fileread:
    text = fileread.read()
tr4w = TextRank4Keyword()

tr4w.analyze(text=text, lower=True, window=2)  # py2中text必須是utf8編碼的str或者unicode對象,py3中必須是utf8編碼的bytes或者str對象

print( '關鍵詞:' )
for item in tr4w.get_keywords(20, word_min_len=1):
    print(item.word, item.weight)

print()
print( '關鍵短語:' )
for phrase in tr4w.get_keyphrases(keywords_num=20, min_occur_num= 2):
    print(phrase)

tr4s = TextRank4Sentence()
tr4s.analyze(text=text, lower=True, source = 'all_filters')

print()
print( '摘要:' )
for item in tr4s.get_key_sentences(num=3):
    print(item.index, item.weight, item.sentence)  # index是語句在文本中位置,weight是權重

運行結果如下:

關鍵詞:
媒體 0.02155864734852778
高圓圓 0.020220281898126486
微 0.01671909730824073
賓客 0.014328439104001788
趙又廷 0.014035488254875914
答謝 0.013759845912857732
謝娜 0.013361244496632448
現身 0.012724133346018603
記者 0.01227742092899235
新人 0.01183128428494362
北京 0.011686712993089671
博 0.011447168887452668
展示 0.010889176260920504
捧場 0.010507502237123278
禮物 0.010447275379792245
張杰 0.009558332870902892
當晚 0.009137982757893915
戴 0.008915271161035208
酒店 0.00883521621207796
外套 0.008822082954131174

關鍵短語:
微博

摘要:
0 0.0709719557171 中新網北京12月1日電(記者 張曦) 30日晚,高圓圓和趙又廷在京舉行答謝宴,諸多明星現身捧場,其中包括張杰(微博)、謝娜(微博)夫婦、何炅(微博)、蔡康永(微博)、徐克、張凱麗、黃軒(微博)等
6 0.0541037236415 高圓圓身穿粉色外套,看到大批記者在場露出嬌羞神色,趙又廷則戴著鴨舌帽,十分淡定,兩人快步走進電梯,未接受媒體采訪
27 0.0490428312984 記者了解到,出席高圓圓、趙又廷答謝宴的賓客近百人,其中不少都是女方的高中同學

使用說明

類TextRank4Keyword、TextRank4Sentence在處理一段文本時會將文本拆分成4種格式:

  • sentences:由句子組成的列表。
  • words_no_filter:對sentences中每個句子分詞而得到的兩級列表。
  • words_no_stop_words:去掉words_no_filter中的停止詞而得到的二維列表。
  • words_all_filters:保留words_no_stop_words中指定詞性的單詞而得到的二維列表。
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • 發現 關注 消息 iOS 第三方庫、插件、知名博客總結 作者大灰狼的小綿羊哥哥關注 2017.06.26 09:4...
    肇東周閱讀 12,229評論 4 61
  • Spring Cloud為開發人員提供了快速構建分布式系統中一些常見模式的工具(例如配置管理,服務發現,斷路器,智...
    卡卡羅2017閱讀 134,915評論 18 139
  • Swift版本點擊這里歡迎加入QQ群交流: 594119878最新更新日期:18-09-17 About A cu...
    ylgwhyh閱讀 25,546評論 7 249
  • 一樣的早晨,他帶著僵硬的脖子從夢中醒來,撅嘴皺眉伸懶腰之后他從上鋪靈活地下來了,徑直走向了宿舍的浴室,拿上毛巾,關...
    四月橘林閱讀 189評論 0 1
  • Three word 1.critical 釋義:關鍵的;評論的;決定性的 eg:The incident hap...
    Alisa_c4f2閱讀 186評論 0 0