最近，北大開源了一個中文分詞工具包，它在多個分詞數據集上都有非常高的分詞準確率。其中廣泛使用的結巴分詞誤差率高達 18.55% 和 20.42，而北大的 pkuseg 只有 3.25% 與 4.32%。
pkuseg 是由北京大學語言計算與機器學習研究組研制推出的一套全新的中文分詞工具包。它簡單易用，支持多領域分詞，也支持用全新的標注數據來訓練模型。
pkuseg 具有如下幾個特點：
高分詞準確率：相比于其他的分詞工具包，該工具包在不同領域的數據上都大幅提高了分詞的準確度。根據北大研究組的測試結果，pkuseg 分別在示例數據集（MSRA 和 CTB8）上降低了 79.33% 和 63.67% 的分詞錯誤率。
多領域分詞：研究組訓練了多種不同領域的分詞模型。根據待分詞的領域特點，用戶可以自由地選擇不同的模型。
支持用戶自訓練模型：支持用戶使用全新的標注數據進行訓練。
預訓練模型
分詞模式下，用戶需要加載預訓練好的模型。研究組提供了三種在不同類型數據上訓練得到的模型，根據具體需要，用戶可以選擇不同的預訓練模型。以下是對預訓練模型的說明：
PKUSeg提供了三個預訓練模型，用戶需要加載預訓練好的模型，根據具體需要，用戶可以選擇不同的預訓練模型，以下是說明：
MSRA：在 MSRA（新聞語料）上訓練的模型。
https://pan.baidu.com/s/1twci0QVBeWXUg06dK47tiA
CTB8：在 CTB8（新聞文本及網絡文本的混合型語料）上訓練的模型。
https://pan.baidu.com/s/1DCjDOxB0HD2NmP9w1jm8MA
WEIBO：在微博（網絡文本語料）上訓練的模型。
https://pan.baidu.com/s/1QHoK2ahpZnNmX6X7Y9iCgQ
其中，MSRA 數據由第二屆國際漢語分詞評測比賽提供，CTB8 數據由 LDC 提供，WEIBO 數據由 NLPCC 分詞比賽提供。
安裝與使用
pkuseg 的安裝非常簡單，我們可以使用 pip 安裝，也可以直接從 GitHub 下載：
pip install pkuseg
使用 pkuseg 實現分詞也很簡單，基本上和其它分詞庫的用法都差不多：
'''代碼示例1: 使用默認模型及默認詞典分詞'''
import pkuseg
#以默認配置加載模型
seg = pkuseg.pkuseg()
#進行分詞
text = seg.cut('我愛北京天安門')
print(text)
?
'''代碼示例2: 設置用戶自定義詞典'''
import pkuseg
#希望分詞時用戶詞典中的詞固定不分開
lexicon = ['北京大學', '北京天安門']
#加載模型，給定用戶詞典
seg = pkuseg.pkuseg(user_dict=lexicon)
text = seg.cut('我愛北京天安門')
print(text)
?
'''代碼示例3'''
import pkuseg?
#假設用戶已經下載好了ctb8的模型并放在了'./ctb8'目錄下，通過設置model_name加載該模型
seg = pkuseg.pkuseg(model_name='./ctb8')
text = seg.cut('我愛北京天安門')
print(text)
對于大型文本數據集，如果需要快速分詞的話，我們也可以采用多線程的方式：
'''代碼示例4'''
import pkuseg
#對input.txt的文件分詞輸出到output.txt中，使用默認模型和詞典，開20個進程
pkuseg.test('input.txt', 'output.txt', nthread=20)
最后，pkuseg 還能重新訓練一個分詞模型：
'''代碼示例5'''
import pkuseg
#訓練文件為'msr_training.utf8'，測試文件為'msr_test_gold.utf8'，模型存到'./models'目錄下，開20個進程訓練模型
pkuseg.train('msr_training.utf8', 'msr_test_gold.utf8', './models', nthread=20)
這些都是 GitHub 上的示例，詳細的內容請參考 GitHub 項目，例如參數說明和參考論文等。
大家可以按照自己的需要，選擇加載不同的模型。
除此之外，也可以用全新的標注數據，來訓練新的模型。
代碼示例
1代碼示例1 使用默認模型及默認詞典分詞
2import pkuseg
3seg = pkuseg.pkuseg() #以默認配置加載模型
4text = seg.cut('我愛北京天安門') #進行分詞
5print(text)
1代碼示例2 設置用戶自定義詞典
2import pkuseg
3lexicon = ['北京大學', '北京天安門'] #希望分詞時用戶詞典中的詞固定不分開
4seg = pkuseg.pkuseg(user_dict=lexicon) #加載模型，給定用戶詞典
5text = seg.cut('我愛北京天安門') #進行分詞
6print(text)
1代碼示例3
2import pkuseg
3seg = pkuseg.pkuseg(model_name='./ctb8') #假設用戶已經下載好了ctb8的模型并放在了'./ctb8'目錄下，通過設置model_name加載該模型
4text = seg.cut('我愛北京天安門') #進行分詞
5print(text)
如果想自己訓練一個新模型的話：
1代碼示例5
2import pkuseg
3pkuseg.train('msr_training.utf8', 'msr_test_gold.utf8', './models', nthread=20) #訓練文件為'msr_training.utf8'，測試文件為'msr_test_gold.utf8'，模型存到'./models'目錄下，開20個進程訓練模型
欲知更詳細的用法，可前往文底傳送門。
GitHub傳送門：
https://github.com/lancopku/PKUSeg-python
論文傳送門：
http://www.aclweb.org/anthology/P12-1027
http://aclweb.org/anthology/P16-2092
來源：部分內容參考機器之心：https://mp.weixin.qq.com/s/Y48nunuS9FTQ41CqzLbgFQ
