什么是中文分詞

眾所周知，英文是以 詞為單位的，詞和詞之間是靠空格隔開，而中文是以字為單位，句子中所有的字連起來才能描述一個意思。例如，英文句子I am a student，用中文則為：“我是一個學(xué)生”。計算機可以很簡單通過空格知道student是一個單詞，但是不能很容易明白“學(xué)”、“生”兩個字合起來 才表示一個詞。把中文的漢字序列切分成有意義的詞，就是中文分詞，有些人也稱為切詞。我是一個學(xué)生，分詞的結(jié)果是：我 是 一個 學(xué)生。

現(xiàn)有的分詞方法

正向最大匹配法（由左到右的方向）；

逆向最大匹配法（由右到左的方向）；

最少切分（使每一句中切出的詞數(shù)最小）。

還可以將上述各種方法相互組合，例如，可以將正向最大匹配方法和逆向最大匹配方法結(jié)合起來構(gòu)成雙向匹配法。由于漢語單字成詞的特點，正向最小匹配和逆向 最小匹配一般很少使用。一般說來，逆向匹配的切分精度略高于正向匹配，遇到的歧義現(xiàn)象也較少。統(tǒng)計結(jié)果表明，單純使用正向最大匹配的錯誤率為1/169， 單純使用逆向最大匹配的錯誤率為1/245。但這種精度還遠(yuǎn)遠(yuǎn)不能滿足實際的需要。實際使用的分詞系統(tǒng)，都是把機械分詞作為一種初分手段，還需通過利用各 種其它的語言信息來進(jìn)一步提高切分的準(zhǔn)確率。

一種方法是改進(jìn)掃描方式，稱為特征掃描或標(biāo)志切分，優(yōu)先在待分析字符串中識別和切分出一些 帶有明顯特征的詞，以這些詞作為斷點，可將原字符串分為較小的串再來進(jìn)機械分詞，從而減少匹配的錯誤率。另一種方法是將分詞和詞類標(biāo)注結(jié)合起來，利用豐富 的詞類信息對分詞決策提供幫助，并且在標(biāo)注過程中又反過來對分詞結(jié)果進(jìn)行檢驗、調(diào)整，從而極大地提高切分的準(zhǔn)確率。

對于機械分詞方法，可以建立一個一般的模型，在這方面有專業(yè)的學(xué)術(shù)論文，這里不做詳細(xì)論述