寫在之前

如需轉(zhuǎn)載，請注明出處。如有侵權(quán)或者其他問題，煩請告知。

第1章　文字和語言 vs 數(shù)字和信息

文字和語言與數(shù)學(xué)，從產(chǎn)生起原本就有相通性，雖然它們的發(fā)展一度分道揚鑣，但是最終還是能走到一起。
1　信息
2　文字和數(shù)字

瑪雅文明采用20進制，即數(shù)完全部的手指和腳趾才開始進位。因此瑪雅人的一個世紀(jì)，他們稱為太陽集，是四百年。

3　文字和語言背后的數(shù)學(xué)

猶太學(xué)者每抄一個圣經(jīng)，需要把每一行的文字加起來，看看新的校驗碼是否和原文的相同。
4　小結(jié)

第2章　自然語言處理——從規(guī)則到統(tǒng)計

人類對機器理解自然語言的認識走了一條大彎路。早期的研究集中采用基于規(guī)則的方法，雖然解決了一些簡單的問題，但是無法從根本上將自然語言理解實用化。直到20多年后，人們開始嘗試用基于統(tǒng)計的方法進行自然語言處理，才有了突破性進展和實用的產(chǎn)品。
1　機器智能

20世紀(jì)60年代，學(xué)術(shù)界對人工智能和自然語言的普遍觀點是：要讓機器完成翻譯或者語音識別等人類才能做的事，就必須讓計算機理解自然語言，而做到這一點就必須讓計算機擁有類似我們?nèi)祟愌b的智能。當(dāng)時普遍的認識是做好兩件事：分析語句和獲取語義。文法規(guī)則數(shù)量及其龐大，和句子有關(guān)，且需要人工總結(jié)。

在計算機科學(xué)中，圖靈獎得主高德納 (Donald Knuth) 提出了用計算復(fù)雜度來衡量算法的耗時。對于上下文無關(guān)文法，算法的復(fù)雜度基本上是語句長度的二次方，而對于上下文有關(guān)文法，計算復(fù)雜度基本上是語句長度的六次方，也就是說，長度同為 10 的程序語言的語句和自然語言的語句，計算機對它們進行文法分析 (Syntactic Parsing) 的計算量，后者是前者的一萬倍。而且隨著句子長度的增長，二者計算時間的差異會以非常快的速度擴大。即使今天，有了很快的計算機 (英特爾 i7 四核處理器)，分析上面這個二三十個詞的句子也需要兩分鐘的時間。因此，在 20 世紀(jì) 70 年代，即使是制造大型機的 IBM 公司，也不可能采用規(guī)則的方法分析一些真實的語句。

上個世紀(jì) 70 年代，基于規(guī)則的句分析 （包括文法分析或者語義分析）就走到了盡頭。而對于語義的處理則遇到了更大的麻煩。

首先，自然語言中詞的多義性很難用規(guī)則來描述，而是嚴重依賴于上下文，甚至是常識。1966 年，著名人工智能專家明斯基 (前文提到的達特茅斯會議的發(fā)起者之一) 舉了一個簡單的反例，說明計算機處理語言的難處，。The pen is in the box，The box is in the pen。中兩個 pen 的區(qū)別。第一詞話很好理解，學(xué)過半年英語的學(xué)生都懂。但是第二句話則會讓外國人很困惑，為什么盒子可以裝到鋼筆里? 其實，第二句話對于英語是母語的人來講很簡單，因為這里 pen 是圍欄的意思。整句話翻譯成中文就是：盒子在圍欄里。這里面 pen 是指鋼筆還是圍欄，通過上下文已經(jīng)不能解決，需要常識，具體來說就是「鋼筆可以放到盒子里，但是盒子比鋼筆大，所以不能放到鋼筆里。」這是一個很簡單的例子，但清晰地說明了當(dāng)時自然語言處理研究方法上存在的問題。

1966 年的明斯基已經(jīng)不是十年前那個默默無名的年輕人了，而是當(dāng)時世界上數(shù)一數(shù)二的人工智能專家。他的意見對美國政府的科技決策部門產(chǎn)生了重大影響，自然科學(xué)基金會等部門對傳統(tǒng)的自然語言處理研究非常失望，以至于在較長時間里對這方面的研究資助大大減少。可以說，利用計算機處理自然語言的努力直到 20 世紀(jì) 70 年代初是相當(dāng)失敗的。

1970 年以后統(tǒng)計語言學(xué)的出現(xiàn)使得自然語言處理重獲新生，并取得了今天的非凡成就。推動這個技術(shù)路線轉(zhuǎn)變的關(guān)鍵人物是弗里德里克·貿(mào)里尼克 (Frederick Jelinek) 和他領(lǐng)導(dǎo)的 IBM 華生實驗室(T.J.Watson)。最初，他們也沒有想解決整個自然語言處理的各種問題，而只是希望解決語音識別的問題。采用基于統(tǒng)計的方法，IBM 將當(dāng)時的語音識別率從 70% 提升到 90%，同時語音識別的規(guī)模從幾百單詞上升到幾萬單間，這樣語音識別就有了從實驗室走向?qū)嶋H應(yīng)用的可能。

基于規(guī)則的自然語言處理和基于統(tǒng)計的自然語言處理的爭執(zhí)后來還持續(xù)了 15 年左右，直到上個世紀(jì) 90 年代初。15 年，對于一個學(xué)者來講是一段非常長的時間，如果哪個人從做博士開始就選錯了方向并且堅持錯誤，到 15 年后發(fā)現(xiàn)時，基本上這一輩子可能就一事無成了。

2　從規(guī)則到統(tǒng)計
3　小結(jié)

第3章　統(tǒng)計語言模型

統(tǒng)計語言模型是自然語言處理的基礎(chǔ)，并且被廣泛應(yīng)用于機器翻譯、語音識別、印刷體或手寫體識別、拼寫糾錯、漢字輸入和文獻查詢。
1　用數(shù)學(xué)的方法描述語言規(guī)律

一個文字序列是否能構(gòu)成一個大家能理解的句子，顯示給使用者。對這個問題，我們可以用一個簡單的統(tǒng)計模型來解決這個問題。
$$
P(S) = P(w_1)P(w_2|w_1)P(w_3| w_1 w_2)…P(w_n|w_1 w_2…w_{n-1})
$$
$P(w_n|w_1 w_2…w_{n-1})$的可能性太多，從19世紀(jì)到20世紀(jì)初，馬爾科夫提出了一種偷懶并且可靠的辦法：假設(shè)任意一個詞$W_i$出現(xiàn)的概率只同它前面的詞有關(guān)

根據(jù)大數(shù)定律，只要統(tǒng)計量足夠，相對頻度就等于概率。這件事使得原本名不見經(jīng)傳的李開復(fù)一下子成為了語音識別領(lǐng)域的專家。
2　延伸閱讀：統(tǒng)計語言模型的工程訣竅
3　小結(jié)

第4章　談?wù)劮衷~

中文分詞是中文信息處理的基礎(chǔ)，它同樣走過了一段彎路，目前依靠統(tǒng)計語言模型已經(jīng)基本解決了這個問題。
1　中文分詞方法的演變
2　延伸閱讀：如何衡量分詞的結(jié)果
3　小結(jié)

第5章　隱含馬爾可夫模型

隱含馬爾可夫模型最初應(yīng)用于通信領(lǐng)域，繼而推廣到語音和語言處理中，成為連接自然語言處理和通信的橋梁。同時，隱含馬爾可夫模型也是機器學(xué)習(xí)的主要工具之一。
1　通信模型
2　隱含馬爾可夫模型
3　延伸閱讀：隱含馬爾可夫模型的訓(xùn)練
4　小結(jié)

第6章　信息的度量和作用

信息是可以量化度量的。信息熵不僅是對信息的量化度量，也是整個信息論的基礎(chǔ)。它對于通信、數(shù)據(jù)壓縮、自然語言處理都有很強的指導(dǎo)意義。
1　信息熵
2　信息的作用
3　互信息
4　延伸閱讀：相對熵
5　小結(jié)

第7章　賈里尼克和現(xiàn)代語言處理

作為現(xiàn)代自然語言處理的奠基者，賈里尼克教授成功地將數(shù)學(xué)原理應(yīng)用于自然語言處理領(lǐng)域中，他的一生富于傳奇色彩。
1　早年生活
2　從水門事件到莫妮卡·萊溫斯基
3　一位老人的奇跡

第8章　簡單之美——布爾代數(shù)和搜索引擎

布爾代數(shù)雖然非常簡單，卻是計算機科學(xué)的基礎(chǔ)，它不僅把邏輯和數(shù)學(xué)合二為一，而且給了我們一個全新的視角看待世界，開創(chuàng)了數(shù)字化時代。
1　布爾代數(shù)
2　索引
3　小結(jié)

第9章　圖論和網(wǎng)絡(luò)爬蟲

互聯(lián)網(wǎng)搜索引擎在建立索引前需要用一個程序自動地將所有的網(wǎng)頁下載到服務(wù)器上，這個程序稱為網(wǎng)絡(luò)爬蟲，它的編寫是基于離散數(shù)學(xué)中圖論的原理。
1　圖論
2　網(wǎng)絡(luò)爬蟲
3　延伸閱讀：圖論的兩點補充說明
4　小結(jié)

第10章　PageRank——Google的民主表決式網(wǎng)頁排名技術(shù)

網(wǎng)頁排名技術(shù)PageRank是早期Google的殺手锏，它的出現(xiàn)使得網(wǎng)頁搜索的質(zhì)量上了一個大的臺階。它背后的原理是圖論和線性代數(shù)的矩陣運算。
1　PageRank 算法的原理
2　延伸閱讀：PageRank的計算方法
3　小結(jié)

第11章　如何確定網(wǎng)頁和查詢的相關(guān)性

確定網(wǎng)頁和查詢的相關(guān)性是網(wǎng)頁搜索的根本問題，其中確定查詢中每個關(guān)鍵詞的重要性有多高是關(guān)鍵。TF-IDF是目前通用的關(guān)鍵詞重要性的度量，其背后的原理是信息論。
1　搜索關(guān)鍵詞權(quán)重的科學(xué)度量TF-IDF
2　延伸閱讀：TF-IDF的信息論依據(jù)
3　小結(jié)

第12章　有限狀態(tài)機和動態(tài)規(guī)劃——地圖與本地搜索的核心技術(shù)

地圖和本地服務(wù)中要用到有限狀態(tài)機和動態(tài)規(guī)劃技術(shù)。這兩項技術(shù)是機器智能和機器學(xué)習(xí)的工具，它們的應(yīng)用非常廣泛，還包括語音識別、拼寫和語法糾錯、拼音輸入法、工業(yè)控制和生物的序列分析等。
1　地址分析和有限狀態(tài)機
2　全球?qū)Ш胶蛣討B(tài)規(guī)劃
3　延伸閱讀：有限狀態(tài)傳感器
4　小結(jié)

第13章　Google AK-47的設(shè)計者——阿米特·辛格博士

在所有輕武器中最有名的是AK-47沖鋒槍，因為它從不卡殼，不易損壞，可在任何環(huán)境下使用，可靠性好，殺傷力大并且操作簡單。Google的產(chǎn)品就是按照上述原
則設(shè)計的。

第14章　余弦定理和新聞的分類

計算機雖然讀不懂新聞，卻可以準(zhǔn)確地對新聞進行分類。其數(shù)學(xué)工具是看似毫不相干的余弦定理。
1　新聞的特征向量
2　向量距離的度量
3　延伸閱讀：計算向量余弦的技巧
4　小結(jié)

第15章　矩陣運算和文本處理中的兩個分類問題

無論是詞匯的聚類還是文本的分類，都可以通過線性代數(shù)中矩陣的奇異值分解來進行。這樣一來，自然語言處理的問題就變成了一個數(shù)學(xué)問題。
1　文本和詞匯的矩陣
2　延伸閱讀：奇異值分解的方法和應(yīng)用場景
3　小結(jié)

第16章　信息指紋及其應(yīng)用

世間萬物都有一個唯一標(biāo)識的特征，信息也是如此。每一條信息都有它特定的指紋，通過這個指紋可以區(qū)別不同的信息。
1　信息指紋
2　信息指紋的用途
3　延伸閱讀：信息指紋的重復(fù)性和相似哈希
4　小結(jié)

第17章　由電視劇《暗算》所想到的——談?wù)劽艽a學(xué)的數(shù)學(xué)原理

密碼學(xué)的根本是信息論和數(shù)學(xué)。沒有信息論指導(dǎo)的密碼是非常容易被破解的。只有在信息論被廣泛應(yīng)用于密碼學(xué)后，密碼才真正變得安全。
1　密碼學(xué)的自發(fā)時代
2　信息論時代的密碼學(xué)
3　小結(jié)

第18章　閃光的不一定是金子——談?wù)勊阉饕娣醋鞅讍栴}和搜索結(jié)果的權(quán)威性問題

閃光的不一定是金子，搜索引擎中排名靠前的網(wǎng)頁也未必是有用的網(wǎng)頁。消除這些作弊網(wǎng)頁的原理和通信中過濾噪音的原理相同。這說明信息處理和通信的很多原理是相通的。
1　搜索引擎的反作弊
2　搜索結(jié)果的權(quán)威性
3　小結(jié)

第19章　談?wù)剶?shù)學(xué)模型的重要性

正確的數(shù)學(xué)模型在科學(xué)和工程中至關(guān)重要，而發(fā)現(xiàn)正確模型的途徑常常是曲折的。正確的模型在形式上通常是簡單的。

第20章　不要把雞蛋放到一個籃子里——談?wù)勛畲箪啬Ｐ?/h2>

最大熵模型是一個完美的數(shù)學(xué)模型。它可以將各種信息整合到一個統(tǒng)一的模型中，在信息處理和機器學(xué)習(xí)中有著廣泛的應(yīng)用。它在形式上非常簡單、優(yōu)美，而在實現(xiàn)時需要有精深的數(shù)學(xué)基礎(chǔ)和高超的技巧。
1　最大熵原理和最大熵模型
2　延伸閱讀：最大熵模型的訓(xùn)練
3　小結(jié)

第21章　拼音輸入法的數(shù)學(xué)原理

漢字的輸入過程本身就是人和計算機之間的通信。好的輸入法會自覺或不自覺地遵循通信的數(shù)學(xué)模型。當(dāng)然要做出最有效的輸入法，應(yīng)當(dāng)自覺使用信息論做指導(dǎo)。
1　輸入法與編碼
2　輸入一個漢字需要敲多少個鍵——談?wù)勏戕r(nóng)第一定理
3　拼音轉(zhuǎn)漢字的算法
4　延伸閱讀：個性化的語言模型
5　小結(jié)

第22章　自然語言處理的教父馬庫斯和他的優(yōu)秀弟子們

將自然語言處理從基于規(guī)則的研究方法轉(zhuǎn)到基于統(tǒng)計的研究方法上，賓夕法尼亞大學(xué)的教授米奇馬庫斯功不可沒。他創(chuàng)立了今天在學(xué)術(shù)界廣泛使用的LCD語料庫，同時培養(yǎng)了一大批精英人物。
1　教父馬庫斯
2　從賓夕法尼亞大學(xué)走出的精英們

第23章　布隆過濾器

日常生活中，經(jīng)常要判斷一個元素是否在一個集合中。布隆過濾器是計算機工程中解決這個問題最好的數(shù)學(xué)工具。
1　布隆過濾器的原理
2　延伸閱讀：布隆過濾器的誤識別問題
3　小結(jié)

第24章　馬爾可夫鏈的擴展——貝葉斯網(wǎng)絡(luò)

貝葉斯網(wǎng)絡(luò)是一個加權(quán)的有向圖，是馬爾可夫鏈的擴展。而從認識論的層面看：貝葉斯網(wǎng)絡(luò)克服了馬爾可夫鏈那種機械的線性約束，它可以把任何有關(guān)聯(lián)的事件統(tǒng)一到它的框架下面。它在生物統(tǒng)計、圖像處理、決策支持系統(tǒng)和博弈論中都有廣泛的使用。
1　貝葉斯網(wǎng)絡(luò)
2　貝葉斯網(wǎng)絡(luò)在詞分類中的應(yīng)用
3　延伸閱讀：貝葉斯網(wǎng)絡(luò)的訓(xùn)練
4　小結(jié)

第25章　條件隨機場、文法分析及其他

條件隨機場是計算聯(lián)合概率分布的有效模型，而句法分析似乎是英文課上英語老師教的東西，這兩者有什么聯(lián)系呢？
1　文法分析——計算機算法的演變
2　條件隨機場
3　條件隨機場在其他領(lǐng)域的應(yīng)用
4　小結(jié)

第26章　維特比和他的維特比算法

維特比算法是現(xiàn)代數(shù)字通信中使用最頻繁的算法，同時也是很多自然語言處理的解碼算法。可以毫不夸張地講，維特比是對我們今天生活的影響力最大的科學(xué)家之一，因為如今基于CDMA的3G移動通信標(biāo)準(zhǔn)主要就是他創(chuàng)辦的高通公司制定的。
1　維特比算法
2　CDMA技術(shù)——3G移動通信的基礎(chǔ)
3　小結(jié)

第27章　上帝的算法——期望最大化算法

只要有一些訓(xùn)練數(shù)據(jù)，再定義一個最大化函數(shù)，采用EM算法，利用計算機經(jīng)過若干次迭代，就可以得到所需要的模型。這實在是太美妙了，這也許是我們的造物主刻意安排的。所以我把它稱作上帝的算法。
1　文本的自收斂分類
2　延伸閱讀：期望最大化和收斂的必然性
3　小結(jié)

第28章　邏輯回歸和搜索廣告

邏輯回歸模型是一種將影響概率的不同因素結(jié)合在一起的指數(shù)模型，它不僅在搜索廣告中起著重要的作用，而且被廣泛應(yīng)用于信息處理和生物統(tǒng)計中。
1　搜索廣告的發(fā)展
2　邏輯回歸模型
3　小結(jié)

第29章　各個擊破算法和Google云計算的基礎(chǔ)

Google頗為神秘的云計算中最重要的MapReduce工具，其原理就是計算機算法中常用的“各個擊破”算法，它的原理原來這么簡單——將復(fù)雜的大問題分解成很多小問題分別求解，然后再把小問題的解合并成原始問題的解。由此可見，在生活中大量用到的、真正有用的方法常常都是簡單樸實的。
1　分治算法的原理
2　從分治算法到MapReduce
3　小結(jié)

第30章　Google大腦和人工神經(jīng)網(wǎng)絡(luò)

Google大腦并不是一個什么都能思考的大腦，而是一個很能計算的人工神經(jīng)網(wǎng)絡(luò)。因此，與其說Google大腦很聰明，不如說它很能算。不過，換個角度來說，隨著計算能力的不斷提高，計算量大但簡單的數(shù)學(xué)方法有時能夠解決很復(fù)雜的問題。
1　人工神經(jīng)網(wǎng)絡(luò)
2　訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)
3　人工神經(jīng)網(wǎng)絡(luò)與貝葉斯網(wǎng)絡(luò)的關(guān)系
4　延伸閱讀：Google大腦
5　小結(jié)

第31章　大數(shù)據(jù)的威力——談?wù)剶?shù)據(jù)的重要性

如果說在過去的40年里，主導(dǎo)全球IT產(chǎn)業(yè)發(fā)展的是摩爾定律，那么在今后的20年里，主導(dǎo)IT行業(yè)繼續(xù)發(fā)展的動力則來自于數(shù)據(jù)。
切比雪夫不等式：
$$
P(|X-E(X)| \geq \varepsilon) < \frac{\sigma^{2}}{n \varepsilon^2}
$$
樣本數(shù)足夠多時，一個隨機變量和它的數(shù)學(xué)期望值之間的誤差可以任意小。

根據(jù)點擊數(shù)據(jù)可以訓(xùn)練一個概率模型，來決定搜索結(jié)果的排列順序。這個搜索算法被稱為點擊模型，只要統(tǒng)計數(shù)量足夠，這種根據(jù)點擊確定的排名就非常準(zhǔn)確。點擊模型貢獻了今天搜索排序至少60%的權(quán)重。搜索行業(yè)存在馬太效應(yīng)，搜索量不足的搜索引擎因為用戶點擊數(shù)據(jù)量的不足，搜索質(zhì)量會越變越差；相反，質(zhì)量好的搜索引擎會因為數(shù)據(jù)量大而越變越好。
[博客][http://blog.csdn.net/wenyusuran/article/details/40780435]