預(yù)備知識：
1、Ngram語言模型：
》該模型基于這樣一種假設(shè)：第n個詞的出現(xiàn)只與前面N-1個詞相關(guān)，而與其它任何詞都不相關(guān)，整句的概率就是各個詞出現(xiàn)概率的乘積。這些概率可以通過直接從語料中統(tǒng)計N個詞同時出現(xiàn)的次數(shù)得到。
》假設(shè)一個字符串w=w1w2….wn; wi可以是一個字，一個詞或者一個短語，我們把一個可以計算 P(W) 或者P(wn|w1,w2…wn-1) 的模型稱為語言模型，Language model，或者寫成LM。
》目的：在給定語料庫中，計算一個字符串出現(xiàn)的概率問題。
作用：a、機器翻譯 P(high winds tonight) > P(large winds tonight)；b、拼寫糾正，The office is about fifteen minuets from my house P(about fifteen minutes from) > P(about fifteen minuets from)；c、語音識別 P(I saw a van) >> P(eyes awe of an)；d、文本分類；還有自動摘要生成、問答系統(tǒng)等。
》如何計算字符串W出現(xiàn)的概率，即如何計算p(w)
例如：如何計算P(its, water, is, so, transparent, that)出現(xiàn)的概率呢？
這就涉及聯(lián)合概率和條件概率的知識了。
回顧一下聯(lián)合概率公式：
P(A,B,C,D) = P(A)P(B|A)P(C|A,B)P(D|A,B,C) （1）
一般地： P(x1,x2,x3,…,xn) = P(x1)P(x2|x1)P(x3|x1,x2)…P(xn|x1,…,xn-1) （2）
即
所以字符串“its water is so transparent”出現(xiàn)的概率計算方法是
P(“its water is so transparent”) =
P(its) × P(water|its) × P(is|its water)
× P(so|its water is) × P(transparent|its water is so)
但是，但我們計算P(wn|w1,w2…wn-1)的時候，比如
由于要計算wi出現(xiàn)的概率，就要去統(tǒng)計前i-1詞出現(xiàn)的情況，假設(shè)詞庫中有M個詞，就有M^(i-1)種可能，這樣導(dǎo)致計算量太大了。
于是，我們做一個簡單的馬爾科夫假設(shè)（Markov Assumption）：假設(shè)第i個詞出現(xiàn)的概率只與前面的N--1個詞有關(guān)，這就是N-gram語言模型的由來。比如計算 的概率時候，我們假設(shè)單詞the出現(xiàn)的概率只與前面出現(xiàn)的一個詞有關(guān)，那么
。
因此，在假設(shè)第i個詞出現(xiàn)的概率只與前面的N-1個詞出現(xiàn)有關(guān)的前提下，在計算p(wi|w1w2…wi-1)的時候，就變成了公式4，在計算p(w)=p(w1w2….wn)的時候就變成了公式5，這就是N-gram語言模型。
當(dāng)N=1的時候，
，叫一元模型，Unigram model；
N=2的時候，
，叫二元模型，Bigram model；
當(dāng)N=3的時候，
，叫 三元模型，trigram model；
好了，接下來針對二元模型，我們?nèi)绾稳ス烙嬤@些概率參數(shù)呢？
用的方法就是最大似然估計，也就是公式（6）和（7）了！
C(wi-1)表示詞wi-1在語料庫中出現(xiàn)的頻數(shù)。
一、項目的整體工作流程：
后端：在hadoop上構(gòu)建兩個Job，一個用于從數(shù)據(jù)集構(gòu)建Ngram Library，一個根據(jù)概率來構(gòu)建Library model，生成數(shù)據(jù)導(dǎo)入database中。（N－gram）
前端：利用JQuery, PHP, Ajax來調(diào)用database數(shù)據(jù)，實現(xiàn)實時autocompletion，在網(wǎng)頁端展示搜索引擎的Auto Completion 功能。
二、主要實現(xiàn)部分：
1、job1:
Map：從HDFS中讀入數(shù)據(jù)集，拆分成2-n個單詞的組合，發(fā)送給Reduce處理
Reduce：統(tǒng)計key出現(xiàn)的次數(shù)，結(jié)果輸出至HDFS中。
2、job2:
Map：讀取Job1 的處理結(jié)果，如讀入的為： this is cool/t20，則將其處理為：outputkey：this is ，outputvalue：cool＝20的形式，發(fā)送至Reduce
Reduce：接收的形式為如this -> <is=30, is book=10>
