樸素貝葉斯分類算法
算法簡介
樸素貝葉斯是使用貝葉斯的條件概率來做分類判斷的一種算法，具體的依據就是，對于二分類來說的話，如果
p(y1|x1,x2) > p(y2|x1,x2)
也就是在x1,x2同時發生的情況下，y1發生的概率大于y2發生的概率，由極大似然法可知，我們就有理由相信該x1,x2的樣本屬于y1分類，但是從數據的角度來看的話，我們一般不能直接得到p(y1|x1,x2) 和 p(y2|x1,x2)，這時我們可以考慮一下貝葉斯的條件概率公司，即：
p(y1|x1,x2) = p(x1,x2|y1)p(y1)/p(x1,x2)
p(y2|x1,x2) = p(x1,x2|y2)p(y2)/p(x1,x2)
其中等式右邊各個變量的計算方式如下，注意樸素貝葉斯公式中的樸素就是默認各個特征變量之間是相互獨立的即，p(x1,x2)=p(x1)*p(x2)：
- p(y1),p(y2)分別為分類為y1,y2的概率，也就是全部樣本中y1和y2分別占的個數
p(y1) = Σy1/n # 樣本中y1分類的個數/總個數
p(y2) = Σy2/n # 樣本中y2分類的個數/總個數
- p(x1,x2|y1)也就是分類為y1的樣本中，x1=a,x2=b的個數占y1分類的比例
p(x1,x2|y1) = p(x1|y1)*p(x2|y1)
p(x1|y1)也就是y1分類中x1站全部x的比例,對于python來說乘法的計算，所以我們可以轉成對數的計算即：
log(p(x1|y1)*p(x2|y1)) = log(p(x1|y1)) + log(p(x2|y1))
- 因為我們需要對比的是兩個數的大小，所以我們可以忽略掉p(x1,x2)的值的大小計算
約去不等式兩邊的公因數，也就是最后的計算公式可以變成：
Σ(x1,x2|y1) > Σ(x1,x2|y2)
這兩個值的比較了，這個式子的含義就是y1分類中
python實現算法的具體思路
以二分類文檔來舉例
- 我們需要先把文檔轉化成詞向量,如下
testNbX = [[1,0,2,1,0,0,0],[1,0,2,1,0,0,0],[1,0,2,1,0,0,0],[1,0,2,1,0,0,0]]
testNbY = [1,0,1,1]
- 計算每個參數概率
def trainNb(testNbX, testNbY):
p0Num = numpy.ones(len(testNbX[0])) # p(x|y1)的分子
p1Num = numpy.ones(len(testNbX[0])) # p(x|y2)的分子
p0Doman = 2.0 # 計算總共的單詞個數也就是總共的特征個數，作為p(x|y1)的分母
p1Doman = 2.0 # 計算總共的單詞個數也就是總共的特征個數，作為p(x|y2)的分母
p0YNum = 0 # 分類為0的個數
p1YNum = 0 # 分類為1的個數
for i in range(len(testNbY)):
if testNbY[i] == 1:
p0Num += testNbX[i]
p0Doman += sum(testNbX[i])
p0YNum += 1
else:
p1Num += testNbX[i]
p1Doman += sum(testNbX[i])
p1YNum += 1
p0X = numpy.log(p0Num/p0Doman)
p1X = numpy.log(p1Num/p1Doman)
p0Y = numpy.log(p0YNum/len(testNbY))
p1Y = numpy.log(1-p0Y)
return p0X, p1X, p0Y, p1Y
- 對于一個測試樣本，計算它的出現概率，然后確定是屬于哪個分類
def classifyNb(vocals, p0X, p1X, p0Y, p1Y):
p0 = sum(vocals * p0X) + p0Y # vocals * p0X, 計算當前單詞向量對應的概率，如果該單詞出現的次數比較多的話，那么他出現的概率就較大
p1 = sum(vocals * p1X) + p1Y
if ( p0 > p1 ):
return 0
else:
return 1
- 通過調用這三個式子就可以得到通過貝葉斯得到的分類預測
