• 優點：在數據較少的情況下仍然有效，可以處理多類別問題。
• 缺點：對于輸入數據的準備方式較為敏感。
• 適用數據類型：標稱型數據。

一般過程：
⑴收集數據：可以使用任何方法。本章使用尺88源。
(2)準備數據：需要數值型或者布爾型數據。
(3)分析數據：有大量特征時，繪制特征作用不大，此時使用直方圖效果更好。
(4)訓練算法：計算不同的獨立特征的條件概率。
(5)測試算法：計算錯誤率。
(6)使用算法：一個常見的樸素貝葉斯應用是文檔分類。可以在任意的分類場景中使用樸素貝葉斯命類器，不一定非要是文本。

基于貝葉斯決策理論的分類方法

貝葉斯決策理論

核心思想： 選擇高概率對應的類別，即選擇具有最高概率的決策。
假設： 每個特征同等重要。即一個特征或者單詞出現的可能性與它和其他單詞相鄰沒有關系。

使用Python進行文本分類

要從文本中獲取特征，需要先拆分文本。然后將每一個文本片段表示為一個詞條向量，其中值為1表示詞條出現在文檔中，0表示詞條未出現。
代碼實現
bayes.py

from numpy import *

'''
1.準備數據：從文本中構建詞向量
把文本看成單詞向量或者詞條向量，也就是說將句子轉換為向量。
'''
#加載數據集
def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1] #1表示侮辱性文字，0表示正常言論（人工標注的結果，用于訓練）
    return postingList,classVec

#創建一個包含在所有文檔中出現的不重復詞的列表
def createVocabList(dataSet):
    vocabSet = set([])  #create empty set
    for document in dataSet:
        vocabSet = vocabSet | set(document) #創建兩個集合的并集
    return list(vocabSet)

#詞表到向量的轉換函數
def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len(vocabList) #創建一個其中所含元素都為0的向量
    for word in inputSet:
        if word in vocabList: #單詞在輸入文檔中出現
            returnVec[vocabList.index(word)] = 1
        else: print ("the word: %s is not in my Vocabulary!" % word)
    return returnVec


'''
2.訓練算法：從詞向量計算概率
偽代碼：
計算每個類別中的文檔數目
對每篇訓練文檔：
    對每個類別：
        如果詞條出現在文檔中 -> 增加該詞條的計數值
        增加所有詞條的計數值
    對每個類別：
        對每個詞條：
            將該詞條中的數目除以總詞條數目得到條件概率
    返回每個類別的條件概率
'''
def trainNB0(trainMatrix,trainCategory):#參數：文檔矩陣，每篇文檔類別標簽所構成的向量
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    #計算文檔屬于侮辱性文檔的概率p1
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    '''
    問題一：初始化概率
    利用貝葉斯分類器對文檔進行分類時，要計算多個概率的乘積以獲得文檔屬于某個類別的概率。
    如果其中一個概率值為0 ,那么最后的乘積也為0。
    為降低這種影響，可以將所有詞的出現數初始化為1，并將分母初始化為2。
    '''
    p0Num = ones(numWords); p1Num = ones(numWords)      #change to ones() 
    p0Denom = 2.0; p1Denom = 2.0                        #change to 2.0
    #遍歷訓練集中的所有文檔
    for i in range(numTrainDocs):
        #若出現侮辱性詞匯
        if trainCategory[i] == 1:
            #向量相加
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    '''
    問題二：下溢出
    當計算乘積時,由于大部分因子者3非常小，所以程序會下溢出或者得到不正確的答案。
    一種解決辦法是對乘積取自然對數。 
    ln(a*b) = ln(a) + ln(b)
    于是通過求對數可以避免下溢出或者浮點數舍入導致的錯誤。
    同時，采用自然對數進行處理不會有任何損失。
    '''
    p1Vect = log(p1Num/p1Denom)          #change to log()
    p0Vect = log(p0Num/p0Denom)          #change to log()
    return p0Vect,p1Vect,pAbusive


'''
3.測試算法
'''
#樸素貝葉斯分類函數
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1): #輸入：要分類的向量，三個概率
    #兩個向量對應元素相乘
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)
    #將詞匯表中所有詞的對應值相加，然后將該值加到類別的對數概率上。    
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
    #比較類別的概率返回大概率對應的類別標簽
    if p1 > p0:
        return 1
    else: 
        return 0

#遍歷函數（封裝所有操作，節省輸入代碼時間）
def testingNB():
    listOPosts,listClasses = loadDataSet()
    myVocabList = createVocabList(listOPosts)
    trainMat=[]
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
    p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))
    testEntry = ['love', 'my', 'dalmation']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print(testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))
    testEntry = ['stupid', 'garbage']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print(testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))


'''
4.準備數據：文檔詞袋模型
詞集模型：每個詞的出現與否作為一個特征
詞袋模型：如果每個詞在文檔中出現不止一次，這可能意味著包含該詞是否出現在文檔中所不能表達的某種信息。
'''
def bagOfWords2VecMN(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1 #每出現一次都加1，而不是設置成1
    return returnVec

main.py

import bayes
from numpy import *

listOPosts, listClasses = bayes.loadDataSet()
myVocabList = bayes.createVocabList(listOPosts) #創建一個包含所有詞的列表
print(myVocabList)

print(bayes.setOfWords2Vec(myVocabList, listOPosts[0]))

trainMat = []
for postinDoc in listOPosts:
    trainMat.append(bayes.setOfWords2Vec(myVocabList, postinDoc))

p0v, p1v, pAb = bayes.trainNB0(trainMat, listClasses)

#輸出任意文檔屬于侮辱性文檔的概率
print(pAb)

bayes.testingNB()

output:

['to', 'park', 'cute', 'flea', 'dog', 'has', 'my', 'stop', 'how', 'please', 'dalmation', 'love', 'is', 'stupid', 'ate', 'take', 'steak', 'maybe', 'not', 'so', 'problems', 'him', 'garbage', 'mr', 'buying', 'worthless', 'licks', 'help', 'food', 'quit', 'posting', 'I']
[0, 0, 0, 1, 1, 1, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0]
0.5
['love', 'my', 'dalmation'] classified as:  0
['stupid', 'garbage'] classified as:  1