撰寫簡單的分類器邏輯，了解分類器接口標(biāo)準(zhǔn)，深入理解機(jī)器學(xué)習(xí)過程

準(zhǔn)備工作

可以繼續(xù)使用前一篇pipline文章的項(xiàng)目，如果沒有請參照它的準(zhǔn)備工作部分
Scikit-learn-pipeline-macOS-案例-機(jī)器學(xué)習(xí)
需要下載安裝Python 3.x
從終端安裝Pip、Virtualenv并創(chuàng)建項(xiàng)目和初始化、激活虛擬環(huán)境
從終端安裝Numpy和Scipy,Scikit-learn等第三方模塊

sudo easy_install pip
sudo pip install --upgrade virtualenv 
mkdir ~/desktop/myapp
sudo virtualenv --system-site-packages -p python3 ~/venv
cd ~/desktop/myapp
source ./venv/bin/activate
sudo pip install numpy scipy
pip install -U scikit-learn

創(chuàng)建iris3.py文件，包含以下內(nèi)容

#導(dǎo)入數(shù)據(jù)集（在這里共計(jì)150條）
from sklearn import datasets
iris=datasets.load_iris()

#特征和標(biāo)簽
X=iris.data
y=iris.target

#將數(shù)據(jù)劃分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，測試數(shù)據(jù)占一半即0.5（75條）
from sklearn.cross_validation import train_test_split
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.5)

#創(chuàng)建分類器classifier
from sklearn.neighbors import KNeighborsClassifier
my_classifier=KNeighborsClassifier()

#訓(xùn)練數(shù)據(jù)
my_classifier.fit(X_train,y_train)

#使用訓(xùn)練好的分類器模型進(jìn)行預(yù)測實(shí)驗(yàn)
predictions=my_classifier.predict(X_test)

#計(jì)算精確度
from sklearn.metrics import accuracy_score
print(accuracy_score(y_test,predictions))

從終端環(huán)境(venv)運(yùn)行

python iris3.py

正常輸出0.9x數(shù)字

分類器接口

classfier類應(yīng)該至少有兩個(gè)方法.fit用來訓(xùn)練和.predict用來預(yù)測
修改創(chuàng)建分類器部分的代碼，去掉from sklearn.neighbors...一行，增加自定義分類器MyClassifier并使用它my_classifier=MyClassifier()

#創(chuàng)建分類器classifier
class MyClassifier():
    def fit(self,xtrain,ytrain):
        pass #暫時(shí)什么也不做
    def predict(self,xtest):
        pass #暫時(shí)什么也不做
    
my_classifier=MyClassifier()

如果現(xiàn)在運(yùn)行它將報(bào)錯(cuò)，因?yàn)閒it和predict并沒有正確返回接口需要格式的數(shù)據(jù)(實(shí)際上pass什么都不執(zhí)行)

隨機(jī)分類器

如果給你很多鳶尾花的訓(xùn)練數(shù)據(jù)（比如第一朵花萼長寬3,2.1花瓣長寬4,3.2,屬于setosa，第二朵...），然你自己分析這些數(shù)據(jù)從中找出每種鳶尾花的特征。

稍后，再給你一些鳶尾花的新數(shù)據(jù)（這次數(shù)據(jù)中不再告訴你每一朵是哪種鳶尾花，只有4個(gè)長寬數(shù)據(jù)），你需要評估出每朵花屬于[setosa,versicolor,virginica]三種中的哪一種？

這時(shí)候，最簡單的方法恐怕就是亂猜，就如同有人問你花萼長寬2.2，3花瓣長寬2.7,4這樣的鳶尾花屬于哪一種？你大腦都不過的就說出了versicolor。即使這樣，你仍然有33%的可能猜對，不是嗎？

修改我們的代碼，實(shí)現(xiàn)隨機(jī)分類器

import random #導(dǎo)入隨機(jī)模塊
#創(chuàng)建分類器classifier
class MyClassifier():
    def fit(self,xtrain,ytrain):
        self.X_train=xtrain #把訓(xùn)練數(shù)據(jù)xtrain變成自身的屬性，以便于在后續(xù)predict方法中使用
        self.y_train=ytrain #把訓(xùn)練可能ytrain變成自身的屬性，以便于后續(xù)使用
        #這里的ytrain就是[setosa,versicolor,virginica]數(shù)組
    def predict(self,xtest):
        my_predictions=[] #對多條數(shù)據(jù)預(yù)測出的結(jié)果數(shù)組，如第一朵versicolor，第二朵setosa，第三...
        for row in xtest: #對每一條數(shù)據(jù)進(jìn)行預(yù)測
            label=random.choice(self.y_train) #隨機(jī)選擇一種鳶尾花類型
            my_predictions.append(label) #把預(yù)測出的類型放入數(shù)組
        return my_predictions #返回預(yù)測出的結(jié)果數(shù)組
    
my_classifier=MyClassifier()

然后在終端運(yùn)行

python iris3.py

應(yīng)該輸出精確度是0.3x左右（多試幾次）

最近鄰分類器原理

最近鄰算法(Nearest Neighbor algorithm)是根據(jù)距離來評估數(shù)據(jù)所屬類型的算法。

如圖所示，綠色和紅色代表我們的訓(xùn)練數(shù)據(jù)（因此我們知道它們屬于哪種顏色類型），二灰色是我們要評估的測試新數(shù)據(jù)，我們不知道它該屬于綠色還是屬于紅色。
簡單的想法是，我們計(jì)算灰色點(diǎn)到其他所有點(diǎn)的距離，找到距離它最近的點(diǎn)，如果這個(gè)最近點(diǎn)是綠色，那么我們就認(rèn)為灰色點(diǎn)是綠色，如下圖

特征即坐標(biāo)

在平面紙上，每一個(gè)點(diǎn)有兩個(gè)位置特征(橫向x，豎向y)；在三維空間，每一個(gè)點(diǎn)有三個(gè)位置特征（x,y,z)。

請把思想打開！
在鳶尾花分類空間中，每一朵鳶尾花有四個(gè)位置特征（花萼的長度、寬度和花瓣的長度、寬度），盡管我們沒法畫出這個(gè)空間，但不妨礙我們想象它存在。

在這個(gè)空間中，每一朵鳶尾花處在不同的位置，假想屬于setosa類型的鳶尾花都分布在空間右上區(qū)域，屬于versicolor類型的都在左上區(qū)域，屬于virginica都在中間偏下的區(qū)域，如下圖所示（當(dāng)然這不是真的）

如果我們有一個(gè)新的需要預(yù)測類型的花，那么我們把它放到這個(gè)空間里，找到最近鄰的點(diǎn)花的類型，就能評估出新花的類型

計(jì)算空間距離

對于一維空間（也就是一條橫線）上AB兩點(diǎn)間的距離，就是A的位置減去B的位置。因?yàn)樵谝痪S空間，AB的位置只有一個(gè)特征（就是橫向x位置）。即

當(dāng)然有

對于二維平面上兩點(diǎn)的距離，如下圖

根據(jù)勾股定理，斜邊就是兩點(diǎn)間的距離，我們有

對于三維空間中兩點(diǎn)的距離，同樣我們有以下公式（可自行畫圖體會)

鳶尾花數(shù)據(jù)空間有四個(gè)維度（花萼長a寬b和花瓣長c寬d），同樣我們有以下公式計(jì)算兩朵花數(shù)據(jù)之間的距離

編寫最近鄰分類器

修改代碼，去掉import random行；為分類器定義新的closest方法，用來計(jì)算新花朵到所有訓(xùn)練數(shù)據(jù)花朵的最近距離，修改label=self.closest(row)替換隨機(jī)方法。

X_train訓(xùn)練數(shù)據(jù)，與之對應(yīng)的y_train包含了每個(gè)訓(xùn)練花朵的類型，這是已知的，所以找到最近的花，就知道它的類型，進(jìn)而評估新花的類型
代碼如下

#import random #導(dǎo)入隨機(jī)模塊
from scipy.spatial import distance #導(dǎo)入距離計(jì)算模塊

#創(chuàng)建分類器classifier
class MyClassifier():
    def fit(self,xtrain,ytrain):
        self.X_train=xtrain #把訓(xùn)練數(shù)據(jù)xtrain變成自身的屬性，以便于在后續(xù)predict方法中使用
        self.y_train=ytrain #把訓(xùn)練可能ytrain變成自身的屬性，以便于后續(xù)使用
        #這里的ytrain就是[setosa,versicolor,virginica]數(shù)組
    def predict(self,xtest):
        my_predictions=[] #對多條數(shù)據(jù)預(yù)測出的結(jié)果數(shù)組，如第一朵versicolor，第二朵setosa，第三...
        for row in xtest: #對每一條數(shù)據(jù)進(jìn)行預(yù)測
            label=self.closest(row) #獲取最近點(diǎn)類型，closest方法在下面定義
            my_predictions.append(label) #把預(yù)測出的類型放入數(shù)組
        return my_predictions #返回預(yù)測出的結(jié)果數(shù)組
    def closest(self,row):
        best_dist=distance.euclidean(row,self.X_train[0])  #計(jì)算到第一個(gè)點(diǎn)的距離
        best_index=0 #假設(shè)第一個(gè)點(diǎn)就是最近的，下面會修正
        for i in range(1,len(self.X_train)):
            dist=distance.euclidean(row,self.X_train[i]) #計(jì)算訓(xùn)練數(shù)據(jù)中每個(gè)點(diǎn)到新點(diǎn)的距離
            if(dist<best_dist):
                best_dist=dist
                best_index=i #如果距離更小就更新最近信息
        return self.y_train[best_index] #返回最近點(diǎn)對應(yīng)的花朵類型                
    
my_classifier=MyClassifier()

再次運(yùn)行

python iris3.py

可以看到輸出的精確度明顯從原來的0.3x提高到0.9x

探索人工智能的新邊界

如果您發(fā)現(xiàn)文章錯(cuò)誤，請不吝留言指正；
如果您覺得有用，請點(diǎn)喜歡；
如果您覺得很有用，感謝轉(zhuǎn)發(fā)~

END