學習到的第一個機器學習算法是“k-近鄰算法 (kNN) ”, 它的工作原理是:
存在一個樣本數據集合，也稱作訓練樣本集，并且樣本集中每個數據都存在標簽，即我們知道樣本集中每一數據與所屬分類的對應關系。輸人沒有標簽的新數據后，將新數據的每個特征與樣本集中數據對應的特征進行比較，然后算法提取樣本集中特征最相似數據(最近鄰)的分類標簽。一般來說，我們 只選擇樣本數據集中前k個最相似的數據，這就是k-近鄰算法中k的出處,通常k是不大于20的整數。 最后，選擇k個最相似數據中出現次數最多的分類，作為新數據的分類。

準備工作：建立訓練用樣本集group和其標簽集labels

import numpy as np
import operator
import sys
reload(sys)
sys.setdefaultencoding('utf8')
def createDataSet():
    group=np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels=['A','A','B','B']
    return group,labels

kNN算法實現函數：

def classify0(inX,dataSet,labels,k):
    dataSetSize=dataSet.shape[0]#查看訓練集有多少行，即有多少個實例。
    diffMat=np.tile(inX,(dataSetSize,1))-dataSet
    #將測試數據也重復擴大成訓練集一樣的形式
    #tile函數詳細：http://blog.csdn.net/april_newnew/article/details/44176059
    sqDiffMat=diffMat**2#平方運算
    sqDistances=sqDiffMat.sum(axis=1)
    distances=sqDistances**0.5#開根運算
    sortedDistIndicies=distances.argsort()#argsort返回升序排序后的索引值。
    #關于argsort詳細:http://blog.csdn.net/maoersong/article/details/21875705
    classCount={}
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]]#將標簽向量按排序索引存儲于voteIlabel中
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1#對前k個點所在類別進行出現次數統計。
        #關于get函數:http://www.runoob.com/python/att-dictionary-get.html
    sortedClassCount=sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)
    #iteritems()迭代輸出字典的鍵值對，與item()類似，用法iter = dict.iteritems() iter.next()
    #itemgetter(1)表明按值排序，reverse=True表明降序排序。

函數的四個參數分別為：
inX：需要分類的測試數據。
dataSet：訓練樣本集
labels：訓練樣本集的標簽集
k：需要取的最相近距離的個數。

兩點間距離公式如下：

在約會網站數據上使用kNN算法

1. 讀取文件

def file2matrix(filename):#文件讀取，提取特征和標簽
    fr=open(filename)
    arrayOLines=fr.readlines()
    numberOfLines=len(arrayOLines)
    returnMat=np.zeros((numberOfLines,3))
    classLabelVector=[]
    index=0
    for line in arrayOLines:
        line=line.strip() #移除每行首尾指定字符。參數為空則移除空白符（如/d，/r，/n等)
        listFromLine=line.split('\t')
        returnMat[index,:]=listFromLine[0:3]
        classLabelVector.append(int(listFromLine[-1]))
        index +=1
    return returnMat,classLabelVector
datingDataMat,datingLabels=file2matrix('文件路徑')

2. 準備數據：歸一化數值
   歸一化公式：newValue = {oldValue-min)/(max-min)

def autoNorm(dataSet):#歸一化特征值函數
    minVals=dataSet.min(0) #axis=0，求每列中的最小值
    maxVals=dataSet.max(0)# 求每列中的最大值。詳細參考：http://blog.csdn.net/qq_18433441/article/details/54743271
    ranges=maxVals-minVals
    normDataSet=np.zeros(np.shape(dataSet))
    m=dataSet.shape[0]#取dataSet的行數 詳細參考：http://blog.csdn.net/u010758410/article/details/71554224
    normDataSet=dataSet-np.tile(minVals,(m,1))
    normDataSet=normDataSet/np.tile(ranges,(m,1))
    return normDataSet,ranges,minVals
normMat,ranges,minVals=autoNorm(datingDataMat)

3.測試算法：作為完整程序驗證分類器

def datingClassTest():#訓練測試
    hoRatio=0.1 #測試數據集占總數據的比例。
    datingDataMat,datingLabels=file2matrix('文件路徑') #讀取文件數據
    normMat,ranges,minVals=autoNorm(datingDataMat) #數據歸一化
    m=normMat.shape[0] #數據行數，也就是實例總數
    numTestVecs=int(m*hoRatio) #測試數據個數
    errorCount=0.0 #初始化分類錯誤的數據個數
    for i in range(numTestVecs): 
        classifierResult=classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],5)
        print "the classifier came back with:%d,the real answer is:%d" %(classifierResult,datingLabels[i])
        if (classifierResult!=datingLabels[i]): errorCount+=1.0
    print "the total error rate is :%f" %(errorCount/float(numTestVecs))

4. 使用算法構建完整可用系統：??

def classifyPersion():
    resultList=['not at all','in small doses','in large doses']
    persenTats=float(raw_input("percentage of time spent playing video games?"))
    ffMiles=float(raw_input("freguent flier miles earned per year?"))
    iceCream=float(raw_input("liters of ice cream consumed per year?"))
    datingDataMat,datingLabels=file2matrix('文件路徑')
    normMat,ranges,minVals=autoNorm(datingDataMat)
    inArr=np.array([ffMiles,persenTats,iceCream])
    classifierResult=classify0((inArr-minVals)/ranges,normMat,datingLabels,3)
    print "You will probably like this person:",resultList[classifierResult-1]

classifyPersion()

代碼里自己總結的一些小疑問。

1. shape[0]
   函數中，shape[0]用于查看訓練樣本集有多少行，即有多少實例。

2. tile函數
   用np.tile函數將測試數據重復，擴大為和訓練數據集一樣的大小。用這個擴大后的測試數據集和訓練樣本集相減，即為diffMat。
   關于tile函數的具體使用參考：http://blog.csdn.net/april_newnew/article/details/44176059

3. **2運算
   2為平方運算，0.5為開根運算

4. .sum(axis=1)
   axis=1表示按行相加。axis=0表示按列相加。

5. argsort()
   distances.argsort()返回升序排序后的索引值。
   關于argsort（）詳細用法參考：http://blog.csdn.net/maoersong/article/details/21875705

6. get函數
   classCount.get(voteIlabel,0)返回計數字典里voteIlabel這個類別的出現次數。即鍵voteIlabel對應的值。還沒被統計過，也就是不存在的話，返回默認值0
   關于get函數的詳細用法參考：http://www.runoob.com/python/att-dictionary-get.html

7. sorted函數
   sorted函數為用于列表或者iterator的排序函數，其直接返回一個排序后的新數據，而不是對原數據進行操作。
   四個參數：
   classCount.iteritems() ：teritems()迭代輸出字典的鍵值對，與item()類似
   key=operator.itemgetter(1)：itemgetter(1)表明按值排序，0表明按鍵排序。
   reverse=True：表明降序排序
   itemgetter詳細：http://blog.163.com/wjyydhs810@126/blog/static/162071754201411864324976/
   排序詳解：https://www.douban.com/note/271284737/