來源：DataGod
聚類分析是沒有給定劃分類別的情況下，根據樣本相似度進行樣本分組的一種方法，是一種非監督的學習算法。聚類的輸入是一組未被標記的樣本，聚類根據數據自身的距離或相似度劃分為若干組，劃分的原則是組內距離最小化而組間距離最大化，如下圖所示：
常見的聚類分析算法如下：
K-Means： K-均值聚類也稱為快速聚類法，在最小化誤差函數的基礎上將數據劃分為預定的類數K。該算法原理簡單并便于處理大量數據。
K-中心點：K-均值算法對孤立點的敏感性，K-中心點算法不采用簇中對象的平均值作為簇中心，而選用簇中離平均值最近的對象作為簇中心。
系統聚類：也稱為層次聚類，分類的單位由高到低呈樹形結構，且所處的位置越低，其所包含的對象就越少，但這些對象間的共同特征越多。該聚類方法只適合在小數據量的時候使用，數據量大的時候速度會非常慢。
下面我們詳細介紹K-Means聚類算法。
K-Means聚類算法
K-Means算法是典型的基于距離的非層次聚類算法，在最小化誤差函數的基礎上將數據劃分為預定的類數K，采用距離作為相似性的評價指標，即認為兩個對象的距離越近，其相似度就越大。
算法實現
選擇K個點作為初始質心
repeat
將每個點指派到最近的質心，形成K個簇
重新計算每個簇的質心
until 簇不發生變化或達到最大迭代次數
K如何確定
與層次聚類結合，經常會產生較好的聚類結果的一個有趣策略是，首先采用層次凝聚算法決定結果粗的數目，并找到一個初始聚類，然后用迭代重定位來改進該聚類。
初始質心的選取
常見的方法是隨機的選取初始質心，但是這樣簇的質量常常很差。
（1）多次運行，每次使用一組不同的隨機初始質心，然后選取具有最小SSE（誤差的平方和）的簇集。這種策略簡單，但是效果可能不好，這取決于數據集和尋找的簇的個數。
（2）取一個樣本，并使用層次聚類技術對它聚類。從層次聚類中提取K個簇，并用這些簇的質心作為初始質心。該方法通常很有效，但僅對下列情況有效：樣本相對較小；K相對于樣本大小較小。
（3）取所有點的質心作為第一個點。然后，對于每個后繼初始質心，選擇離已經選取過的初始質心最遠的點。使用這種方法，確保了選擇的初始質心不僅是隨機的，而且是散開的。但是，這種方法可能選中離群點。
距離的度量
常用的距離度量方法包括：歐幾里得距離和余弦相似度。歐幾里得距離度量會受指標不同單位刻度的影響，所以一般需要先進行標準化，同時距離越大，個體間差異越大；空間向量余弦夾角的相似度度量不會受指標刻度的影響，余弦值落于區間[-1,1]，值越大，差異越小。
質心的計算
對于距離度量不管是采用歐式距離還是采用余弦相似度，簇的質心都是其均值。
算法停止條件
一般是目標函數達到最優或者達到最大的迭代次數即可終止。對于不同的距離度量，目標函數往往不同。當采用歐式距離時，目標函數一般為最小化對象到其簇質心的距離的平方和；當采用余弦相似度時，目標函數一般為最大化對象到其簇質心的余弦相似度和。
空聚類的處理
如果所有的點在指派步驟都未分配到某個簇，就會得到空簇。如果這種情況發生，則需要某種策略來選擇一個替補質心，否則的話，平方誤差將會偏大。
（1）選擇一個距離當前任何質心最遠的點。這將消除當前對總平方誤差影響最大的點。
（2）從具有最大SSE的簇中選擇一個替補的質心，這將分裂簇并降低聚類的總SSE。如果有多個空簇，則該過程重復多次。
適用范圍及缺陷
K-Menas算法試圖找到使平方誤差準則函數最小的簇。當潛在的簇形狀是凸面的，簇與簇之間區別較明顯，且簇大小相近時，其聚類結果較理想。對于處理大數據集合，該算法非常高效，且伸縮性較好。
但該算法除了要事先確定簇數K和對初始聚類中心敏感外，經常以局部最優結束，同時對“噪聲”和孤立點敏感，并且該方法不適于發現非凸面形狀的簇或大小差別很大的簇。
克服缺點的方法：使用盡量多的數據；使用中位數代替均值來克服outlier的問題。
實例解析
>>> import pandas as pd# 載入sklearn包自帶數據集>>> from sklearn.datasets importload_iris>>> iris = load_iris()# 需要聚類的數據150個樣本，4個變量>>> iris.data>>> data = pd.DataFrame(iris.data)# 數據標準化(z-score)>>> data_zs = (data -data.mean())/data.std()# 導入sklearn中的kmeans>>> from sklearn.cluster importKMeans# 設置類數k>>> k =3# 設置最大迭代次數>>> iteration =500# 創建kmeans對象>>> model = KMeans(n_clusters=k,n_jobs=4,max_iter=iteration)# 使用數據訓練訓練model>>> model.fit(data_zs)# 每個類別樣本個數>>> pd.Series(model.labels_).value_counts()# 每個類別的聚類中心>>> pd.DataFrame(model.cluster_centers_)
下面我們用TSNE（高維數據可視化工具）對聚類結果進行可視化
>>> import matplotlib.pyplot asplt>>> from sklearn.manifold importTSNE>>> tsne = TSNE(learning_rate=100)# 對數據進行降維>>> tsne.fit_transform(data_zs)>>> data =pd.DataFrame(tsne.embedding_, index=data_zs.index)# 不同類別用不同顏色和樣式繪圖>>> d = data[model.labels_==0]>>> plt.plot(d[0],d[1],'r.')>>> d = data[model.labels_==1]>>> plt.plot(d[0],d[1],'go')>>> d = data[model.labels_==2]>>> plt.plot(d[0],d[1],'b*')>>> plt.show()
聚類效果圖如下：
下面我們用PCA降維后，對聚類結果進行可視化
>>> from sklearn.decompositionimport PCA>>> pca = PCA()>>> data =pca.fit_transform(data_zs)>>> data = pd.DataFrame(data,index=data_zs.index)>>> d = data[model.labels_==0]>>> plt.plot(d[0],d[1],'r.')>>> d = data[model.labels_==1]>>> plt.plot(d[0],d[1],'go')>>> d = data[model.labels_==2]>>> plt.plot(d[0],d[1],'b*')>>> plt.show()
聚類效果圖如下：
Python主要的聚類分析算法總結
在scikit-learn中實現的聚類算法主要包括K-Means、層次聚類、FCM、神經網絡聚類，其主要相關函數如下：
KMeans: K均值聚類；
AffinityPropagation: 吸引力傳播聚類，2007年提出，幾乎優于所有其他方法，不需要指定聚類數K，但運行效率較低；
MeanShift：均值漂移聚類算法；
SpectralClustering：譜聚類，具有效果比KMeans好，速度比KMeans快等特點；
5.** AgglomerativeClustering**：層次聚類，給出一棵聚類層次樹；
DBSCAN：具有噪音的基于密度的聚類方法；
BIRCH：綜合的層次聚類算法，可以處理大規模數據的聚類。
這些方法的使用大同小異，基本都是先用對應的函數建立模型，然后用fit()方法來訓練模型，訓練好之后，就可以用labels_屬性得到樣本數據的標簽，或者用predict()方法預測新樣本的標簽。
作者：流川楓AI
鏈接：http://www.lxweimin.com/p/b3eec739b0ea
來源：簡書
簡書著作權歸作者所有，任何形式的轉載都請聯系作者獲得授權并注明出處。
