前言
首先我們先確定一個事實，就是我們在做ML(機器學習)的時候，絕不是算法第一的。
我們在很多時候選擇一個或者說決定一個模型開始訓練，我們首先應該想的是：
- 數據來源(ETL的T)
- 數據的格式化(ETL的T)
- 數據采用的訓練模型
- 模型的展示
PCA降維算法
PCA簡單的說，它是一種通用的降維工具。在我們處理高維數據的時候，
了能降低后續計算的復雜度，在“預處理”階段通常要先對原始數據進行降維，
而PCA就是干這個事的 本質上講，PCA就是將高維的數據通過線性變換投影到低維空間上去
具體的數學原理我推薦這個
降維當然意味著信息的丟失，不過鑒于實際數據本身常常存在的相關性，我們可以想辦法在降維的同時將信息的損失盡量降低。
總結一下PCA的算法步驟：
設有m條n維數據。
1）將原始數據按列組成n行m列矩陣X
2）將X的每一行（代表一個屬性字段）進行零均值化，即減去這一行的均值
3）求出協方差矩陣C=\frac{1}{m}XX^\mathsf{T}
4）求出協方差矩陣的特征值及對應的特征向量
5）將特征向量按對應特征值大小從上到下按行排列成矩陣，取前k行組成矩陣P
6）Y=PX即為降維到k維后的數據
我們用python試著實現下：
# -*- coding: utf-8 -*-
from math import *
import random as rd
import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
def zeroMean(dataMat):
meanVal = np.mean(dataMat,axis = 0)#計算該軸上的統計值（0為列，1為行）
newData = dataMat - meanVal
return newData,meanVal
def pca(dataMat,percent=0.99):
'''求協方差矩陣
若rowvar=0，說明傳入的數據一行代表一個樣本，若非0
說明傳入的數據一列代表一個樣本。因為newData每一行代表一個樣本，所以將rowvar設置為0 '''
newData,meanVal=zeroMean(dataMat)
covMat=np.cov(newData,rowvar=0)
eigVals,eigVects = np.linalg.eig(np.mat(covMat))
n=percentage2n(eigVals,percent) #要達到percent的方差百分比，需要前n個特征向量
print str(n) + u"vectors"
eigValIndice=np.argsort(eigVals) #對特征值從小到大排序
n_eigValIndice=eigValIndice[-1:-(n+1):-1] #最大的n個特征值的下標
n_eigVect=eigVects[:,n_eigValIndice] #最大的n個特征值對應的特征向量
lowDDataMat=newData * n_eigVect #低維特征空間的數據
reconMat=(lowDDataMat * n_eigVect.T) + meanVal #重構數據
return reconMat,lowDDataMat,n
def percentage2n(eigVals,percentage):
sortArray=np.sort(eigVals) #升序
sortArray=sortArray[-1::-1] #逆轉，即降序
arraySum=sum(sortArray)
tmpSum=0
num=0
for i in sortArray:
tmpSum += i
num += 1
if tmpSum >= arraySum * percentage:
return num
if __name__ == '__main__':
data = np.random.randint(1,10,size = (3,5))
fig = plt.figure()
ax = plt.subplot(111,projection='3d')
#ax.scatter(data[0],data[1],data[2],c='y') #繪制數據點
ax.set_zlabel('Z') #坐標軸
ax.set_ylabel('Y')
ax.set_xlabel('X')
#plt.show()
print data
fin = pca(data,0.9)
mat =fin[1]
print mat
#ax.scatter(mat[0],mat[1],mat[2],c='y') #繪制數據點
#plt.show()
應用
我們對PCA后降維后的數據最直接的應用是聚類，這里我們還是選擇kmeans算法：
kmeans
具體算法可百度，我這里提下不同類型變量相異度計算方法：
標量也就是無方向意義的數字，也叫標度變量:
-
一種很自然的想法是用兩者的歐幾里得距離來作為相異度，歐幾里得距離的定義如下：
=\sqrt{(x_1-y_1)2+(x_2-y_2)2+...+(x_n-y_n)^2}) -
對于向量，由于它不僅有大小而且有方向，所以閔可夫斯基距離不是度量其相異度的好辦法，一種流行的做法是用兩個向量的余弦度量，其度量公式為：
=\frac{X^tY}{||X||||Y||})
k均值算法的計算過程非常直觀：
1、從D中隨機取k個元素，作為k個簇的各自的中心。
2、分別計算剩下的元素到k個簇中心的相異度，將這些元素分別劃歸到相異度最低的簇。
3、根據聚類結果，重新計算k個簇各自的中心，計算方法是取簇中所有元素各自維度的算術平均數。
4、將D中全部元素按照新的中心重新聚類。
5、重復第4步，直到聚類結果不再變化。
6、將結果輸出。
我們上代碼，是基于spark MLlib的：
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.mllib.clustering.KMeans
import org.apache.spark.mllib.linalg.Matrix
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.linalg.distributed.RowMatrix
import scala.util.Random
object PCA {
def getRandom(num: Int) = {
(for(i <- 1 to num ) yield "%1.1f".format(new Random().nextDouble()*10).toDouble ).toArray
}
def main(args: Array[String]): Unit = {
val line = 5
val conf =new SparkConf().setAppName("PCA");
val sc = new SparkContext(conf)
val data =(for(i <- 1 to line ) yield Vectors.dense(getRandom(10))).toArray
//我們產生一個5X10的矩陣
val dataRDD = sc.parallelize(data, 2)
//RowMatrix 分布式矩陣,RowMatrix.numRows，RowMatrix.numCols
val mat: RowMatrix = new RowMatrix(dataRDD)
val pc: Matrix = mat.computePrincipalComponents(3)//PCA只需要保留前3個特征
//得到的矩陣結果
val projected: RowMatrix = mat.multiply(pc)
val newdateRDD = projected.rows
// 打印出降維的數據
val numIterations = 20//迭代的次數
val ks:Array[Int] = Array(2,3,4,5)
ks.foreach(cluster => {
val model = KMeans.train(newdateRDD, cluster,numIterations,1)
val ssd = model.computeCost(newdateRDD)
println(" when k=" + cluster + " -> "+ ssd)
})
val Knum = 3 //將目標數據分成幾類
//將參數，和訓練數據傳入，形成模型
val clusters1 = KMeans.train(dataRDD, Knum , numIterations)//訓練原始數據
val clusters2 = KMeans.train(newdateRDD, Knum , numIterations)//訓練降維數據
val collect = projected.rows.collect()
println("主成分投影列矩陣:")
collect.foreach { vector => println(vector) }
val source = mat.rows.collect()
println("原始投影列矩陣:")
source.foreach { vector => println(vector) }
/*println("原始數據中心分布:")
for (c <- clusters1.clusterCenters) {
println(" " + c.toString)
}
println("訓練降維數據中心分布:")
for (c <- clusters2.clusterCenters) {
println(" " + c.toString)
}*/
for( i <- 0 to source.length - 1) {
println("訓練原始數據:" + source(i).toString + "屬于" + clusters1.predict(source(i)).toString + "類")
}
for( i <- 0 to collect.length -1) {
println("訓練降維數據:" + collect(i).toString + "屬于" + clusters2.predict(collect(i)).toString + "類")
}
}
}
后記
大概就這樣，最近遇到一個問題，就是數據的維度太多，特征向量都不知道選什么。很是頭疼~
