轉載自 R語言主成分和因子分析篇
另可參考 R in action讀書筆記（19）第十四章主成分和因子分析

主成分分析（PCA）是一種數據降維技巧，它能將大量相關變量轉化為一組很少的不相關變量，這些無關變量稱為主成分。
探索性因子分析（EFA）是一系列用來發現一組變量的潛在結構的方法，通過尋找一組更小　的、潛在的或隱藏的結構來解釋已觀測到的、變量間的關系。

1. R中的主成分和因子分析

R的基礎安裝包中提供了PCA和EFA的函數，分別為princomp（）和factanal（）
psych包中有用的因子分析函數

函數	描述
principal（）	含多種可選的方差放置方法的主成分分析
fa（）	可用主軸、最小殘差、加權最小平方或最大似然法估計的因子分析
fa.parallel（）	含平等分析的碎石圖
factor.plot（）	繪制因子分析或主成分分析的結果
fa.diagram（）	繪制因子分析或主成分分析的載荷矩陣
scree（）	因子分析和主成分分析的碎石圖

PCA/EFA 分析流程：
（1）數據預處理；PCA和EFA都是根據觀測變量間的相關性來推導結果。用戶可以輸入原始數據矩陣或相關系數矩陣列到principal()和fa()函數中，若輸出初始結果，相關系數矩陣將會被自動計算，在計算前請確保數據中沒有缺失值；
（2）選擇因子分析模型。判斷是PCA（數據降維）還是EFA（發現潛在結構）更符合你的分析目標。若選擇EFA方法時，還需要選擇一種估計因子模型的方法（如最大似然估計）。
（3）判斷要選擇的主成分/因子數目；
（4）選擇主成分/因子；
（5）旋轉主成分/因子；
（6）解釋結果；
（7）計算主成分或因子得分。

2.主成分分析

PCA的目標是用一組較少的不相關變量代替大量相關變量，同時盡可能保留初始變量的信息，這些推導所得的變量稱為主成分，它們是觀測變量的線性組合。如第一主成分為：

PC1=a1X1+a2X2+……+akXk 它是k個觀測變量的加權組合，對初始變量集的方差解釋性最大。

第二主成分是初始變量的線性組合，對方差的解釋性排第二，同時與第一主成分正交（不相關）。后面每一個主成分都最大化它對方差的解釋程度，同時與之前所有的主成分都正交，但從實用的角度來看，都希望能用較少的主成分來近似全變量集。

（1）判斷主成分的個數

PCA中需要多少個主成分的準則：
根據先驗經驗和理論知識判斷主成分數；
根據要解釋變量方差的積累值的閾值來判斷需要的主成分數；
通過檢查變量間k*k的相關系數矩陣來判斷保留的主成分數。
最常見的是基于特征值的方法，每個主成分都與相關系數矩陣的特征值關聯，第一主成分與最大的特征值相關聯，第二主成分與第二大的特征值相關聯，依此類推。
Kaiser-Harris準則建議保留特征值大于1的主成分，特征值小于1的成分所解釋的方差比包含在單個變量中的方差更少。
Cattell碎石檢驗則繪制了特征值與主成分數的圖形，這類圖形可以展示圖形彎曲狀況，在圖形變化最大處之上的主成分都保留。
最后，還可以進行模擬，依據與初始矩陣相同大小的隨機數矩陣來判斷要提取的特征值。若基于真實數據的某個特征值大于一組隨機數據矩陣相應的平均特征值，那么該主成分可以保留。該方法稱作平行分析。

利用fa.parallel（）函數，可同時對三種特征值判別準則進行評價。

library(psych)  
fa.parallel(USJudgeRatings[,-1], fa="PC", n.iter=100,
      show.legend=FALSE, main="Screen plot with parallel analysis")

image

碎石頭、特征值大于1準則和100次模擬的平行分析（虛線）都表明保留一個主成分即可保留數據集的大部分信息，下一步是使用principal（）函數挑選出相應的主成分。

（2）提取主成分

principal()函數可根據原始數據矩陣或相關系數矩陣做主成分分析,格式為：principal(r，nfactors=,rotate=,scores=)

其中：r是相關系數矩陣或原始數據矩陣；
nfactors設定主成分數（默認為1）；
rotate指定旋轉的方式[默認最大方差旋轉（varimax）]
**scores&&設定是否需要計算主成分得分（默認不需要）。

# 美國法官評分的主成分分析  
library(psych)  
pc<-principal(USJudgeRatings[,-1],nfactors=1)  
pc

image

此處，輸入的是沒有ONT變量的原始，并指定獲取一個未旋轉的主成分。由于PCA只對相關系數矩陣進行分析，在獲取主成分前，原始數據將會被自動轉換為相關系數矩陣。

PC1欄包含了成分載荷，指觀測變量與主成分的相關系數。如果提取不止一個主成分，則還將會有PC2、PC3等欄。成分載荷（component loadings）可用來解釋主成分的含義。此處可看到，第一主成分（PC1）與每個變量都高度相關，也就是說，它是一個可用來進行一般性評價的維度。
h2柆指成分公因子方差-----主成分對每個變量的方差解釋度。
u2欄指成分唯一性-------方差無法被主成分解釋的比例（1-h2）。

SS loadings行包含了主成分相關聯的特征值，指的是與特定主成分相關聯的標準化后的方差值。
Proportin Var行表示的是每個主成分對整個數據集的解釋程度。
結果不止一個主成分的情況

library(psych)  
fa.parallel(Harman23.cor$cov,n.obs=302,fa="pc",n.iter=100,show.legend=FALSE,main="Scree plot with parallel analysis")

image

載荷陣解釋了成分和因子的含義，第一成分與每個身體測量指標都正相關，看起來似乎是一個一般性的衡量因子；第二主成分與前四個變量負相關，與后四個變量正相關，因此它看起來似乎是一個長度容量因子。但理念上的東西都不容易構建，當提取了多個成分時，對它們進行旋轉可使結果更具有解釋性。

3）主成分旋轉

旋轉是一系列將成分載荷陣變得更容易解釋的數學方法，它們盡可能地對成分去噪。
旋轉方法有兩種：使選擇的成分保持不相關（正效旋轉），和讓它們變得相關（斜交旋轉）。
旋轉方法也會依據去噪定義的不同而不同。
最流行的下次旋轉是方差極大旋轉，它試圖對載荷陣的列進行去噪，使得每個成分只是由一組有限的變量來解釋（即載荷陣每列只有少數幾個很大的載荷，其他都是很小的載荷）。

install.packages("GPArotation")  
library(GPArotation)  
rc<-principal(Harman23.cor$cov,nfactors=2,rotate="varimax")  
rc

image

列名從PC變成了RC，以表示成分被旋轉
觀察可以發現第一主成分主要由前四個變量來解釋，第二主成分主要由變量5到變量8來解釋。
注意兩個主成分仍不相關，對變量的解釋性不變，這是因為變量的群組沒有發生變化。另外，兩個主成分放置后的累積方差解釋性沒有變化，變的只是各個主成分對方差的解釋（成分1從58%變為44%，成分2從22%變為37%）。各成分的方差解釋度趨同，準確來說，此時應該稱它們為成分而不是主成分。

（4）獲取主成分得分

利用principal（）函數，很容易獲得每個調查對象在該主成分上的得分。

從原始數據中獲取成分得分

library(psych)  
pc<-principal(USJudgeRatings[,-1],nfactors=1,score=TRUE)  
head(pc$scores)

image

當scores=TRUE時，主成分得分存儲在principal（）函數返回對象的scores元素中。

cor(USJudgeRatings$CONT,PC$scores)

獲取主成分得分的系數

library(psych)  
rc<-principal(Harman23.cor$cov,nfactor=2,rotate="varimax")  
round(unclass(rc$weights),2)

image

得到主成分得分：

PC1=0.28height+0.30arm.span+0.30forearm+0.29lower.leg-0.06weight-0.08bitro.diameter-0.10chest.girth-0.04chest.width

PC2=-0.05height-0.08arm.span-0.09forearm-0.06lower.leg+0.33weight+0.32bitro.diameter+0.34chest.girth+0.27chest.width

3.探索性因子分析

EFA的目標是通過發掘隱藏在數據下的一組較少的、更為基本的無法觀測的變量，來解釋一組可觀測變量的相關性。這些虛擬的、無法觀測的變量稱作因子。（每個因子被認為可解釋多個觀測變量間共有的方差，也叫作公共因子）

模型的形式為：

Xi=a1F1+a2F2+……apFp+Ui

Xi是第i個可觀測變量（i=1,2,……k）

Fj是公共因子（j=1,2,……p）

并且p<k

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

R語言主成分和因子分析篇

1. R中的主成分和因子分析

2.主成分分析

（1）判斷主成分的個數

（2）提取主成分

3）主成分旋轉

（4）獲取主成分得分

3.探索性因子分析

（1）判斷需提取的公共因子數

（2）提取公共因子

（3）因子旋轉

（4）因子得分

4.其他

（1）

（2）其他潛變量模型

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频