協方差分析是建立在方差分析和回歸分析基礎之上的一種統計分析方法。在概率論和統計學中,協方差用于衡量兩個變量的總體誤差。而方差是協方差的一種特殊情況, 即當兩個變量是相同的情況。
兩個隨機變量協方差公式:
cov(X,Y) = E[(X-E(X))(Y-E(Y))]
cov(X,Y):變量X,Y的協方差
E(X):變量X的期望
E(Y):變量Y的期望
cov(X,Y) = E[(X-E(X))(Y-E(Y))]
= E[XY-XE[Y]]-E[X]Y+E[X]E[Y]]
= E[XY]-E[X]E[Y]-E[X]E[Y]+E[X]E[Y]
= E[XY]-E[X]E[Y]
協方差矩陣:
性質
1.兩個獨立的隨機變量滿足E[XY]=E[X]E[Y],即協方差為0的兩個隨機變量稱為是不相關的。
協方差與方差之間有如下關系:
D(X+Y)=D(X)+D(Y)+2Cov(X,Y)
D(X-Y)=D(X)+D(Y)-2Cov(X,Y)
(1)Cov(X,Y)=Cov(Y,X);
(2)Cov(aX,bY)=abCov(X,Y),(a,b是常數);
(3)Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)。
由協方差定義,可以看出Cov(X,X)=D(X),Cov(Y,Y)=D(Y)。
Pearson相關系數
協方差作為描述X和Y相關程度的量,在同一物理量綱之下有一定的作用,但同樣的兩個量采用不同的量綱使它們的協方差在數值上表現出很大的差異。
定義ρXY稱為隨機變量X和Y的(Pearson)相關系數。
若ρXY=0,則稱X與Y不線性相關。
即ρXY=0的充分必要條件是Cov(X,Y)=0,亦即不相關和協方差為零是等價的。
∣ρXY∣=1充分必要條件為P{Y=aX+b}=1,(a,b為常數,a≠0)。
參考:
百度百科:協方差
WIKIPEDIA:Covariance