協(xié)方差的定義
在統(tǒng)計(jì)學(xué)上，協(xié)方差用來刻畫兩個(gè)隨機(jī)變量之間的相關(guān)性，反映的是變量之間的二階統(tǒng)計(jì)特性，兩個(gè)隨機(jī)變量Xi和Yj的協(xié)方差定義為
所以
協(xié)方差矩陣
是一個(gè)矩陣，其 i, j 位置的元素是第 i 個(gè)與第 j 個(gè)隨機(jī)向量（即隨機(jī)變量構(gòu)成的向量）之間的協(xié)方差。
設(shè)X1，X2，...,Xn為一組隨機(jī)變量，記X=(X1，X2，...,Xn)T為由這n個(gè)隨機(jī)變量構(gòu)成的隨機(jī)向量，假設(shè)每個(gè)隨機(jī)變量有m個(gè)樣本，將所有的樣本拼接在一起可以得到如下的樣本矩陣
協(xié)方差矩陣是計(jì)算不同維度間的協(xié)方差，要時(shí)刻牢記這一點(diǎn)。因此樣本矩陣的每行是一個(gè)樣本，每列為一個(gè)維度，所以我們要按列計(jì)算均值。但是peghoty博客中用的是矩陣第i行元素表示第i個(gè)隨機(jī)變量Xi的m個(gè)樣本，所以以下分析暫時(shí)用的peghoty的方案。
引入向量αi和βi
αi是樣本矩陣的行向量，βi是樣本矩陣的列向量，所以樣本矩陣表示為
對(duì)于n維的隨機(jī)變量X=(X1,X2,…,Xn)T的協(xié)方差矩陣定義為
所以協(xié)方差矩陣必定是一個(gè)對(duì)稱矩陣
協(xié)方差矩陣中的對(duì)角線元素表示方差，非對(duì)角線元素表示隨機(jī)向量X的不同隨機(jī)量之間的協(xié)方差，因此協(xié)方差矩陣可以作為刻畫不同分量之間相關(guān)性的一個(gè)評(píng)判量，不同分量之間的相關(guān)性越小，則C的非對(duì)角線元素的值就越小，特別地，如果不同分量彼此不相關(guān)，那么C就變成一個(gè)對(duì)角陣。
注意：我們并不能得到協(xié)方差矩陣C的真實(shí)性，只能根據(jù)所提供的X的樣本數(shù)據(jù)，對(duì)其進(jìn)行近似估計(jì)，因此，這樣計(jì)算得到的協(xié)方差矩陣是依賴于樣本數(shù)據(jù)的，通常提供的樣本數(shù)目越多（m越大），樣本在總體中的覆蓋面就越廣，所得協(xié)方差矩陣就越可靠。
**協(xié)方差公式推導(dǎo)
