狠人伊人久干草,老司机午夜精品99久久免费,人妻无码熟妇乱又伦精品视频

主要分以下幾個方面進(jìn)行說明：

一、矩陣分解

二、線性最小二乘

三、非線性最小二乘

四、直接稀疏矩陣方法

五、迭代方法

一、矩陣分解

1.奇異值分解(SVD)

奇異值分解可將任意 $M\times N$ 實數(shù)矩陣 $A$ 分解成如下形式：
$A_{m\times n}=U_{m\times p} \Sigma_{p\times p} V_{p\times n} ^T=[u_0\arrowvert \cdots \arrowvert u_{p-1}] \left[\begin{array}{ccc} \sigma_0 &&\\& \ddots&\\ &&\sigma_{p-1}\end{array}\right] \left[\begin{array}{c}v_0^T\\\hline \vdots\\\hline v_{p-1}^T \end{array}\right]$
其中， $p = \min (m,n)$ ，矩陣 $U$ 和 $V$ 是正交矩陣，即 $U^TU=I$ 和 $V^TV=I$ 。其中 $\Sigma$ 主對角線上的值為矩陣 $A$ 的奇異值，所有奇異值均是非負(fù)的，并按照降序排列。如果僅有前r個奇異值是正的，那么矩陣A的秩即為r，同時SVD下標(biāo)可用r取代。

引用自《計算機視覺-算法與應(yīng)用》

應(yīng)用
1.求偽逆（求解線性最小平方、最小二乘問題）：
若矩陣 $A$ 的奇異值分解為 $A=U \Sigma V^T$ ，那么 $A$ 的偽逆為 $A^+=V \Sigma ^ + U^T$ ，其中 $\Sigma^+$ 是 $\Sigma$ 的偽逆，將原矩陣主對角線上每個非零元素求倒數(shù)之后再轉(zhuǎn)置得到。
2.矩陣近似值（PCA降維）：
PCA算法的作用是把數(shù)據(jù)集映射到低維空間，數(shù)據(jù)集的特征值(在SVD中用奇異值表征)按照重要性排列，降維的過程就是舍棄不重要的特征向量的過程，而剩下的特征向量組成的空間即為降維后的空間。

2.特征值分解

如果矩陣 $C$ 是對稱陣 $(m=n)$ 那么其特征值分解的形式：
$C=U\Lambda U^T=[u_0\arrowvert \cdots \arrowvert u_{n-1}] \left[\begin{array}{ccc} \lambda_0 &&\\& \ddots&\\ &&\lambda_{p-1}\end{array}\right] \left[\begin{array}{c}u_0^T\\\hline \vdots\\\hline u_{n-1}^T \end{array}\right]=\sum_{i=0}^{n-1}\lambda_iu_iu_i^T$
這里 $u$ 是特征向量， $\lambda$ 是特征值且 $\lambda_0\ge\lambda_1\ge\cdots\ge\lambda_{n-1}$
其中對稱陣 $C$ 可以通過一系列外積之和來構(gòu)造
$C= \sum_i{a_ia_i^T}=AA^T$
在這種情況下，我們可以保證所有特征值 $\lambda_i$ 都是非負(fù)的。
此時產(chǎn)生的矩陣 $C$ 是半正定矩陣，即對任意非0列向量 $x$ ，存在 $x^TCx\ge0, \forall x$ 如果矩陣 $C$ 滿秩所有特征值均為正，稱為對稱正定矩陣(SPD)。
對稱正定矩陣在數(shù)據(jù)統(tǒng)計分析中表示一組數(shù)據(jù)點 ${x_i}$ 圍繞其中心 $\bar x$ 產(chǎn)生的協(xié)方差
$C=\frac{1}{n} \sum_i (x_i-\bar x)(x_i-\bar x)^T$
矩陣 $C$ 的特征值和特征向量與 $A$ 的奇異值和奇異向量有著緊密聯(lián)系若有 $A=U\Sigma V^T$ 則 $C=AA^T=U\Sigma V^TV\Sigma U^T=U\Lambda U^T$ 由此我們可以知道 $\lambda_i=\sigma_i^2$ 且矩陣 $A$ 的左奇異向量就是矩陣 $C$ 的特征向量。