http://note.youdao.com/noteshare?id=3da9c65bb3565de02d22c94202b812d5

A的LU分解

兩個(gè)基礎(chǔ)公式

1.假設(shè)A、B都是可逆矩陣，那么AB的逆矩陣是什么？

• AB的逆矩陣是$B^{-1}A^{-1}$，即$(AB)(B^{-1}A^{-1})=I$
• 原因：由于$AA^{-1} = I = A^{-1}A$和矩陣的結(jié)合律,我們可以得到 $(AB)(B^{-1}A^{-1}) = A(BB^{-1})A^{-1} = AIA^{-1} = AA^{-1} = I$。同理可得$(B^{-1}A^{-1}) (AB)= B(AA^{-1})B^{-1} = BIB^{-1} = BB^{-1} = I$,所以 AB　的逆矩陣是$B^{-1}A^{-1}$

2. A是可逆矩陣，那么A的轉(zhuǎn)置矩陣$A^{T}$的逆矩陣是什么？

• A的轉(zhuǎn)置矩陣$A^{T}$是A的逆矩陣的轉(zhuǎn)置矩陣$(A^{-1})^{T}$

• 什么是轉(zhuǎn)置矩陣？

  • 把A的橫行寫(xiě)為$A^{T}$的縱列，把A的縱列寫(xiě)為$A^{T}$的橫行，得到的矩陣就是轉(zhuǎn)置矩陣
  • 例子：矩陣$\begin{bmatrix} 1 & 3\\ 2 & 7 \end{bmatrix}$的轉(zhuǎn)置矩陣是$\begin{bmatrix} 1 & 3\\ 2 & 4 \end{bmatrix}$
  • 轉(zhuǎn)置矩陣有一個(gè)性質(zhì)：$(AB)^{T}=B^{T}A^{T}$

• 原因：由于$AA^{-1} = I$，那么將等式兩邊同時(shí)進(jìn)行轉(zhuǎn)置，得到$(AA^{-1})^{T}= I^{T}$,由于單位矩陣的轉(zhuǎn)置是他本身。那么我們可以得到$(A^{-1})^{T}A^{T}= I$。同理$A^{T}(A^{-1})^{T}= I$。即$(A^{-1})^{T}A^{T}= I = A^{T}(A^{-1})^{T}$，換句話(huà)說(shuō)就是，對(duì)于單個(gè)矩陣來(lái)說(shuō)，轉(zhuǎn)置和逆運(yùn)算的順序可以顛倒

什么是LU分解？

LU分解是一種消元的認(rèn)知方法。

假設(shè)有可逆矩陣A可以進(jìn)行消元，不需要進(jìn)行行變換,主元也很好(沒(méi)有0在主元的位置),最終通過(guò)消元得到了一個(gè)矩陣U。從A到U，這中間是如何聯(lián)系起來(lái)的？A和U是什么關(guān)系？

• 這里我們引出一個(gè)矩陣L，它聯(lián)系著A和U

首先考慮 2 x 2 消元的情形

• 假設(shè)矩陣A為$\begin{bmatrix}2 & 1\\ 8 & 7 \end{bmatrix}$，這里我們應(yīng)該使用4作為消元系數(shù)，最終得到的結(jié)果是$\begin{bmatrix}2 & 1\\ 0 & 3 \end{bmatrix}$，即$E_{21}$矩陣是$\begin{bmatrix}1 & 0\\ -4 & 1 \end{bmatrix}$，這里我們得到了一個(gè)等式

\begin{bmatrix}1 & 0\\ -4 & 1 \end{bmatrix}
\begin{bmatrix}2 & 1\\ 8 & 7 \end{bmatrix}
=
\begin{bmatrix}2 & 1\\ -4 & 1 \end{bmatrix}

E_{21}A=U

我們最終期望得到的等式是$A = LU$,即

\begin{bmatrix}2 & 1\\ 8 & 7 \end{bmatrix}
=
\begin{bmatrix} & \\  &  \end{bmatrix}
\begin{bmatrix}2 & 1\\ 0 & 3 \end{bmatrix}

A = LU

那么，L和E是什么關(guān)系呢？

• 從之前的兩個(gè)基礎(chǔ)公式可以看到，它們是逆矩陣的關(guān)系，因?yàn)?code>$E_{21}A=U$兩邊同時(shí)乘以$(E_{21})^{-1}$，我們可以得到$(E_{21})^{-1}E_{21}A=(E_{21})^{-1}U$,即$A=(E_{21})^{-1}U$
• 所以，最終得到的L是消元矩陣$E_{21}$的逆矩陣$\begin{bmatrix}1 & 0\\ 4 & 1 \end{bmatrix}$
• L的含義是什么？
  • 在$A = LU$中，U代表上三角[upper],L代表下三角[lower]
• 可以看到, L的對(duì)角線(xiàn)元素均為1，而U的對(duì)角線(xiàn)上均為主元

考慮 3 x 3 矩陣的情況

• 對(duì)于3 x 3矩陣A的消元運(yùn)算，假設(shè)我們不需要行變換，一般來(lái)說(shuō)有以下幾步
  1. 在矩陣(2,1)的位置得到0。 $E_{21}A$
  2. 在矩陣(3,1)的位置得到0。 $E_{31}E_{21}A$
  3. 在矩陣(3,2)的位置得到0。 $E_{32}E_{31}E_{21}A$

最終我們得到了這樣的結(jié)果：$E_{32}E_{31}E_{21}A = U$，而我們期望的是$A = LU$的形式，那么該如何變換呢？

• 首先消去$E_{32}$：在等式兩邊同時(shí)乘以$E_{32}$的逆$(E_{32})^{-1}$,得到：$E_{31}E_{21}A =(E_{32})^{-1}U$
• 然后消去$E_{31}$：同樣的步驟得到$E_{21}A=(E_{31})^{-1}(E_{32})^{-1}U$
• 最后消去$E_{21}$：同樣的步驟得到$A=(E_{21})^{-1}(E_{31})^{-1}(E_{32})^{-1}U$

所以L(fǎng)就是$(E_{21})^{-1}(E_{31})^{-1}(E_{32})^{-1}$

問(wèn)題

一個(gè) N x N 矩陣,在實(shí)際的消元過(guò)程中需要多少次操作？

• 假設(shè)n是一個(gè) 100 x 100 矩陣，我們需要運(yùn)算多少次之后，才能將其轉(zhuǎn)化為上三角矩陣 U 呢？（一次運(yùn)算的定義：將一行乘一定倍數(shù)后加到另一行上消元，這樣的過(guò)程定義為一次運(yùn)算）
• 第一列消元運(yùn)算結(jié)束之后，我們得到了下面的矩陣：

\begin{bmatrix}1 & ... & ... & ... & ... \\ 0 & ... & ... & ... & ... \\ 0 & ... & ... & ... & ...\\ 0 & ... & ... & ... & ...\\ 0 & ... & ... & ... & ...\end{bmatrix}

第一列的元素共運(yùn)算了100次，每行100個(gè)元素，于是第一行與第一列的消元結(jié)束后，我們共進(jìn)行了$100^2$次運(yùn)算。之后我們需要對(duì)下面的99x99的矩陣進(jìn)行相同的消元運(yùn)算，共 $99^2$次，這樣依次進(jìn)行下去，最終需要進(jìn)行的運(yùn)算次數(shù)是$100^2 + 99^2 + 98^2 + ... + 3^2 + 2^2 + 1^2 = \sum_{i=1}^{n} n^2$

置換矩陣

• 置換矩陣是一個(gè)方形二進(jìn)制矩陣，它在每行和每列中只有一個(gè)1，而在其他地方則為0
• 我們之前接觸過(guò)行變換所用到的矩陣，即是將單位陣 I 按照對(duì)應(yīng)行變換方式進(jìn) 行操作之后得到的矩陣。它可以交換矩陣中的兩行，代替矩陣行變換
• 例如：在消元過(guò)程中，當(dāng)矩陣主元 位置上面不是 1 時(shí)，我們就需要用行變換將主元位置換回 1
• 作用：由單位陣變換而來(lái)的矩陣，通過(guò)矩陣乘法可以使被乘矩陣行交換
• 列子：3x3的矩陣$\begin{bmatrix}1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix}$的置換矩陣共有六個(gè)，

\begin{bmatrix}1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix}
\begin{bmatrix}0 & 1 & 0 \\ 1 & 0 & 0 \\ 0 & 0 & 1 \end{bmatrix}
\begin{bmatrix}1 & 0 & 0 \\ 0 & 0 & 1 \\ 0 & 1 & 0 \end{bmatrix}
\begin{bmatrix}0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0 \end{bmatrix}
\begin{bmatrix}0 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 0 \end{bmatrix}
\begin{bmatrix}0 & 0 & 1 \\ 1 & 0 & 0 \\ 0 & 1 & 0 \end{bmatrix}

我們?nèi)∪我鈨蓚€(gè)矩陣相乘，結(jié)果仍舊在這六個(gè)矩陣中
推廣到 n x n 矩陣，n 階矩陣有 n！個(gè)置換矩陣，就是將單位矩陣 I 各行重新排列后所有可能的情況數(shù)量。