本文來自 仙守 的CSDN 博客 ，全文地址請點擊：https://blog.csdn.net/shouhuxianjian/article/details/46669365?utm_source=copy
本博文來自維基上的矩陣計算：https://en.wikipedia.org/wiki/Matrix_calculus#Denominator-layout_notation
在數學上, 矩陣微積分是用來表示多變量的微積分,當然主要還是在矩陣空間上的。它覆蓋了單一函數（單元）關于多變量的偏導，多變量函數（多元函數）關于單一變量、向量和矩陣的偏導（向量、矩陣可以被視為單一實體對待）。這種符號化的數學表示大大的簡化了很多操作，例如查找多變量函數的最大值或者最小值，以及微分方程的求解系統等等。值得注意的是：下面使用的符號是在統計和工程領域中常用的，不過張量的指數表示（tensor index notation）是來自物理學。
不過有個我們之前未注意的是，有兩派人它們使用著自己的符號約定，從而將矩陣微積分劃分成了兩個派別。這兩個派別很容易區分，只要看它們寫一個標量關于一個向量的導數是寫成列向量還是行向量。不過這兩個約定都是被大家所接受的，就算是在涉及到一般的矩陣計算的時候，將常規的向量默認視為列向量（而不是行向量）的情況下還是成立的。在矩陣微積分中，如果采取了一個約定，那么就使用該約定貫穿整個領域(例如：計量經濟學,統計學,評估理論（etimation theory）和機器學習)，不要混用不然會造成混亂。然而，在一個具體的領域中，不同的作者還是會使用不同的約定，因為會有來自不同派別的作者會將他們自己的約定作為標準。所以在沒有去仔細的驗證不同作者的資料的時候盲目的將他們的結論放在一起會有嚴重的錯誤。因而在一個完整的資料上需要確保符號的一致性。在下面的布局約定部分會有兩種約定的定義介紹和比較。
一、范圍
矩陣微積分指的是使用矩陣和向量來表示因變量每個成分關于自變量每個成分的導數。通常來說，自變量指的是標量、向量或者矩陣，而因變量指的是由自變量得到的結果。每種不同的情況會導致有不同規則集合（或者不同的微積分操作）。我們可以用有組織的矩陣符號來方便的表示不同的導數。
第一個例子，考慮向量微積分中的梯度。對于一個有著三個因變量的標量函數來說，
，可以通過下面的向量方程來表示梯度：
更多復雜的例子，例如標量函數關于矩陣的導數，被稱之為梯度矩陣，其中每個對應位置上的元素都是關于原始矩陣每個元素的導數。在這種情況下，一個標量（個人：也就是結果矩陣中的一個元素）就是矩陣中每個因變量的一個函數。另一個例子，如果我們有一個元素為因變量、函數、m個自變量的n維向量，我們就需要考慮因變量向量關于該自變量向量的導數。結果為表示所有可能導數組合的一個m×n 矩陣。當然，最多也就9種形式。如果我們在自變量和因變量中有更多層次的嵌套，那么組合數量就遠遠不止9種了。
下面表中就是以矩陣形式表示的常見的6種不同的導數形式。
--------------------- 本文來自 仙守 的CSDN 博客 ，全文地址請點擊：https://blog.csdn.net/shouhuxianjian/article/details/46669365?utm_source=copy
