〇、說明
凸優(yōu)化主要學習《凸優(yōu)化》(Stephen Boyd等著，王書寧等譯)[1]這本書。學習過程中，對其內(nèi)容的理解時有困惑，也參考一些其他書籍資料。筆者盡量將這部分知識整理地簡潔明了，成此系列筆記。
如有錯誤疏漏，煩請指出。如要轉(zhuǎn)載，請聯(lián)系筆者，hpfhepf@gmail.com。
一、意義
無論原問題是不是凸優(yōu)化問題，都可以將原問題轉(zhuǎn)化為凸優(yōu)化問題來求解。
當Lagrange對偶問題的強對偶性成立時，可以利用求解對偶問題來求解原問題；而原問題是凸優(yōu)化問題時，強對偶性往往成立。否則，可以利用求解對偶問題求出原問題最優(yōu)值的下界。
二、Lagrange對偶問題
2.1、原問題
2.2、Lagrange函數(shù)
2.3、Lagrange對偶函數(shù)
2.4、Lagrange對偶問題
1、最優(yōu)值的下界
2、最好下界
2.5、弱對偶性
2.6、強對偶性
1、強對偶性
2、約束準則
很多研究成果給出了除凸性條件之外的強對偶性成立的條件，這些條件稱為約束準則。
3、Slater條件和Slater定理
三、最優(yōu)性條件
3.1、互補松弛性
3.2、KTT條件
1、非凸優(yōu)化問題的KKT條件
2、凸優(yōu)化問題的KKT條件
當原問題是凸優(yōu)化問題時，滿足KKT條件的點也是原、對偶問題的最優(yōu)解。
若某個凸優(yōu)化問題具有可微的目標函數(shù)和約束函數(shù)，且滿足Slater條件，那么KKT條件是最優(yōu)性的充要條件。
3、KKT條件的意義
KKT條件在優(yōu)化領(lǐng)域有著重要的作用。在一些情況下，可以通過解析求解KKT條件來求解優(yōu)化問題。高等代數(shù)中的Lagrange乘子法就可以理解為利用KKT條件求解約束求極值問題。[2]
更一般地，很多求解凸優(yōu)化問題的方法可以理解為求解KKT條件的方法。
附錄
A、參考
[1]、《凸優(yōu)化》，Stephen Boyd等著，王書寧等譯
[2]、《高等數(shù)學》(同濟四版)
B、相關(guān)目錄
凸優(yōu)化(八)——Lagrange對偶問題
C、時間線
2016-03-01 第一次發(fā)布
2016-08-08 修改文章名，重新整理完善
