1. 概述

$\quad$ 這期來講一下凸問題，了解凸問題的結(jié)構(gòu)便于我們來進行相應(yīng)的求解。相信大家應(yīng)該看過前幾期了（~~ball ball 大家去看看吧，提高點閱讀量吧~~），有什么不懂的或者希望交流的請在評論區(qū)留言。

2. 凸問題的最優(yōu)解：

$\quad$ 在正式講之前，希望大家了解一個優(yōu)化領(lǐng)域的常識：
（1）那就是大部分問題并不能直接求得符號解，一般是通過搜索算法來求得局部最優(yōu)解，而局部最優(yōu)解通常又不是全局最優(yōu)解，所以算法中存在著這樣的矛盾。那么常用的搜索算法為啥只能找到局部最優(yōu)呢？有木有能跳出局部最優(yōu)的算法呢？這些后期會一一解答。（~~如果我還能更那么多的話~~）

（2）一般求解的優(yōu)化問題都是極小化目標函數(shù)，如果是極大化的話就取個負號即可。

（3）局部最優(yōu)：通俗地講就是這一片連續(xù)的定義域，存在著這樣的一個點，使得函數(shù)取值比周圍的都小，但是這片區(qū)域的大小是有限制的。來看看數(shù)學定義吧： $對于\forall x\in R^n，\exists R使得對于\|x-p^*\|\leq R,都有f(p^*)\leq f(x)$ 。說個題外話，每次看到存在，任意這樣的定義都會讓我想起來大一學習極限的定義的時候，那時候真的覺得相當繞。

（4）全局最優(yōu)：通俗地講就是這對于，存在著這樣的一個點，使得其函數(shù)取值比所有存在于定義域的點的取值都小與或等于，那這樣的點就是全局最優(yōu)點啦。數(shù)學定義就是： $對于\forall x\in R^n，\exists p^* \in dom f都有f(p^*)\leq f(x)$ 。這個 $p^*$ 就是最優(yōu)解了哦，注意最優(yōu)解是點，不是函數(shù)值哦！

（5）凸問題的局部最優(yōu)就是全局最優(yōu)：這句話可以說是為啥凸優(yōu)化這么重要的原因了，因為求解到了凸問題的局部最優(yōu)解那么就求到了全局最優(yōu)解。那么秉承著從理論學習出發(fā)，做一個與眾不同的技術(shù)博的思想來說，我們來證明一下！提前說一下，會用到凸組合和凸函數(shù)的性質(zhì)，前面幾節(jié)都有說過的。

$\quad$ 那么明確一下證明的命題：有一個凸問題，簡而意之無約束的凸函數(shù)有一個局部最優(yōu)解，證明其為全局最優(yōu)解。
$\quad$ 假設(shè)其局部最優(yōu)解為 $x$ ,全局最優(yōu)解為 $y$ ，假設(shè) $x\neq y$ ，那么根據(jù)定義 $對于\forall x\in R^n，\exists R使得對于\|x-p^*\|\leq R,都有f(p^*)\leq f(x)$ ，既然 $y$ 是全局最優(yōu)解,那么肯定滿足 $\|y-x\|>R\tag{1}$ ，那么我們構(gòu)造一個凸組合 $z = \theta x+(1-\theta)y，\theta\in[0,1]$ ,我們知道啊 $x,y$ 肯定是凸集內(nèi)的點，那么 $z$ 也是凸集內(nèi)的點。好，定義 $1-\theta = \frac{R}{2\|y-x\|}$ ，根據(jù)之前的（1）式，得到 $\theta$ 顯然在 $(0,1)$ 內(nèi)。接著有下式成立： $\|z-x\|=||\theta x+(1-\theta)y-x||=||(1-\theta)(y-x)||=(1-\theta)||y-x||=\frac{R}{2}\tag{2}$ ，此時由于 $\|z-x\|=\frac{R}{2}<R$ ，那么有 $f(x)\leq f(z)$ 成立。同志們，到這步勝利就在眼前了！讓我們來使用一下凸函數(shù)的第一個定義， $\because x,y,z都在凸集中$ 得到下式： $f(z)=f(\theta x+(1-\theta)y)\leq\theta f(x)+(1-\theta)f(y)\tag{3}$ ,又因為我們假設(shè)了 $x$ 為局部最優(yōu)， $y$ 為全局最優(yōu)，那么 $f(y)< f(x),且\|y-x\|>R,f(x)\leq f(z)$ 則（3）式進一步寫成 $f(x)\leq f(z)\leq\theta f(x)+(1-\theta)f(y)<\theta f(x)+(1-\theta)f(x)=f(x)\tag{4}$ 最后得到了 $f(x)<f(x)$ ,這個結(jié)論顯然是不成立的，那么哪里錯了呢？推導都是正確的，那就是假設(shè)錯誤了，顯然是假設(shè)存在全局最優(yōu)解 $y$ 那里出了問題，反證法得證凸問題的局部最優(yōu)解即是全局最優(yōu)解。