1. 概述

從這里開始，為了復(fù)習(xí)所學(xué)知識，也是為了更加深刻地探討優(yōu)化理論中的相關(guān)知識，所以將凸優(yōu)化中的基礎(chǔ)概念做一個整理，然后形成一個凸優(yōu)化系列隨筆。本系列將涉及部分?jǐn)?shù)學(xué)推導(dǎo)，強調(diào)理論性，所以按需閱讀（~~能不能通俗地表達出來我就不知道了~~）。凸優(yōu)化問題通俗地講，是一種優(yōu)化問題，而且是一種簡單的優(yōu)化問題（因為生活中大部分例子與問題都是非凸優(yōu)化問題，但是部分可以轉(zhuǎn)換為凸優(yōu)化）。當(dāng)然，大家高中應(yīng)該學(xué)過線性規(guī)劃（目標(biāo)函數(shù)和可行解域由線性不等式構(gòu)成），可以將凸優(yōu)化看做線性規(guī)劃的拓展。

2. 預(yù)備知識

（1）直線的表示，假設(shè)有一個n維空間，已知兩點（ $x_1，x_2$ ，統(tǒng)一用向量形式表示）， $x_1，x_2 \in R^n$ ，則有參數(shù) $\theta\in R^n$ ，直線表示為 $y = \theta{x_1}+(1-\theta)x_2$ 。換成這樣的形式更好懂一點： $y = x_2+\theta(x_1-x_2)$ ，還是比較通俗易懂得的吧，從x2點出發(fā)，沿（x2-x1）向量的方向移動 $\theta$ 長度即直線。

（2）線段的表示，聰明的你一定已經(jīng)想到了，只要限定參數(shù) $\theta$ 即可表示線段，木有錯，只要參數(shù) $\theta\in[0,1]$ 即可表示，x1和x2構(gòu)成的線段。

3. 仿射集（affine Set）：

3.1 定義

（1）仿射（affine）定義：對于集合 $C\subseteq{R^n}$ ，如果通過集合C中任意兩個不同點之間的直線仍在集合C中，則稱集合C為仿射（affine）。也就是說，C包括了在C中任意兩點的線性組合，即： $x_1,x_2\in C,\theta\in R, \theta{x_1}+(1-\theta)x_2\in C$ 這個概念可以推廣到n個點，即 $\theta_1{x_1}+\theta_2{x_2}+...+\theta_n{x_n}$ ，其中 $\theta_1+\theta_2+...+\theta_n=1$ 。從屬于C中點鐘選擇k個點，構(gòu)成的 $\theta_1{x_1}+\theta_2{x_2}+...+\theta_k{x_k}$ 也稱為仿射組合。

（2）仿射集（affine set）定義：仿射集包含了集合內(nèi)點的所有仿射組合。若C是仿射集， $x_1,x_2...x_n\in C,\theta_1+\theta_2+...+\theta_n=1$ ，則 $\theta_1{x_1}+\theta_2{x_2}+...+\theta_n{x_n}$ 也屬于仿射集合C。

（3）仿射包（affine hull）定義：仿射包是包含C的最小的仿射集，表示為： $aff\quad C=\{\theta_1{x_1}+\theta_2{x_2}+...+\theta_n{x_n}|x_1,x_2...x_n\in C,\theta_1+\theta_2+...+\theta_n=1\}$

定義看上去可能有些復(fù)雜（~~能來看這文章的應(yīng)該都能看懂~~），意思很簡單，就是說從一個仿射集中選取k個點，然后這k個點的線性組合依舊屬于這個仿射集。

3.2 性質(zhì)

（1）性質(zhì)一，即仿射集的定義，任意屬于仿射集的點的線性組合，且滿足權(quán)重之和為1，其組合點依舊屬于仿射集。

$\quad$ emmm,證明嘛，可以通過數(shù)學(xué)歸納法證明，簡單演示一下3維空間的情況吧：假設(shè)有仿射集C， $x_1,x_2,x_3\in C,\theta_i\in R,且\theta_1+\theta_2+...+\theta_n=1$ ,已知二維空間里 $\theta_1{x_1}+(1-\theta)x_2\in C$ ,那么即證明 $\theta_1{x_1}+\theta{x_2}+\theta_3{x_3}\in C$ 。首先構(gòu)造這樣的形式： $\frac{\theta_1}{\theta_1+\theta_2}x_1+\frac{\theta_2}{\theta_1+\theta_2}x_2\tag{1}$ 顯然其屬于仿射集C，然后接著構(gòu)建 $(\theta_1+\theta_2)(1)+(1-\theta_1-\theta_2)x_3\tag{2}$ ,顯此點依舊在仿射集C內(nèi)，打開此式，得到 $\theta_1{x_1}+\theta{x_2}+\theta_3{x_3}]\tag{3}$ ,而（2）式即為（3）式，得證。

（2）性質(zhì)二， $V = C-x_0=\{x-x_0|x \in C\},且\forall x_0\in C$ 。意思就是任對所有的仿射集元素減去一個確定在仿射集中的元素x0，得到的新集合依舊是仿射集，稱其為C相關(guān)的子空間，其實還有個特殊性質(zhì)，就是V這個集合里的 $\theta\in R$ 。證明就略過吧，和性質(zhì)一類似。

（3）性質(zhì)三（important），線性方程組的解集是仿射集。 $C = \{x|Ax=b\},A\in R^{m\times n},b\in R^{m},x\in R^n$ .

$\quad$ 這個概念很重要，來讓我們證明證明，首先已知線性方程組 $Ax=b，\forall x_1,x_2\in C$ ,則滿足 $Ax_1=b,Ax_2=b$ ,然后呢，構(gòu)建參數(shù) $\theta\in R$ ,只要證明 $A(\theta{x_1}+(1-\theta)x_2)=b$ 即可。簡單代入一下得到 $\theta{Ax_1}+(1-\theta)Ax_2$ 顯然等于b。原命題得證。附加一點，其子空間 $V = \{x|Ax=0,A\in R^{m\times n},x\in R^n\}$ 是一個化零空間。