(已合并粒子群算法（1）（2）（3）于此)
1. 粒子群算法簡介
粒子群算法（Particle Swarm Optimization,PSO）是一種模仿鳥群、魚群覓食行為發展起來的一種進化算法。其概念簡單易于編程實現且運行效率高、參數相對較少，應用非常廣泛。粒子群算法于1995年提出，距今（2019）已有24年歷史。
粒子群算法中每一個粒子的位置代表了待求問題的一個候選解。每一個粒子的位置在空間內的好壞由該粒子的位置在待求問題中的適應度值決定。每一個粒子在下一代的位置有其在這一代的位置與其自身的速度矢量決定，其速度決定了粒子每次飛行的方向和距離。在飛行過程中，粒子會記錄下自己所到過的最優位置 Ｐ，群體也會更新群體所到過的最優位置Ｇ 。粒子的飛行速度則由其當前位置、粒子自身所到過的最優位置、群體所到過的最優位置以及粒子此時的速度共同決定。
2. 算法流程
上面介紹了粒子群算法來歷，過程。沒有了解過的小伙伴肯定是一臉萌容。不過這已經是優化算法中最簡單、最沒有心機的算法了，也是入門優化算法的不二選擇。
好了，正篇開始。這是一個根據鳥群覓食行為衍生出的算法。現在，我們的主角是一群鳥。
小鳥們的目標很簡單，要在這一帶找到食物最充足的位置安家、休養生息。它們在這個地方的搜索策略如下：
1． 每只鳥隨機找一個地方，評估這個地方的食物量。
2． 所有的鳥一起開會，選出食物量最多的地方作為安家的候選點G。
3． 每只鳥回顧自己的旅程，記住自己曾經去過的食物量最多的地方P。
4． 每只鳥為了找到食物量更多的地方，于是向著G飛行，但是呢，不知是出于選擇困難癥還是對P的留戀，或者是對G的不信任，小鳥向G飛行時，時不時也向P飛行，其實它自己也不知道到底是向G飛行的多還是向P飛行的多。
5． 又到了開會的時間，如果小鳥們決定停止尋找，那么它們會選擇當前的G來安家；否則繼續2->3->4->5來尋找它們的棲息地。
上圖描述的策略4的情況，一只鳥在點A處，點G是鳥群們找到過的食物最多的位置，點P是它自己去過的食物最多的地點。V是它現在的飛行速度（速度是矢量，有方向和大小），現在它決定向著P和G飛行，但是這是一只佛系鳥，具體飛多少隨緣。如果沒有速度V，它應該飛到B點，有了速度V的影響，它的合速度最終使它飛到了點C，這里是它的下一個目的地。如果C比P好那么C就成了下一次的P，如果C比G好，那么就成了下一次的G。
具體的飛行過程如下圖所示：
算法的流程如下：
3.粒子群算法模型
介紹完了粒子群算法的流程,再來詳細介紹一下粒子群算法的模型。
鳥群有三個決定其搜索結果的參數
C1:自我學習因子
C2:全局學習因子
W:慣性系數
maxV:最大速率。
對于每只鳥，有兩個屬性：
位置：。
速度：。
其中t表示第t次迭代（第t次開會）,i表是這只鳥的序號是i，D表示搜索空間的維度，對于鳥群來說D=2（在平面內搜尋）。
其速度更新公式如下：
表示均勻分布在（0,1）內的隨機數。
位置更新公式如下：
4.實驗初步
上面都是些什么鬼，完全看不懂……，很正常，下面我們來個例子看看上面那些都是什么東西。
C1：自我學習因子，就是一只鳥飛向自己到過的最優位置的權重，可以理解為C1越大，該鳥飛向自己到過的最優位置的意愿越強烈。
C2：全局學習因子，也叫社會學習因子，即一只鳥飛向群體到過的最優位置的權重， C2越大，該鳥飛向群體到過的最優位置的意愿越強烈。
如上圖，假設隨機變量r1=r2=1，如果該鳥當前速度V=0,C1=C2=1時，,則該鳥的速度為A->B,它將飛到B點，若C1=0,C2=1,則該鳥將飛到G點，若C1=1,C2=0,則鳥將飛到P點。
一般，取C1=C2=2,由于r1和r2為（0-1）的隨機數，在速度V=0的情況下，該鳥可能從點A飛到平行四邊形ADEC內的任一位置，其中AG=GD,AP=PC。點B為該鳥飛向的期望位置。
W為慣性系數，即鳥在下一次飛行時將會以上一次的速度為基礎，根據自己的意愿的出最終的速度。
舉個簡單的例子，搜索平面內距點M最近的點。這是一個二維的問題，假設M的坐標為（a,b），我們可以該問題轉化為求使
實驗開始了
| 參數 | 值 |
|---|---|
| 問題維度(維度) | 2 |
| 鳥的數量(種群數) | 20 |
| 開會次數(最大迭代次數) | 50 |
| C1 | 2 |
| C2 | 2 |
| W | 1 |
| maxV | 5 |
| 取值范圍 | （-100，100） |
為了方便求解我們設M點為原點，即a=b=0。
此時問題為在上圖的區域內尋找距原點最近的點的坐標。我們看一下粒子群算法的尋找過程。
可以發現所有的小鳥都向著我們的目標點不斷的靠近。它們最終收斂在了一個很小的范圍內。我們所得到的最終的結果是（0.01559301434688，-0.113289020661651），該點距原點距離為的平方為0.014876507，雖然很近了，但這可不是一個較好的結果。
雖然小鳥們已經聚集在了最優點附近的小范圍內，但卻沒有進一步向原點靠近。這是為什么呢，下一節我們一起來研究一下。
5.參數實驗
上一節中，我們看到小鳥們聚集到一個較小的范圍內后，不會再繼續集中。這是怎么回事呢？
猜測：
1.與最大速度限制有關，權重w只是方便動態修改maxV。
2.與C1和C2有關，這兩個權重限制了鳥兒的搜索行為。
還是上一節的實驗，。現在我們將maxV的值有5修改為50，即maxV=50，其他參數不變。參數如下
| 參數 | 值 |
|---|---|
| 問題維度(維度) | 2 |
| 鳥的數量(種群數) | 20 |
| 開會次數(最大迭代次數) | 50 |
| C1 | 2 |
| C2 | 2 |
| W | 1 |
| maxV | 50 |
| 取值范圍 | （-100，100） |
此時得到的最優位值的適應度函數值為0.25571,可以看出與maxV=5相比，結果差了很多而且小鳥們聚集的范圍更大了。
現在我們設置maxV=1，再次重復上面的實驗，實驗結果如下：
這次最終的適應度函數值為，比之前的結果都要好0.00273。從圖中我們可以看出，小鳥們在向一個點集中，但是他們飛行的速度比之前慢多了，如果問題更復雜，可能無法等到它們聚集到一個點，迭代就結束了。
為什么maxV會影響鳥群的搜索結果呢？
我們依然以maxV=50為例，不過這次為了看的更加清晰，我們的鳥群只有2只鳥，同時將幀數放慢5倍以便觀察。
| 參數 | 值 |
|---|---|
| 問題維度(維度) | 2 |
| 鳥的數量(種群數) | 2 |
| 開會次數(最大迭代次數) | 50 |
| C1 | 2 |
| C2 | 2 |
| W | 1 |
| maxV | 50 |
| 取值范圍 | （-100，100） |
可以看出若當前的慣性速度V較大時，且P、G相距較近時（考慮極端情況P與G重合在一個點），我們來看看小鳥的飛行軌跡。
小鳥從A點出發，速度為A->B,這一次飛行過后，小鳥的期望位置為點D，將此次飛行記為第一次飛行。其中AG=GC,由于P=G,故
第二次飛行，小鳥由點D為起點，此時小鳥的慣性速度為A->D,而它向目標飛行的速度為D->E,其中DG=GE,此次飛行的合速度為D->C,故C為此次飛行的期望點位置。
第三次飛行，小鳥由點C為起點，此時小鳥的慣性速度為D->C,而它向目標飛行的速度為C->A,其中CG=GA,此次飛行的合速度為C->E,故E為此次飛行的期望點位置。
第四次飛行，小鳥由點E為起點，此時小鳥的慣性速度為C->E,而它向目標飛行的速度為E->D其中EG=GD,此次飛行的合速度為E->A,故A為此次飛行的期望點位置。
可以看出如果G和P重合，那么小鳥的飛行軌跡的期望為A->D->C->E->A,如果這四個位置均差于全局最優點G和自己的歷史最優點P,那么小鳥將會一直圍著當前最優點打轉，這樣當然無法繼續聚集在同一個點。
問題找到了，那應該如何解決呢？先思考幾種方案，能不能行的通，實驗之后見分曉。
思路一：限制鳥的最大飛行速率,由于慣性系數W的存在，使得控制最大速率和控制慣性系數的效果是等價的，取其一即可。
方案1：使慣性系數隨著迭代次數增加而降低，這里使用的是線性下降的方式，即在第1次迭代，慣性系數W=1,最后一次迭代時，慣性系數W=0，當然，也可以根據自己的意愿取其他值。
實驗參數如下：
| 參數 | 值 |
|---|---|
| 問題維度(維度) | 2 |
| 鳥的數量(種群數) | 20 |
| 開會次數(最大迭代次數) | 50 |
| C1 | 2 |
| C2 | 2 |
| W | 1->0 |
| maxV | 50 |
| 取值范圍 | （-100，100） |
小鳥們的飛行過程如上圖，可以看到效果很好，最后甚至都聚集到了一個點。再看看最終的適應度函數值8.61666413451519E-17，這已經是一個相當精確的值了，說明這是一個可行的方案，但是由于其最后種群過于集中，有陷入局部最優的風險。
方案2：給每只鳥一個隨機的慣性系數，那么鳥的飛行軌跡也將不再像之前會出現周期性。每只鳥的慣性系數W為（0,2）中的隨機數（保持W的期望為1）。
實驗參數如下：
| 參數 | 值 |
|---|---|
| 問題維度(維度) | 2 |
| 鳥的數量(種群數) | 20 |
| 開會次數(最大迭代次數) | 50 |
| C1 | 2 |
| C2 | 2 |
| W | rand(0,2) |
| maxV | 50 |
| 取值范圍 | （-100，100） |
可以看到小鳥們并沒有像上一個實驗一樣聚集于一個點，而是仍在一個較大的范圍內進行搜索。其最終的適應度函數為0.01176，比最初的0.25571稍有提升，但并不顯著。什么原因造成了這種情況呢？我想可能是由于慣性系數成了期望為1的隨機數，那么小鳥的飛行軌跡的期望可能仍然是繞著一個四邊形循環，只不過這個四邊形相比之前的平行四邊形更加復雜，所以其結果也稍有提升，當然對于概率算法，得到這樣的結果可能僅僅是因為運氣不好
我們看到慣性系數W值減小，小鳥們聚攏到一處的速度明顯提升，那么，如果我們去掉慣性系數這個參數會怎么樣呢。
方案3：取出慣性系數，即取W=0，小鳥們只向著那兩個最優位置飛行。
| 參數 | 值 |
|---|---|
| 問題維度(維度) | 2 |
| 鳥的數量(種群數) | 20 |
| 開會次數(最大迭代次數) | 50 |
| C1 | 2 |
| C2 | 2 |
| W | 0 |
| maxV | 50 |
| 取值范圍 | （-100，100） |
可以看見鳥群們迅速聚集到了一個點，再看看得到的結果，最終的適應度函數值為2.9086886073362966E-30，明顯優于之前的所有操作。
那么問題來了，為什么粒子群算法需要一個慣性速度，它的作用是什么呢？其實很明顯，當鳥群迅速集中到了一個點之后它們就喪失了全局的搜索能力，所有的鳥會迅速向著全局最優點飛去，如果當前的全局最優解是一個局部最優點，那么鳥群將會陷入局部最優。所以，慣性系數和慣性速度的作用是給鳥群提供跳出局部最優的可能性，獲得這個跳出局部最優能力的代價是它們的收斂速度減慢，且局部的搜索能力較弱（與當前的慣性速度有關）。
為了平衡局部搜索能力和跳出局部最優能力，我們可以人為的干預一下慣性系數W的大小，結合方案1和方案2，我們可以使每只鳥的慣性系數以一個隨機周期，周期性下降，若小于0，則重置為初始值。
這樣結合了方案1和方案2的慣性系數，也能得到不錯的效果，大家可以自己一試。
思路二：改變小鳥們向群體最優飛行和向歷史最優飛行的權重。
方案4：讓小鳥向全局最優飛行的系數C2線性遞減。
| 參數 | 值 |
|---|---|
| 問題維度(維度) | 2 |
| 鳥的數量(種群數) | 20 |
| 開會次數(最大迭代次數) | 50 |
| C1 | 2 |
| C2 | 2->0 |
| W | 1 |
| maxV | 50 |
| 取值范圍 | （-100，100） |
小鳥們的飛行過程與之前好像沒什么變化，我甚至懷疑我做了假實驗。看看最終結果，0.7267249621552874，這是到目前為止的最差結果。看來這不是一個好方案，讓全局學習因子C2遞減，勢必會降低算法的收斂效率，而慣性系數還是那么大，小鳥們依然會圍繞歷史最優位置打轉，畢竟這兩個最優位置是有一定關聯的。所以讓C1線性遞減的實驗也不必做了，其效果應該與方案4相差不大。
看來只要是慣性系數不變怎么修改C1和C2都不會有太過明顯的效果。為什么實驗都是參數遞減，卻沒有參數遞增的實驗呢？
1.慣性系數W必須遞減，因為它會影響鳥群的搜索范圍。
2.如果C1和C2遞增，那么小鳥的慣性速度V勢必會跟著遞增，這與W遞增會產生相同的效果。
6.總結
上面我們通過一些實驗及理論分析了粒子群算法的特點及其參數的作用。粒子群作為優化算法中模型最簡單的算法，通過修改這幾個簡單的參數也能夠改變算法的優化性能可以說是一個非常優秀的算法。
上述實驗中，我們僅分析了單個參數對算法的影響，實際使用時（創新、發明、寫論文時）也會同時動態改變多個參數，甚至是參數之間產生關聯。
實驗中，為了展現實驗效果，maxV取值較大，一般取值為搜索空間范圍的10%-20%，按上面（-100,100）的范圍maxV應該取值為20-40，在此基礎上，方案1、方案2效果應該會更好。
粒子群算法是一種概率算法，所以并不能使用一次實驗結果來判斷算法的性能，我們需要進行多次實驗，然后看看這些實驗的效果最終來判斷，結果必須使用多次實驗的統計數據來說明，一般我們都會重復實驗30-50次，為了發論文去做實驗的小伙伴們不要偷懶哦。
粒子群算法的學習目前告一段落，如果有什么新的發現，后面繼續更新哦！
以下指標純屬個人yy,僅供參考
| 指標 | 星數 |
|---|---|
| 復雜度 | ★☆☆☆☆☆☆☆☆☆ |
| 收斂速度 | ★★★★★☆☆☆☆☆ |
| 全局搜索 | ★★★★☆☆☆☆☆☆ |
| 局部搜索 | ★★★★★★☆☆☆☆ |
| 優化性能 | ★★★★★★☆☆☆☆ |
| 跳出局部最優 | ★★★★☆☆☆☆☆☆ |
| 改進點 | ★★★★☆☆☆☆☆☆ |
參考文獻
[1]J. Kennedy and R.C. Eberhart. “Particle swarm optimization.” In IEEE international Conference on Neural Networks, volume 4,IEEE Press, 1995, pp. 1942–1948.
