1 混合整數規劃求解

混合整數規劃問題（MIP）目前比較有效的算法就是branch and bound，branch and cut等。很多商業的或者非商業的MIP solver用的都是這些框架。branch and bound構建MIP的搜索數，通過搜索策略（DFS、BFS等）對分支樹進行搜索，通過求解節點的linear relaxation（LP）獲得節點的下界（lower bound）。如果LP解滿足整數約束（IP），則可認為找到了原問題的一個可行解（feasible solution），branch and bound記錄在搜索過程中找到的可行解，并維護一個最優可行解作為全局的上界。當節點的下界比上界還差時，則減掉該支路。最終遍歷所有支路，獲得最優解。

2 Primal Heuristic

通過branch and bound，branch and cut等求解MIP時，通常需要花費大量的計算時間，因為很多問題的LP模型獲得的lower bound非常差。在分支節點上運行heuristic算法對可行解進行搜索，可大大提高搜索的速度。比如在前期通過heuristic找到一個較好的上界，可以使得branch and bound在搜索的過程中減掉很多沒用的支路，從而加快優化的速度。

在現在常用的MIP solver中已經集成了很多成熟的heuristic算法，例如在IBM 的CPLEX中對heuristic有這樣一段說明：

何為探試？

定義探試，并描述 CPLEX 在 MIP 優化中應用探試的條件。

在 CPLEX 中，探試是一個過程，用于嘗試快速生成良好或近似的問題解，但缺少理論保證。 在求解 MIP 的上下文中，探試是可以生成一個或多個解的方法，它可滿足所有約束和所有整數性條件，但沒有關于是否已找到最佳可能解的指示。

這些探試解集成到分支裁剪中，在提供最優性證明方面可實現與分支所生成的任何解相同的優勢，在許多情況下，它們可以加快最終最優性證明的速度，或者可以提供次最優但高質量的解，而所需的時間比單單進行分支更短。 使用缺省參數設置時，CPLEX 將在探試可能有益時自動調用探試。

CPLEX 提供了探試系列，用于在分支裁剪過程中尋找節點（包括根節點）處的整數解。 下列主題對這些探試系列進行闡述。

其中一個比較關鍵的問題就是：在分支樹的哪些節點運行heuristic有可能獲得更好的結果？這樣就引出了這篇文章的motivation：通過對模型的訓練，將機器學習的模型集成到MIP的求解過程中，在分支節點中模型決定是否運行heuristic。模型必須是online的，即訓練好以后，在進行預測時只知道當前節點以及分支樹的信息，整顆分支樹或者剩下節點的信息。

在這篇文章中，作者給這個模型取了一個很有深意的名字，叫oracle，中文翻譯過來叫“神諭”，簡直是綿羊放山羊屁--既洋氣又騷氣……

image

3 數據特征

機器學習是通過輸入的數據來給出預測的結果，而應當輸入數據的特征應當良好地反映問題當前的狀態，這樣才能給出準確的結果。這篇論文中使用了49個數據特征：

image

• Global features通過一些"gap"描述了當前搜索的狀態；
• Node LP features使用了節點N的LP解來指示一些節點的特征（括號中的x2表示該特征包含了更細一級的兩個特征，下同）；
• Scoring Features for Fractional Variables受啟發于大多數diving heuristics中使用的scoring functions，該函數主要用于選取下一個分支的變量。

4 訓練數據收集

機器學習的一大關鍵（亦是難點）就是訓練數據的收集。給定一個MIP算例集合，，一個用于搜索過程中的啟發式算法，那么關于的數據集可以從每一個算例上獲取，最終的訓練集為。

作者在每個分支節點上運行，然后收集0-1分類標簽值，以及數據特征向量。如果在節點找到了一個可行解，否則為0。但是如果在節點找到了一個更好的可行解，那么有可能會影響到在之后的節點的值。這樣收集的數據是有問題的。

因此作者采取的數據收集策略是：在每個節點運行，但是找到的可行解并不替換當前的可行解，這樣從分支定界的角度看，就相當于每個節點都不運行了。其次，收集的數據時，其他的啟發式算法都采用默認設置（一個solver在求解過程中會調用多種heuristic）。

5 實驗

作者修改了開源的SCIP規劃求解器，并使用CPLEX作為SCIP的LP solver。機器學習采用框架scikit-learn，使用logistic regression (LR)來學習一個二進制的分類模型。

作者選取了SCIP中10個Heuristic算法進行訓練，每個算法訓練了一個模型，運行時10個模型都加載進去，策略是Run-When-Successful，即oracle說能成功的時候就運行該heuristic，否則不運行。其他啟發式算法則采用默認設置。所提出的框架在MIPLIB2010 Benchmark上的對比結果如下（DEF表示使用SCIP默認設置，ML采用提出的oracle）：

image

其中Primal integral為評判搜索過程中算法好壞的，粗略的介紹如下圖，總之就是該指標越小越好：

image

可以看到，相比默認設置，作者提出的結合oracle在各項指標上均取得不錯的效果。其實從訓練的結果來看，準確率是非常低的，但是默認的設置下準確率（能找到可行解的比例）更低。因此這個oracle還是有一定的價值的。

參考文獻

[1] Khalil E B , Dilkina B , Nemhauser G L , et al. Learning to Run Heuristics in Tree Search[C]// Twenty-sixth International Joint Conference on Artificial Intelligence. 2017.