受試者工作特征曲線（receiver operating characteristic curve，簡稱ROC曲線），是比較兩個分類模型好壞的可視化工具
ROC曲線的作用：
1.較容易地查出任意界限值時的對類別的識別能力
2.選擇最佳的診斷界限值。ROC曲線越靠近左上角,試驗的準確性就越高。最靠近左上角的ROC曲線的點是錯誤最少的最好閾值，其假陽性和假陰性的總數(shù)最少。
3.兩種或兩種以上不同診斷試驗對算法性能的比較。在對同一種算法的兩種或兩種以上診斷方法進行比較時，可將各試驗的ROC曲線繪制到同一坐標中，以直觀地鑒別優(yōu)劣，靠近左上角的ROC曲線所代表的受試者工作最準確。亦可通過分別計算各個試驗的ROC曲線下的面積(AUC)進行比較，哪一種試驗的AUC最大，則哪一種試驗的診斷價值最佳。
集才華與美麗于一身的ROC曲線到底是什么？
ROC曲線是根據(jù)一系列不同的二分類方式（分界值或決定閾），以真陽性率TPR（靈敏度）為縱坐標，假陽性率FPR（1-特異度）為橫坐標繪制的曲線。
那么TPR和FPR都是什么意思？先看下混淆矩陣
這樣可以一目了然的看出正確分類和錯誤分類的樣本數(shù)量，所以
準確率precision=（TP+TN）/（P+N）
但是在實際應(yīng)用中，我們感興趣的類往往只占少數(shù)，所以在test集存在類不平衡的情況下，準確率對于我們的模型意義很小，eg：test中續(xù)費90，流失10，即使你把所有的樣本預(yù)測為續(xù)費，準確率依然為90%，但對于我們感興趣的流失用戶而言，這個模型沒有什么意義
所以，現(xiàn)實中我們更在乎的其實是召回率，即靈敏度，當然我們一般關(guān)注較高的是我們感興趣類的召回率
recall =TP/（TP+FN）=TP/P
F度量則對準確率和召回率做一個權(quán)衡
F=（1+a2）*precision*recall/（a*precision+recall）
a2是a的平方，一般默認a= 1
說了這么多看似跟ROC沒有相關(guān)的概念，但其實理解了上面的公式才能更好的理解ROC的作用，這里是美麗的分割線，下面是優(yōu)美的ROC曲線
定義：
TPR = TP/P? 即召回率公式
FPR = FP/N? 即1-specificity
ROC曲線是以FPR為橫坐標，以TPR為縱坐標，以概率為閾值來度量模型正確識別正實例的比例與模型錯誤的把負實例識別成正實例的比例之間的權(quán)衡，TPR的增加必定以FPR的增加為代價，ROC曲線下方的面積是模型準確率的度量
所以根據(jù)ROC曲線定義可知，繪制ROC要求模型必須能返回監(jiān)測元組的類預(yù)測概率，根據(jù)概率對元組排序和定秩，并使正概率較大的在頂部，負概率較大的在底部進行畫圖
ROC曲線：根據(jù)數(shù)據(jù)實例畫圖
備注：實例
隨機猜測的曲線是默認正負都按照0.5概率平均分類時的ROC曲線，那么離隨機猜測曲線較遠的點就是最好的概率選擇閾值，該圖中的凸包旁邊點對應(yīng)的概率就是我們所要選擇的概率，即根據(jù)ROC凸點選擇概率閾值和根據(jù)凸點判斷兩個模型好壞的由來
Python代碼實現(xiàn)：
fromsklearn.metricsimportroc_curve
#roc_curve輸出為tpr、fpr假正和真正概率，且第二個參數(shù)一定要是概率估計或者置信度
fpr,tpr,thresholds = roc_curve(test[:,3],tree.predict_proba(test[:,:3])[:,1],pos_label=1)
#pos_labels設(shè)置的為感興趣方的標簽
#predict_probs前面輸出的是0的概率，后面輸出的是1的概率，如果不清楚可以只用predict
#查看結(jié)果與概率的對應(yīng)情況
#一般吧流失設(shè)置為1，續(xù)費設(shè)置為0，感興趣的設(shè)置為1
plt.plot(fpr,tpr,linewidth=2,label="ROC")
plt.xlabel("false presitive rate")
plt.ylabel("true presitive rate")
plt.ylim(0,1.05)
plt.xlim(0,1,05)
plt.legend(loc=4)#圖例的位置
plt.show()
