可解釋性機器學習_Feature Importance、Permutation Importance、SHAP_LMY的博客的博客-CSDN博客_feature importance
建模后可解釋性機器學習：
- 特征重要性（模型自帶Feature Importance）
- Permutation Importance
- SHAP
- Partial Dependence
1、特征重要性（Feature Importance）
特征重要性的作用 -> 快速的讓你知道哪些因素是比較重要的，但是不能得到這個因素對模型結果的正負向影響，同時傳統方法對交互效應的考量會有些欠缺。
如果想要知道哪些變量比較重要的話?？梢酝ㄟ^模型的feature_importances_方法來獲取特征重要性。例如xgboost的feature_importances_可以通過特征的分裂次數或利用該特征分裂后的增益來衡量。
計算方法是：Mean Decrease Impurity。
思想：一個特征的意義在于降低預測目標的不確定性，能夠更多的降低這種不確定性的特征就更重要。即特征重要性計算依據某個特征進行決策樹分裂時，分裂前后的信息增益（基尼系數）
import pandas as pd
from sklearn.datasets import load_iris
import xgboost as xgb
iris = load_iris()
df = pd.DataFrame(iris.data,columns=iris.feature_names) #轉化成DataFrame格式
target = iris.target
xgb_model = xgb.XGBClassifier()
clf = xgb_model.fit(df.values, target)
a=clf.feature_importances_
features = pd.DataFrame(sorted(zip(a,df.columns),reverse=True))
2、Permutation Importance（排列重要性）
常規思路，很容易想到，在訓練模型的時候可以直接輸出特征重要性，但這個特征對整體的預測效果有多大影響？可以用Permutation Importance進行計算。
思想:基于“置換檢驗”的思想對特征重要性進行檢測，，一定是在model訓練完成后，才可以計算的。簡單來說，就是改變數據表格中某一列的數據的排列，保持其余特征不動，看其對預測精度的影響有多大。
使用ELI5庫可以進行Permutation Importance的計算。
import eli5
from eli5.sklearn import permutationImportance
perm = PermutationImportance(xgb_model, random_state = 1).fit(df, target) # 實例化
eli5.show_weights(perm)
結果分析：
靠近上方的綠色特征，表示對模型預測較為重要的特征；
為了排除隨機性，每一次 shuffle 都會進行多次，然后取結果的均值和標準差；
±后面的數字表示多次隨機重排之間的差異值。
這個例子里，最重要的特征是第三個 ‘petal length (cm)’, 和feature_importances_輸出結果一致。
3、Partial Dependence
Partial Dependence就是用來解釋某個特征和目標值y的關系的，一般是通過畫出Partial Dependence Plot(PDP)來體現。
partial dependence是什么意思？-SofaSofa
4、SHAP(SHapley Additive exPlanation)
以上都是全局可解釋性方法，那局部可解釋性，即單個樣本來看，模型給出的預測值和某些特征可能的關系，這就可以用到SHAP。
SHAP 屬于模型事后解釋的方法，它的核心思想是計算特征對模型輸出的邊際貢獻，再從全局和局部兩個層面對“黑盒模型”進行解釋。SHAP構建一個加性的解釋模型，所有的特征都視為“貢獻者”。對于每個預測樣本，模型都產生一個預測值，SHAP value就是該樣本中每個特征所分配到的數值。
Shapley value起源于合作博弈論。比如說甲乙丙丁四個工人一起打工，甲和乙完成了價值100元的工件，甲、乙、丙完成了價值120元的工件，乙、丙、丁完成了價值150元的工件，甲、丁完成了價值90元的工件，那么該如何公平、合理地分配這四個人的工錢呢？Shapley提出了一個合理的計算方法（有興趣地可以查看原論文），我們稱每個參與者分配到的數額為Shapley value。
SHAP是由Shapley value啟發的可加性解釋模型。對于每個預測樣本，模型都產生一個預測值，SHAP value就是該樣本中每個特征所分配到的數值。 假設第i個樣本為xi，第i個樣本的第j個特征為xi,j，模型對第i個樣本的預測值為yi，整個模型的基線（通常是所有樣本的目標變量的均值）為ybase，那么SHAP value服從以下等式。
基本思想：計算一個特征加入到模型時的邊際貢獻，然后考慮到該特征在所有的特征序列的情況下不同的邊際貢獻，取均值，即某該特征的SHAPbaseline value
SHAP(SHapley Additive exPlanation)是Python開發的一個"模型解釋"包，可以解釋任何機器學習模型的輸出。
import shap #Python的可解釋機器學習庫 pip install shap
shap.initjs() # notebook環境下，加載用于可視化的JS代碼
#模型還是用之前訓練的
#xgb_model = xgb.XGBClassifier()
#clf = xgb_model.fit(df.values, target)
#在SHAP中進行模型解釋需要先創建一個explainer，
#SHAP支持很多類型的explainer(例如deep, gradient, kernel, linear, tree, sampling)
#我們先以tree為例，因為它支持常用的XGB、LGB、CatBoost等樹集成算法。
explainer = shap.TreeExplainer(clf)
shap_values = explainer.shap_values(df) # 傳入特征矩陣，計算SHAP值
j = 60
y_base = explainer.expected_value
player_explainer = pd.DataFrame()
player_explainer['feature'] = df.columns
player_explainer['feature_value'] = df.iloc[j].values
player_explainer['shap_value'] = shap_values[j]
player_explainer
