概念：在信息增益中，衡量標準是看特征能夠為分類系統(tǒng)帶來多少信息，帶來的信息越多，該特征越重要。對一個特征而言，系統(tǒng)有它和沒它時信息量將發(fā)生變化，而前后信息量的差值就是這個特征給系統(tǒng)帶來的信息量。所謂信息量，就是熵。
公式表示就是先計算熵
熵
具體熵計算例子
圖中 x=Math 時， Y可能是Yes， 也可能是No，則P(Y=Yes|X=Math) = 1/2, P(Y=No|X=Math) = 1/2
H(Y|X=Math) = -1/2 * log(1/2) - 1/2 * log(1 / 2) = 1
H(Y|X=History) = 0;
H(Y|X=CS) = 0;
然后計算信息增益
信息增益
H(Y|X)計算
IG(Y|X)計算
Andrew Moore的ppt講的還是非常清楚的，上面的圖都是從里面截出來的
http://www.autonlab.org/tutorials/infogain11.pdf
