信息熵（香農熵）
1948年，香農提出了 “信息熵（entropy）”的概念
信息熵是消除不確定性所需信息量的度量，即未知事件可能含有的信息量。通俗的講信息熵是用來衡量信息量的大小。
- 若不確定性越大，則信息量越大，熵越大。
- 若不確定性越小，則信息量越小，熵越小。
下面我們引出信息熵的公式：
其中P(x_{i}) 代表隨機事件X為x_{i} 的概率，式中對數一般取2為底
例子:
設上述例子中嫁的變量為Y：
p(y=嫁) = 1/2
p(n=不嫁) = 1/2
所以H(Y) = -1/2log1/2 - 1/2log1/2 = 1
條件熵
信息熵是代表隨機變量的復雜度（不確定度），條件熵代表在某一個條件下，隨機變量的復雜度（不確定度）
例子：
可以求得隨機變量X（嫁與不嫁）的信息熵為：
嫁的個數為6個，占1/2，那么信息熵為-1/2log1/2-1/2log1/2 = -log1/2=0.301
現在假如我知道了一個男生的身高信息
身高有三個可能的取值{矮，中，高}
矮包括{1,2,3,5,6,11,12}，嫁的個數為1個，不嫁的個數為6個
中包括{8,9} ，嫁的個數為2個，不嫁的個數為0個
高包括{4,7,10}，嫁的個數為3個，不嫁的個數為0個
先回憶一下條件熵的公式如下：
我們先求出公式對應的:
H(Y|X = 矮) = -1/7log1/7-6/7log6/7=0.178
H(Y|X=中) = -1log1-0 = 0
H(Y|X=高） = -1log1-0=0
p(X = 矮) = 7/12,p(X =中) = 2/12,p(X=高) = 3/12
則可以得出條件熵為：
7/120.178+2/120+3/12*0 = 0.103
信息增益
信息增益 = 信息熵 - 條件熵
信息增益代表了在一個條件下，信息復雜度（不確定性）減少的程度
上面例子的得知身高信息后，信息增益為（我們知道信息熵與條件熵相減就是我們的信息增益）：
1 - 0.103 = 0.897
所以我們可以得出我們在知道了身高這個信息之后，信息增益是0.897
