如何量化，用數學語言去表述信息（information）這個概念？這似乎是一個很難的問題，因為信息所包含的概念太廣了。人們從概率論角度出發，找到了Entropy，其性質和我們所理解的information具有很多相似之處。基于entropy，我們又找到了mutual information。MI用來評價一個隨機變量與另一個隨機變量的包含關系。如果將entropy理解為一個隨機變量的self-information，那么MI可以理解為relative entropy，形象的說就是兩個概率分布之間的距離。

? ? self-information? ------>? entropy

mutual information ------> relative entropy