今天來說說信息論,信息論的創始人是香農,這老兄是一個全才性的科學家,他很年輕的時候啊,就提出了用布爾代數設計數字電路的原理,這成為了后來計算機和其他數字電路設計的基礎。布爾代數也是非常有趣,它集合了邏輯學和數學,以后再詳細談一談。
香濃在二戰期間研究火炮的控制和密碼學,在這過程中他發現了后來成為信息論的基本概念和框架體系。
香濃的信息論,概括起來,主要是兩個定律和一個原理。
香農第一定律叫做信源編碼定律,意思是可以將信號源內的符號,也就是信息,變成任何通訊的編碼,當這種編碼盡量的服從等概率分布時,每個編碼所攜帶的信息量達到最大,進而能提高整個通訊系統的效率。簡單的說就是把有限的資源做合理的安排,把最好的資源放在最需要的地方,也就是把錢用在刀刃上。這個第一定律后來影響了硅谷風險投資從而形成“廣撒網,繼而對好項目追加雙倍投入”的投資理念。
香農第二定律是描述了一個信道中的極限信息傳輸率和該信道能力,也就是帶寬的關系。通俗點講,這個定律的意思就是說如果要傳遞更多的信息,就要有更高的帶寬,我們的上網也就從原來的電話,到ADSL ,后來到了光纖,我們的移動通訊也是從2G到3G再到4G,現在在研發5G,也就是在不斷拓寬帶寬。拓展帶寬的目的就是為了提高傳輸效率提高信息傳輸量。現在來看,這好像是個非常淺顯的道理,但在香農提出第二定律之前,沒人能夠意識到這一點。這個定律也影響了組織管理學,層級式管理和網絡狀管理,在溝通效率,也就是信息傳遞效率上,哪個帶寬更高呢?
香農的最大熵原理,意思是說對未知事件發生的概率分布進行預測時,我們的預測應當滿足全部已知的條件,而對未知的情況不要做任何主觀假設。這個原理在大數據時代到來之后,對現實的各種分析推算,都非常有指導意義。比如在希拉里和特朗普進美國總統競選的時候,一些民調,在設計提問時或多或少會加入主觀的假設,從而被訪者也有意無意的被引導而扭曲了真實意圖。但是,廣大的百姓在日常的通訊和交流中,在互聯網搜索、留言、玩笑、牢騷中才會不受他人影響,沒有壓力,從而真正表達出他們的真實所想。