信息論的兩個定律和一個原理

今天來說說信息論,信息論的創始人是香農,這老兄是一個全才性的科學家,他很年輕的時候啊,就提出了用布爾代數設計數字電路的原理,這成為了后來計算機和其他數字電路設計的基礎。布爾代數也是非常有趣,它集合了邏輯學和數學,以后再詳細談一談。

香濃在二戰期間研究火炮的控制和密碼學,在這過程中他發現了后來成為信息論的基本概念和框架體系。

香濃的信息論,概括起來,主要是兩個定律和一個原理。

香農第一定律叫做信源編碼定律,意思是可以將信號源內的符號,也就是信息,變成任何通訊的編碼,當這種編碼盡量的服從等概率分布時,每個編碼所攜帶的信息量達到最大,進而能提高整個通訊系統的效率。簡單的說就是把有限的資源做合理的安排,把最好的資源放在最需要的地方,也就是把錢用在刀刃上。這個第一定律后來影響了硅谷風險投資從而形成“廣撒網,繼而對好項目追加雙倍投入”的投資理念。

香農第二定律是描述了一個信道中的極限信息傳輸率和該信道能力,也就是帶寬的關系。通俗點講,這個定律的意思就是說如果要傳遞更多的信息,就要有更高的帶寬,我們的上網也就從原來的電話,到ADSL ,后來到了光纖,我們的移動通訊也是從2G到3G再到4G,現在在研發5G,也就是在不斷拓寬帶寬。拓展帶寬的目的就是為了提高傳輸效率提高信息傳輸量。現在來看,這好像是個非常淺顯的道理,但在香農提出第二定律之前,沒人能夠意識到這一點。這個定律也影響了組織管理學,層級式管理和網絡狀管理,在溝通效率,也就是信息傳遞效率上,哪個帶寬更高呢?

香農的最大熵原理,意思是說對未知事件發生的概率分布進行預測時,我們的預測應當滿足全部已知的條件,而對未知的情況不要做任何主觀假設。這個原理在大數據時代到來之后,對現實的各種分析推算,都非常有指導意義。比如在希拉里和特朗普進美國總統競選的時候,一些民調,在設計提問時或多或少會加入主觀的假設,從而被訪者也有意無意的被引導而扭曲了真實意圖。但是,廣大的百姓在日常的通訊和交流中,在互聯網搜索、留言、玩笑、牢騷中才會不受他人影響,沒有壓力,從而真正表達出他們的真實所想。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • 昨晚剛把吳軍的這本書書看完,好多內容都在他之前的《浪潮之巔》真本書中提到過了,最精華的其實是最后的控制論、系統論和...
    英天閱讀 882評論 0 2
  • 寫在之前 如需轉載,請注明出處。如有侵權或者其他問題,亦請告知。 序言 “八叛徒”出逃肖克利半導體公司,并創立了仙...
    hainingwyx閱讀 2,794評論 0 9
  • 本文是《硅谷之謎》的讀書筆記之一,也是我認為全書最精彩的一部分。 1、維納和控制論 控制論突破了牛頓的絕對時間觀。...
    elleyes閱讀 2,463評論 0 3
  • 作者:梅拉妮·米歇爾(Melanie Mitchell)譯者:唐璐原著名稱:《Complexity: A Guid...
    馬文Marvin閱讀 1,678評論 0 4
  • 2017年6月15日 北京時間19:50 武漢公交途中 我怎么如此幸運我仿佛感受到舅舅說的那種,哎呀,不知道怎么的...
    叁櫟閱讀 213評論 0 0