開始：信源
過程：信道
結束：信宿

一個基本模型：
信源 ——編碼——信道——解碼——信宿

信道 （可能中間產生干擾）

信息量：信息是否可以量化
信息熵：信息在系統中維生

物質熵：
負熵 —— 系統可以維生
正熵 —— 消耗

信息熵：

補充信息
比如說一個人坐牢，給他吃喝，不給他信息補充，信息消耗，直到消亡

信息也是生存的重要因素

一個系統存在（能量，物質，信息）

信息量：

與概率有關系。

A1 A2 A3 A4 A5 A6 A7 A8
1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16

A1 A2 一組 E0
E00 E01

其余一組 E1

E 1 分兩座

E10 ( E100 E101)

E11 ( E1100 E1101 E1110 E1111)

后面的數字 是編碼位數。與概率有關系。

hi = log 2 1/pi

hi 就是信息量

假設一段核酸序列(3個一組）
AAA AAC AAG AAT ...

p=1/64

hi = log 4 1/1/64

信息熵：

平均位數 (2+2+3+3+4X4)/8

Pi X log 2 1/p

就是平均位數

若都是等概率的情況
信息熵最大