開始:信源
過程:信道
結束:信宿
一個基本模型:
信源 ——編碼——信道——解碼——信宿
信道 (可能中間產生干擾)
信息量:信息是否可以量化
信息熵:信息在系統中維生
物質熵:
負熵 —— 系統可以維生
正熵 —— 消耗
信息熵:
補充信息
比如說一個人坐牢,給他吃喝,不給他信息補充,信息消耗,直到消亡
信息也是生存的重要因素
一個系統存在(能量,物質,信息)
信息量:
與概率有關系。
A1 A2 A3 A4 A5 A6 A7 A8
1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
A1 A2 一組 E0
E00 E01
其余一組 E1
E 1 分兩座
E10 ( E100 E101)
E11 ( E1100 E1101 E1110 E1111)
后面的數字 是編碼位數。與概率有關系。
hi = log 2 1/pi
hi 就是信息量
假設一段核酸序列(3個一組)
AAA AAC AAG AAT ...
p=1/64
hi = log 4 1/1/64
信息熵:
平均位數 (2+2+3+3+4X4)/8
Pi X log 2 1/p
就是平均位數
若都是等概率的情況
信息熵最大