1.信息度量

信息就是不確定性的多少，信息就是要減少不確定性；

熵: 信息的混雜程度，越大，信息越雜，越不純；

條件熵: 一個信息確定的條件下，另外一個信息不確定度的減少量；

互信息: 在一個信息的條件下，為了是另外一個信息不確定度減少所需要提供的信息量；

相對熵: 衡量兩個函數(shù)值為正數(shù)的函數(shù)的相關(guān)性。

2.指紋信息

指紋: 每段信息包括文字，圖片，音頻，等都可以對應(yīng)一組不太長的隨機數(shù)

偽隨機數(shù):壓縮

基于加密的偽隨機數(shù):密碼

集合的判定，文章，網(wǎng)頁的判定，視頻的判定

指紋可能重復(fù)，但可能性很小

相似哈希:詞，權(quán)重，指紋，二進(jìn)制的結(jié)合(提供了一種思路)

3.最大熵模型

最大熵原理: 保留全部的不確定性，讓風(fēng)險降到最小；

最大熵模型: 在所有滿足約束條件的模型中選出熵最大的模型；

模型學(xué)習(xí): 任何一組不自相矛盾的信息，最大熵模型存在并且唯一，都具有相同的形式，指數(shù)形式；

特點: 能同時滿足成千上萬的中不同條件的模型(有效的組合很多特征)

參數(shù)訓(xùn)練: 對數(shù)似然函數(shù)求極大

4.期望最大

如果模型的變量都是觀測變量，用極大似然估計或貝葉斯估計

如果存在隱含變量，用EM迭代，最大后驗概率

典型:kmeans聚類，隱馬的參數(shù)訓(xùn)練，最大熵模型的訓(xùn)練

特點: 局部最優(yōu)，計算速度慢

5.散列表與布隆過濾器

散列表的核心:哈希函數(shù)hashcode(),equals()函數(shù)；

散列表的特點:時間復(fù)雜度o(1),浪費空間，沖突；

布隆過濾器核心: 一組二進(jìn)制數(shù)和隨機映射函數(shù)；

布隆過濾器的特點: 時間復(fù)雜度o(1)，節(jié)約空間，到存在錯誤率

6.文本分類

相似性: 余弦定理，距離

方法: k近鄰思想，自底向上的兩兩合并，EM迭代，奇異值分解；

技巧: 計算時存儲重復(fù)計算的變量，只考慮非零元素，刪除虛詞

余弦定理和奇異分解:余弦定理多次迭代，計算量大，消耗資源多；svd無需多次迭代，時間短，但存儲空間需求大，適合超大規(guī)模分類；建議svd粗分類，余弦定理細(xì)分類

TF-IDF解決兩個重要問題:詞的預(yù)測能力越強，權(quán)重越大；停止詞的權(quán)重為零

7.隱馬爾可夫

馬爾可夫假設(shè): t時刻的狀態(tài)只取決于t-1時刻

馬爾可夫鏈: 狀態(tài)鏈

隱馬模型: 初始概率分布，狀態(tài)轉(zhuǎn)移概率分布，觀測概率分布(馬爾可夫假設(shè)，觀測獨立)

3個問題:

參數(shù)估計-baum-uelch算法

計算概率-直接，前向，后向算法

預(yù)測狀態(tài)-維特比算法(動態(tài)規(guī)劃)

8.貝葉斯網(wǎng)絡(luò)

是馬爾可夫鏈的推廣(鏈狀-拓?fù)?

又稱信念網(wǎng)絡(luò): 弧+可信度

訓(xùn)練: 結(jié)構(gòu)和參數(shù)訓(xùn)練，交叉進(jìn)行

方法: 貪心算法，蒙卡，互信息

9.條件隨機場

特點:觀測值可能和前后的狀態(tài)都有關(guān)

條件隨機場是無向圖，貝葉斯網(wǎng)絡(luò)是有向圖

核心:找到符合所有邊緣分布的最大熵模型

10.有限狀態(tài)機和動態(tài)規(guī)劃

有限狀態(tài)機: 開始，終止?fàn)顟B(tài)，有向弧，條件

常見: ?建立狀態(tài)機，已知狀態(tài)機匹配字符串

區(qū)別: 基于概率的有限狀態(tài)機和離散馬爾可夫鏈等效

動態(tài)規(guī)劃: 把全程路徑最短鎖定到局部路徑最短