語言是一種符號，符號承載著信息。談到信息學，雖然沒來得及將香農的理論都過一遍，但是我知道熵是其中很重要的概念，描述一個隨機變量不確定性大小，熵越大則不確定性越大，這種不確定信是需要消除的。可能類似于數據的去噪。后現代時期，信息呈現大面極的碎片化，有太多重復和無意義的數據樣本。熵有聯合熵、條件熵和互信息。
聯合熵是描述兩個隨機變量所需要的信息量，大于等于其任一。互信息描述兩個隨機變量的相關性，已知其中一個后一個的不確定性就會減少。條件熵是已知其中一個變量后另一個變量的不確定性。相對熵，涉及隨機分布（）有些不理解。交叉熵是很重要的概念，和損失函數有關，用來評估model和real distribution之間的差異，交叉熵越小model越有效。
(關于喬姆基斯的語法理論，已買書，之后記錄讀后感。)
語言是否可以用狀態機來模型化，可以的，不過基于統計的模型是很膚淺的，因為僅僅將語言視為一種符號，語言可以視化一種符號，但這只是一個視角。如果從人工智能的角度來說，狀態就應該是一個人的狀態，比如狀態中就有這個人的潛意識、知覺、感覺、知識量、表達欲以及真實表達等屬性吧。僅僅依靠語法和語義來定義語言我認為是及其膚淺的。所以關于語言的本質，還要再了解（《A Introduction To Language》一定要看起來）。
語料庫的建立，我還是認為，和對數學的理解有關，數字，以及關系。數學某種意義上可以理解為對……萬事萬物（?）關系的一種抽象吧。
Chatbot 4:Viv還蠻有趣的。http://breezedeus.github.io/2016/09/01/breezedeus-viv-ai-chatbots-generator.html
可作了解。
關于已有算法的重點學習，還是在于已有的語言模型。
這個需要逐一了解概念、推演、以及實現代碼。對語言模型的理解，就是對于現有的語料庫訓練，以做出一些類AI的程序吧。還是實踐出真知……就是從現有的數據中去提煉，看最終能搞出一個什么來。這也是現在AI領域云遮霧繞的原因之一。AI領域會在這個過程不斷和其余的領域結合在一起的。不過這離自然語言就扯遠了。
……
每個模型我還是動手理理關系圖，先理出結構來，然后演算，代碼實現。注意自己的目標，是自然語言處理，計算語言學，語言學，圍繞的關鍵詞始終要是對語言的思考。
自然語言處理隨筆（一）
最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。
- 文/潘曉璐 我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人，你說我怎么就攤上這事。” “怎么了？”我有些...
- 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著，像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上，一...
- 文/蒼蘭香墨 我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了？” 一聲冷哼從身側響起，我...
推薦閱讀更多精彩內容
- 本系列第三篇，承接前面的《淺談機器學習基礎》和《淺談深度學習基礎》。 自然語言處理緒論 什么是自然語言處理？ 自然...
- 層次化的隱馬爾可夫模型 在自然語言處理等應用中，由于處理序列具有遞歸特性，尤其當序列長度比較大時，HMM的復雜度將...
- 命名實體識別 命名實體的提出源自信息抽取問題，即從報章等非結構化文本中抽取關于公司活動和國防相關活動的結構化信息，...
- 摘要：在深度學習之前已經有很多生成模型，但苦于生成模型難以描述難以建模，科研人員遇到了很多挑戰，而深度學習的出現幫...
