簡(jiǎn)介
此章節(jié)以西瓜為主題介紹了一下機(jī)器學(xué)習(xí)的基本概念，如數(shù)據(jù)集、樣本空間、特征向量等等，順帶介紹了一些機(jī)器學(xué)習(xí)的發(fā)展過(guò)程。
概念
假設(shè)空間（hypothesis space）：所有假設(shè)組成的空間，即對(duì)樣本所有特征的所有假設(shè)構(gòu)成的空間。如：一個(gè)蘋(píng)果有兩個(gè)特征，①大小，②甜度。其中大小分為大和小兩類(lèi)，甜度分為甜和不甜兩類(lèi)，那么蘋(píng)果的可能的種數(shù)為 2 x 2 = 4 種。但是，我們還需要考慮到根本不存在大小這個(gè)特征，或者根本不存在甜度這個(gè)特征，以及連蘋(píng)果這個(gè)東西都不存在，所以所有可能的假設(shè)有 (2 + 1) x (2 + 1) + 1 = 10 種，這10種假設(shè)組成的空間就是關(guān)于該蘋(píng)果問(wèn)題的假設(shè)空間。
版本空間（version space）：在假設(shè)空間中與訓(xùn)練集一致的假設(shè)集合，我們稱之為版本空間。也就是說(shuō)，如果版本空間中存在某個(gè)假設(shè)，那么一定有相對(duì)應(yīng)的樣本符合這個(gè)假設(shè)。
歸納偏好（inductive bias）：機(jī)器學(xué)習(xí)算法再學(xué)習(xí)過(guò)程中對(duì)某種類(lèi)型假設(shè)的偏好，稱為歸納偏好。如下圖，這種偏好可以體現(xiàn)為想要算法更加追求對(duì)樣本數(shù)據(jù)的接近度——黑線，還是想要更加追求對(duì)數(shù)據(jù)分布的預(yù)測(cè)度——紅線。
奧卡姆剃刀（Occam's razor）：一種最基本的歸納偏好，即 “若有多個(gè)假設(shè)與觀察一致，則選最簡(jiǎn)單那個(gè)”。
沒(méi)有免費(fèi)的午餐定理（No Free Lunch Theorem， 簡(jiǎn)稱 NFL 定理）：算法在訓(xùn)練集之外的所有樣本上的誤差為：
對(duì)于所有可能的 f 按均勻分布求和，則有：
最終得出結(jié)論：總誤差與學(xué)習(xí)算法無(wú)關(guān)！也就是說(shuō)，無(wú)論學(xué)習(xí)算法好壞與否，它們的期望性能都相同！但是我們需要知道上述定理論述過(guò)程中假設(shè)了 f 的均勻分布，而實(shí)際情況可能并非如此。實(shí)際運(yùn)用中，某些假設(shè)可能是不符合實(shí)際甚至根本不存在的。所以，NFL 定理并非是要讓我們認(rèn)為機(jī)器學(xué)習(xí)算法沒(méi)有用處，而是要讓我們認(rèn)識(shí)到討論算法要結(jié)合實(shí)際才有意義，脫離實(shí)際談?wù)撌裁此惴ǜ煤翢o(wú)意義可言。
發(fā)展歷程
連接主義學(xué)習(xí)（二十世紀(jì)五十年代初） ：
- 感知機(jī)（Perceptron）
- Adaline
符號(hào)主義學(xué)習(xí)（六七十年代）：
- 結(jié)構(gòu)學(xué)習(xí)系統(tǒng)
- 基于邏輯的歸納學(xué)習(xí)系統(tǒng)
- 概念學(xué)習(xí)系統(tǒng)
- 以決策理論為基礎(chǔ)的學(xué)習(xí)技術(shù)以及強(qiáng)化學(xué)習(xí)技術(shù)
從樣例中學(xué)習(xí)（二十世紀(jì)八十年代）：
- 決策樹(shù)（decision tree）
- 基于邏輯的學(xué)習(xí)（代表作：Inductive Logic Programming，簡(jiǎn)稱 ILP）
- 神經(jīng)網(wǎng)絡(luò)
統(tǒng)計(jì)學(xué)習(xí)（二十世紀(jì)九十年代中期）：
- 支持向量機(jī)（Support Vector Machine，簡(jiǎn)稱 SVM）
- 核方法（kernel methods）
連接主義學(xué)習(xí)復(fù)興——深度學(xué)習(xí)（二十一世紀(jì)初）：
- 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡(jiǎn)稱 CNN）
- 循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，簡(jiǎn)稱 RNN）
- 遞歸神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，簡(jiǎn)稱 LSTM）
應(yīng)用現(xiàn)狀
研究領(lǐng)域：
- 圖像識(shí)別（Image Recognition）
- 語(yǔ)音識(shí)別（Speech Recognition）
- 自然語(yǔ)言處理（Natural Language Processing）
- 數(shù)據(jù)挖掘（Data Mining）
應(yīng)用領(lǐng)域：
- 天氣預(yù)報(bào)、能源勘探、環(huán)境監(jiān)測(cè)
- 分析銷(xiāo)售數(shù)據(jù)、客戶信息
- 搜索引擎（文字搜索、圖片搜索）
- 自動(dòng)駕駛
- 分析社交網(wǎng)絡(luò)數(shù)據(jù)
- 商業(yè)決策支持
- 人工智能
閱讀材料
重要國(guó)際學(xué)術(shù)會(huì)議：
- 國(guó)際機(jī)器學(xué)習(xí)會(huì)議（ICML）
- 國(guó)際神經(jīng)信息處理系統(tǒng)會(huì)議（NIPS）
- 國(guó)際學(xué)習(xí)理論會(huì)議（COLT）
重要區(qū)域性會(huì)議：
- 歐洲機(jī)器學(xué)習(xí)會(huì)議（ECML）
- 亞洲機(jī)器學(xué)習(xí)會(huì)議（ACML）
重要國(guó)際學(xué)術(shù)期刊：
- Journal of Machine Learning Research
- Machine Learning
人工智能領(lǐng)域：
- 重要會(huì)議：IJCAI、AAAI
- 重要期刊：Artificial Intelligence、Journal of Artificial Intelligence Research
數(shù)據(jù)挖掘領(lǐng)域：
- 重要會(huì)議：KDD、ICDM
- 重要期刊：ACM Transactions on Knowledge Discovery from Data、Data Mining and Knowledge Discovery
計(jì)算機(jī)視覺(jué)與模式識(shí)別：
- 重要會(huì)議：CVPR
- 重要期刊：IEEE Transactions on Pattern Analysis and Machine Intelligence
神經(jīng)網(wǎng)絡(luò)領(lǐng)域：
- 重要期刊：Neural Computation、IEEE Transactions on Neural Networks and Learning Systems
統(tǒng)計(jì)學(xué)領(lǐng)域：
- 重要期刊：Annals of Statistics
國(guó)內(nèi)機(jī)器學(xué)習(xí)領(lǐng)域：
- 重要會(huì)議：中國(guó)機(jī)器學(xué)習(xí)大會(huì)（CCML）、“機(jī)器學(xué)習(xí)及其應(yīng)用”研討會(huì)（MLA）
小結(jié)
第一章緒論講述的東西并不多，只是初步介紹了一下機(jī)器學(xué)習(xí)的基本知識(shí)以及機(jī)器學(xué)習(xí)領(lǐng)域的重要會(huì)議和重要期刊。我覺(jué)得重要會(huì)議和重要期刊應(yīng)當(dāng)著重記一下，以后必然要用到。就算不查文獻(xiàn)、不查資料，多讀讀專家們的論文、了解下現(xiàn)今技術(shù)的發(fā)展也是應(yīng)該的吧。即使讀到了一篇水文，那也是一篇頂會(huì)的水文，也不必說(shuō)浪費(fèi)了時(shí)間。
