Lec5：Training versus Testing

tips：符號含義參照Lec1

上一節中我們得到在一些條件下，learning is feasible！這一節我們將接著上一節探討在 M = | H | 無限大時是怎樣的？

learning實際可以分兩部分看待：

1）Ein（g）≈ 0：在in - sample上應該盡量小，這是在train時希望的事情。

2）Eout（g）≈ Ein（g）：Eout要和Ein接近，這是test階段希望的事情，在 Out -of -sample 上表現好才是目標！

1、Trade-off on M

上面的回顧說learning可以分為兩個問題：1）Eout是不是和Ein足夠接近？2）Ein是不是足夠小？

那么 M 跟這兩個問題有什么關系？

small M：1）yes！但 ?2）no！（選擇太少）；

large M：1）No！（P[Bad]幾率增加）但 ?2）yes！ ?

所以M太大太小都不好，trade off！當M無限大時顯然bad，那之前的PLA是不對的嗎？after 3 more lectures (；′⌒`)

我們要想辦法解決large M，甚至無限大M 。已知：

如果我們可以用一個有限的 mH 代替M，似乎就可以解決這個問題了。下面將從理論上說明這件事是可以的。

2、H的kind有限

先回想一下M從何而來的？級聯上限！通俗點講，霍夫丁不等式只能保證一個h遇到bad data的概率小，M個h遇到bad data的概率就乘以M，如果保證union bound小，這時候A就可以在H中隨意做選擇。但是M無限大時boom！這個“上限”是哪里有問題呢？

考慮 h1 ≈ h2的情況，union bound 時區別對待h1和h2，實際上并不需要加兩次霍夫丁，這就造成級聯上限over-estimating過度估計！這就是問題所在。為了解決這個問題，我們可以把類似的hypothesis分類。如何歸類？以perceptron為例，line的個數是無限多的，種類呢？

1個input時，x1，只有2種kind，一種是類似h1的，將x1劃分為+1；另一種是類似h2的，將x1劃分為-1.

2個input時，x1、x2，有4種kind，圈代表+1，叉代表-1，如下圖：

3個input時，x1、x2、x3，有8種kind，如圖：

到這你是不是覺得自己已經發現規律了，kind就是2的N方嘛！不要急，接著看3個input的情況，會一直有8個kind嗎？考慮三點共線的情況，實際上會有2個kind不存在，這時只有6個kind。此外，當input重疊時，kind也會小于2的N次方。

接著看有4個input的情況，x1、x2、x3、x4，會有16種kind嗎？

圖中只給出了8張圖，另外8張是跟此圖對稱的。其中一個kind無論如何都是實際不存在的，所以4個input的時候，最多14個kind。

把N個輸入時最多的kind數量叫做effective number of lines，有效數量 ≤ 2的N次方。無限多的lines的kind有限，如果可以用有限的有效數量取代M，并且effective（N）<<2的N次方，那么M無限大時learning is possible！下面證明這是可以的。

3、Growth Function

先來介紹個新名詞dichotomies，表示kind，在（x1，x2，...，xN）上，H包括所有的dichotomies.

不同的data，dichotomies的數量也會有不同，如上節3個輸入的情況。所以我們只考慮dichotomies的最大值，用m（H）表示，稱為“成長函數”growth function。

怎么計算成長函數？perceptron的較難計算，先看幾個簡單的例子：

1）positive rays：

h（x）= sign（x - a），實際就是1維的perceptron，mH（N）= N + 1，當N很大的時候，N+1 << 2的N次方；

2）positive intervals：

h（x）= +1 iff x∈[l，r），-1otherwise ，mH（N）= 1/2（N*N+N）+1，就是C N 2，從N個里面選兩個點，再加上全部是叉的情況。當N很大時，mH（N）H<<2的N次方。

3）convex sets：

平面上凸region的集合，下圖藍色部分就是一個convex region：

h（x）=+1 iff x in region，mH（N）= 2的N次方。why？對于N個輸入，不管哪些x為+1，我們都能做出一個凸多邊形將+1包括在內，-1排除在外，如下圖：

我們將mH（N）= 2的N次方的情況稱為 exist N inputs can be “shattered”！

小summary，這節有三個新名詞：dichotomies、growth function、shattered

4、Break Point

總結一下四個不同的成長函數：

如果我們要用成長函數取代M，m是多項式時，exp下降很快：good；m是指數型時，指數增長 * 指數下降exp，并不能確保bound小：bad.

那么perceptron的成長函數是指數的還是多項式的呢？下一章證明。在此之前再來介紹一個新名詞：break point！

如果mH（k）< 2的k次方，k就是一個break point . 而且k+1、k+2、k+3......都是break point！我們通常關心最小的那個break point k.如2維perceptron 最小的break point 是4。如果shattered，就沒有break point，如convex sets！

下一章我們將證明，如果有k，則mH（N）= O（N的k-1次方），即多項式。歡迎繼續關注~~~

【如果您堅持讀到了最后～就點個贊、打個賞激勵下吧，哈哈～】