今天開始第一次寫學習方面的日記，并不是對過程的完整闡述，只是簡單的總結。
另外，該筆記是寫給我自己看的，內容方面可能不太適合其他人，希望多多包涵。
學習過程中，發(fā)現聽完了并不能很深刻地理解，于是決定每一次的算法都自己手寫實現，以簡單的例子上手，進而寫出比較復雜的公開課上給出的題目。
所謂機器學習？
以房價為例子：
輸入變量（特征）X：
給出面積，臥室數量，位置等等
輸出Y：
房價
以這些數據集為基礎，然后我們給出一條方程式來最大程度地擬合這些數據集。
之后我們給一個輸入（面積，臥室數量等等），我們就可以通過上面的方程式直接給出輸出（房價）了。
這就有點【通過數據集給出功能函數，之后就可以通過這條函數來預測任意輸入對應的輸出】的味道了，哈哈，是不是很激動。
（TMD為什么不用最小二乘法呢？？后面才發(fā)現，其實這只是其中一種算法，實際中可以采用的算法是多種多樣的。最小二乘法當然也可以啦）
幾個通用的符號：
-m =訓練樣本數
-x =輸入變量（特征）
y =輸出變量（目標變量）
-(x,y) –一個樣本
-Ith-第i個訓練樣本=（x(i),y(i)）
-n=特征數目
實際運用中會有很多的輸入變量，上面的例子中用線性方程來擬合。
于是先假設了線性的方程，有幾個未知的參數，最終目標就是求出最棒的參數來！
梯度下降
這是一個最優(yōu)化算法，目標是為了找到使我們的訓練集的方差最小的參數。
梯度嘛，我們都懂，增加最快的方向。
這里用MATLAB求解Y=X^2的最小值為例子來加深理解。
（目標函數：Y=X^2 變量：X）
MATLAB代碼如下：
syms x;
y=x^2;
x=2;k=0;step=0.1;
ezplot(y,[-3,3,0,6]);
f_current=x^2;
f_change=1;%這個值是隨意的
fprintf('最開始f_current:%.5f\n',f_current);
fprintf('最開始f_change:%.5f\n',f_change);
hold on;
while abs(f_change)>0.0000001
f_current=x^2;%先計算當前值
x=x-step*2*x;%然后把我們的x下降一下~
f_change=f_current-x^2;%再算一下改變的值
fprintf('第%d次改變后的x:%.10f 改變后的y:%.10f\n',k+1,x,x^2);
%把每一次下降都輸出在屏幕上
plot(x,x^2,'ro','markersize',5);
drawnow;%matlab在輸出多個plot時不會多次刷新，加入drawnow后就可以
pause(0.2);%延時0.2秒
k=k+1;
end
fprintf('此時相鄰兩個點的改變量為:%.10f',f_change);
hold off;
輸出結果圖：
所以，同理，對于我們的房價輸出方程也是一樣的，只是把Y=X^2換成方差函數而已。
這里由于數據集不足，便于編寫代碼，所以我們只考慮了一個特征，樣本數量也只有6個。
不過沒有關系~因為其實理解了最簡單的，更復雜的也大同小異啦。
MATLAB代碼如下：
A=[2104,400;1600,330;2400,369;1416,232;3000,540];%房價數據集的矩陣
syms x a b;
step=0.00000001;%step取0.00000001
V=0;
hold on;%讓屏幕不刷新
axis([1200,3200,200,550]);
for i=1:5 %for循環(huán)以輸出數據集
plot(A(i,1),A(i,2),'ro','markersize',7);
axis([1200,3200,0,550]);
fprintf('%d %d\n',A(i,1),A(i,2));
drawnow;%matlab在輸出多個plot時不會多次刷新，加入drawnow后就可以
pause(0.2);%延時0.2秒
end
for i=1:5%求得方差的表達式
V=V+(a+b*A(i,1)-A(i,2))^2;
end
V=0.5*V;
g=matlabFunction(V);%轉函數
dda=diff(V,a);%a的偏導數
ddb=diff(V,b);%b的偏導數
g_da=matlabFunction(dda);%將表達式轉化為函數
g_db=matlabFunction(ddb);%同上
a1=0;a2=0;
g_change=1;%這里定義的將是我們某一次下降的目標函數變化量，初始化為1（其實這個數值無所謂，只要大于0.001就可以了）
g_current=g(0,0);
k=0;
while abs(g_change)>0.001
a1=a1-step*g_da(a1,a2);
a2=a2-step*g_db(a1,a2);
g_change=g_current-g(a1,a2);
g_current=g(a1,a2);
k=k+1;
fprintf('第%d次: %.5f\n',k,g(a1,a2));%輸出迭代的次數以及方差的數值，便于理解
end
y=a1+a2*x;
ezplot(y,[1200,3200,0,550]);%輸出最終的直線
hold off;
輸出結果圖：
如果把每一次的直線輸出，就是這樣子的：
什么時候退出循環(huán)呢？當某一次下降的幅度（函數值的差）足夠小的時候就可以了。
（由上面的圖可以看到，在36次時退出了循環(huán)，因為該次下降相鄰兩點對應的方差值之差已經很小啦~）
（這里其實有一個疑問，其實本質不就是求解函數的最小值嗎？為什么用這么麻煩的算法？求出所有的極值點，進而求出最小值不就好了？...后面才發(fā)現，確實可以，并且會給出完整的做法以及MATLAB程序）
隨機梯度下降
批梯度下降的缺點。。
當我們的樣本數量太大了的時候，嗯，每一次求方差都需要求每一項的樣本與預測值的差，這個計算量是我們承載不了的。
同樣，樣本數量和特征的數量都很大時，計算量也會非常大。
所以呢需要新的算法：就是隨機梯度下降
每次計算不需要再遍歷所有數據，而是只需計算樣本i即可。
即批梯度下降中，走一步為考慮m個樣本；隨機梯度下降中，走一步只考慮1個樣本。
每次迭代復雜度為O(n)。當m個樣本用完時，繼續(xù)循環(huán)到第1個樣本。
增量梯度下降算法可以減少大訓練集收斂的時間（比批量梯度下降快很多），但可能會不精確收斂于最小值而是接近最小值。
由于是第一次接觸機器學習，對什么都不熟悉，所以我把每一次的算法都自己實現一遍，加深理解。
MATLAB代碼：
A=[2104,400;1600,330;2400,369;1416,232;3000,540];%房價數據集的矩陣
syms x a b x1 y1;
step=0.000000001;%step取0.00000001
hold on;%讓屏幕不刷新
axis([1200,3200,200,550]);
for i=1:5 %for循環(huán)以輸出數據集
plot(A(i,1),A(i,2),'ro','markersize',7);
axis([1200,3200,0,550]);
fprintf('%d %d\n',A(i,1),A(i,2));
drawnow;%matlab在輸出多個plot時不會多次刷新，加入drawnow后就可以
pause(0.2);%延時0.2秒
end
M=0;
for i=1:5%求得方差的表達式
M=M+(a+b*A(i,1)-A(i,2))^2;
end
M=0.5*M;%是方差的值
m=matlabFunction(M);%轉函數
V=0.5*(a+b*x1-y1)^2;%V是某一項的差值的平方
g=matlabFunction(V);%轉函數
dda=diff(V,a);%V對a的偏導數
ddb=diff(V,b);%V對b的偏導數
g_da=matlabFunction(dda);%將表達式轉化為函數
g_db=matlabFunction(ddb);%同上
a1=0;a2=0;
m_change=1;%這里定義的將是我們某一次下降的目標函數（方差）變化量，初始化為1（其實這個數值無所謂，只要大于0.001就可以了）
m_current=m(a1,a2);
k=0;
while 1
for i=1:5
c1=g_da(a1,a2,A(i,1),A(i,2));
c2=g_db(a1,a2,A(i,1),A(i,2));
a1=a1-step*c1;%下降a1
a2=a2-step*c2;%下降a2
m_change=abs(m_current-m(a1,a2));
m_current=m(a1,a2);
k=k+1;%記錄迭代的次數
fprintf('第%d次: %.5f\n',k,m(a1,a2));%輸出迭代的次數以及方差的數值，便于理解
y=a1+a2*x;
ezplot(y,[1200,3200,0,550]);%實時輸出圖像
drawnow;%加上drawnow之后每一次ezplot都實時顯示
if m_change<0.0001
break;
end
end
if m_change<0.0001
break;
end
end
hold off;
在運行程序過程中，發(fā)現step的設置非常重要，設置太大根本無法擬合到我們想要的無法范圍內；設置太小則下降得太慢。
而且在這個例子中，程序運行了5分鐘才輸出最終的圖形，而采用批梯度下降算法一瞬間就可以給出圖形...
這是為什么呢？因為隨即梯度下降的優(yōu)點只有在數據集特別大的時候才能體現出來，我們這里只有5個輸入...所以當然下降得很慢。
另外，我們這里用的是隨機梯度下降的最簡單的形式，也就是每次只用一個輸入來考慮,所以這也是可能的原因之一。
正規(guī)方程組
這里略去推導證明的過程，其實思想就是我上面所說的，梯度為0時（梯度和我們一元函數的導數很類似，極值點就在導數為0的地方取到）就是極值點，對于單變量的房價問題來說就是最小值點，所以可以由這一點求出theta(也就是我們線性函數的幾個參數值)。
由這個方程給出的theta值并不是逼近，而是精確的最小值。由此可見數學學好有多么重要（捂臉哭555），不然梯度下降算法寫的多好，人家只需要一條等式就搞定你了（233）。
這里同樣給出matlab實現：
A=[2104,400;1600,330;2400,369;1416,232;3000,540];
X=[1,2104;1,1600;1,2400;1,1416;1,3000];
Y=[400;330;369;232;540];
hold on;
for i=1:5 %for循環(huán)以輸出數據集
plot(A(i,1),A(i,2),'ro','markersize',7);
axis([1200,3200,0,550]);
fprintf('%d %d\n',A(i,1),A(i,2));
drawnow;%matlab在輸出多個plot時不會多次刷新，加入drawnow后就可以
pause(0.2);%延時0.2秒
end
t=inv(((X.')*X))*(X.')*Y; %其實重點就這一行而已....(求心里陰影面積)
syms x;
y=t(1,1)+t(2,1)*x;
ezplot(y,[1200,3200,0,550]);
hold off;
這里有趣的一點是，我們由正規(guī)方程組求出的方差最小值是3124.5，而之前梯度下降算法求出的方差值是3246.7。由此可見在房價問題上，正規(guī)方程組是全面優(yōu)于梯度下降算法的。
參考博客：http://blog.csdn.net/crcr/article/details/39481307
吳恩達老師的公開課網址：http://open.163.com/movie/2008/1/B/O/M6SGF6VB4_M6SGHJ9BO.html
