Linear Regression（線性回歸）
1 Simple Octave/MATLAB function
這里的第一個練習是寫一個簡單生成5*5的單元矩陣的函數，找到warmUpExercise.m文件，代碼實現如下：
function A = warmUpExercise()?
%WARMUPEXERCISE Example function inoctave
%A = WARMUPEXERCISE() is an example function that returns the5x5 identity matrix
A = [];
% ========== YOUR CODE HERE =============
% Instructions: Return the5x5 identity matrix
% ? ? ? ? ? ? ? ? ? ? In octave, ?we return values by defining which variables
% ? ? ? ? ? ? ? ? ? ? represent there turn values (at the top of the file)
% ? ? ? ? ? ? ? ? ? ? and then set them accordingly.
A = eye(5);
% ===================================
end
輸出如圖T1.1（在這里使用Octave-gui編譯工具）：
2 Linear regression with one variable（單變量線性回歸）
第二個練習，假設你是一個餐廳專營公司的CEO，并正在考慮開設新的路線，你已經有了各個城市的利潤與人數之間的關系的數據集，然后去實現一個單變量的線性回歸算法來預測食物卡車的利潤。
2.1 Plotting the Data（繪制數據集）
在ex1.m 里面已經有繪制數據集的代碼，直接執行即可；代碼如圖T2.1.1，繪圖效果如圖T2.1.2。
在這之前還需要完善plotData.m的代碼，設置橫縱坐標的標題意義：
plot(x, y,'rx','MarkerSize', 10); ? ? ? ? ? ? ? ? ?% Plot the data
ylabel('Profit in $10,000s'); ? ? ? ? ? ? ? ? ? ? ? % Set the yaxis label
xlabel('Population of City in 10,000s'); ? ? ?% Set the xaxis label
X是取exdata1.txt 文件的第一列數據，Y是取exdate1.txt文件的第二列數據。
從圖中可以看出，圖中每一個點相當于一行data數據集的數據。相當于每個城市的人口對應的利潤是多少美元。
2.2 Gradient Descent（梯度下降）
這里主要使用梯度下降算法來迭代更新成本函數。
2.2.1 Update Equations（更新方程式）
成本函數和期望函數如圖T2.21.A：
梯度函數如圖T2.2.1.B：
2.2.2 Implementation(執行)
這里設置函數需要的各個參數值（X矩陣，斯塔值，迭代次數，阿米伽值）。
X = [ones(m, 1), data(:,1)]; % Add a column of ones to x
theta = zeros(2, 1);% initialize fitting parameters
iterations = 1500;
alpha = 0.01;
2.2.3 Computing the cost J(theta)
這里需要完善computerCost.m代碼.
function J = computeCost(X, y, theta)
%COMPUTECOST Compute costforlinear regression
% ? ? J = COMPUTECOST(X, y, theta) computes the cost of using theta as the
% ? ? parameterforlinear regression to fit the data pointsinX and y
% ? ? Initialize some useful values
m = length(y); % number of training examples
% ? ? You need toreturnthe following variables correctly
J = 0;
% =========== YOUR CODE HERE ============
% ? ? Instructions: Compute the cost of a particular choice of theta?
% ? ? ? ? ? ? ? ? ? ? ? ? You should set J to the cost.
J = sum((X*theta - y).^2) / (2*m);
% ===================================
end
完成后即可執行ex1.m中代碼；效果如圖T2.2.3：
2.2.4 Gradient descent(梯度下降)
這里需要完善gradientDescent.m代碼.
function [theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters)
%GRADIENTDESCENT Performs gradient descent to learn theta
% ? theta = GRADIENTDESENT(X, y, theta, alpha, num_iters) updates theta by
% ? taking num_iters gradient steps with learning rate alpha
% Initialize some useful values
m = length(y); % number of training examples
J_history = zeros(num_iters,1);
for iter = 1:num_iters
? ? ? ? ? ? ? ?% ============ YOUR CODE HERE ===========
? ? ? ? ? ? ? ?% Instructions: Perform a single gradient step on the parameter vector?
? ? ? ? ? ? ? ?% theta.
? ? ? ? ? ? ? ?% Hint: While debugging, it can be useful to printoutthe values
? ? ? ? ? ? ? ?% of the cost function (computeCost) and gradient here.
? ? ? ? ? ? ? ?%
? ? ? ? ? ? ? theta = theta - alpha * (X' * (X * theta - y)) / m;
? ? ? ? ? ? ? % ===================================
? ? ? ? ? ? ? % Save the cost Jinevery iteration
? ? ? ? ? ? ? J_history(iter) = computeCost(X, y, theta);
end
end
完成后按照ex1.m的代碼繼續執行，效果如圖T2.24：
2.3 Debugging(調試)
這里只需要執行ex1.m的代碼即可調試結果；代碼效果如圖：T2.3.1，繪圖效果如圖：T2.3.2
繼續執行ex1.m中的代碼，效果如圖T2.3.3：
這里可以得到預測結果：
35000人口時利潤為：$4519.76。
70000人口時利潤為：$45342.45。
2.4 Visualizing J(theat) ?(成本函數視圖化)
執行ex1.m中代碼即可，代碼效果如圖T2.4.1；3D效果視圖為T2.4.2；2D效果視圖為T2.4.3。
