1.正則化線性回歸

對(duì)于線性回歸的求解，我們之前推導(dǎo)了兩種學(xué)習(xí)算法：一種基于梯度下降，一種基于正規(guī)方程。

正則化線性回歸的代價(jià)函數(shù)為：$$J(\theta )=\frac{1}{2m}\left[\sum _{i=1}^m{\left(h_{\theta }(x^{(i)})?y^{(i)}\right)}^2+\lambda \sum _{j=1}^n{\theta }_j^2\right]$$
如果我們要使用梯度下降法令這個(gè)代價(jià)函數(shù)最小化，因?yàn)槲覀兾磳?duì)其進(jìn)行正則化，所以梯度下降算法將分兩種情形：

上面的算法中𝑗 = 1,2, . . . , 𝑛 時(shí)的更新式子進(jìn)行調(diào)整可得：
$${\theta }_j:={\theta }_j\left(1?a\frac{\lambda }{m}\right)?a\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})?y^{(i)})x_j^{(i)}$$可以看出，正則化線性回歸的梯度下降算法的變化在于，每次都在原有算法更新規(guī)則的基礎(chǔ)上令𝜃值減少了一個(gè)額外的值。

我們同樣也可以利用正規(guī)方程來(lái)求解正則化線性回歸模型，方法如下所示：

圖中的矩陣尺寸為 (𝑛 + 1) ? (𝑛 + 1)

2.正則化的邏輯回歸模型

針對(duì)邏輯回歸問(wèn)題，我們?cè)谥耙呀?jīng)學(xué)習(xí)過(guò)兩種優(yōu)化算法：我們首先學(xué)習(xí)了使用梯度下降法來(lái)優(yōu)化代價(jià)函數(shù)𝐽(𝜃)，接下來(lái)學(xué)習(xí)了更高級(jí)的優(yōu)化算法，這些高級(jí)優(yōu)化算法需要你自己設(shè)計(jì)代價(jià)函數(shù)𝐽(𝜃)。

自己計(jì)算導(dǎo)數(shù)同樣對(duì)于邏輯回歸，我們也給代價(jià)函數(shù)增加一個(gè)正則化的表達(dá)式，得到代價(jià)函數(shù)：
$$J(\theta )=\frac{1}{m}\sum _{i=1}^m\left[?y^{(i)}\log \left(h_{\theta }(x^{(i)})\right)?(1?y^{(i)})\log \left(1?h_{\theta }(x^{(i)})\right)\right]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$
Python 代碼：

import numpy as np
def costReg(theta, X, y, learningRate):theta = np.matrix(theta)X = np.matrix(X)y = np.matrix(y)first = np.multiply(-y, np.log(sigmoid(X*theta.T)))second = np.multiply((1 - y), np.log(1 - sigmoid(X*theta.T)))reg = (learningRate / (2 * len(X))* np.sum(np.power(theta[:,1:the
ta.shape[1]],2))return np.sum(first - second) / (len(X)) + reg

要最小化該代價(jià)函數(shù)，通過(guò)求導(dǎo)，得出梯度下降算法為：
注：看上去同線性回歸一樣，但是知道 $h_{𝜃}(x)=g({𝜃}^{T}X)$，所以與線性回歸不同