對神經(jīng)網(wǎng)絡(luò)模型參數(shù)的初始化方案對保持?jǐn)?shù)值穩(wěn)定性有很重要的作用。初始化?案的選擇可以與?線性激活函數(shù)的選擇有趣的結(jié)合在?起。

突然有感觸：做習(xí)題和模擬考研就分別是訓(xùn)練集和驗(yàn)證集，考研不就是最后的測試集（）

p168的↓的解釋：

(4.8.1)這個公式是表示深層網(wǎng)絡(luò)的計算過程。在這個網(wǎng)絡(luò)中，每一層的隱藏變量h(l)通過變換函數(shù)fl(h(l-1))得到，其中l(wèi)表示層數(shù)，h(l-1)表示上一層的隱藏變量。最后的輸出o是通過將所有層的變換函數(shù)依次作用在輸入x上得到，即o = fL ? . . . ? f1(x)，其中?表示函數(shù)的復(fù)合（即依次執(zhí)行函數(shù)的操作）。在深層網(wǎng)絡(luò)中，我們有一系列的變換函數(shù)f(l)，其中每個函數(shù)都作用在前一層的隱藏變量h(l-1)上，以產(chǎn)生當(dāng)前層的隱藏變量h(l)。最后的輸出o是通過將所有層的變換函數(shù)依次應(yīng)用在輸入x上得到。

在(4.8.2)公式中，"· . . . ·"的作用是表示多個項(xiàng)的乘積。具體來說，在(4.8.2)公式中的每個項(xiàng)都是對應(yīng)的求偏導(dǎo)結(jié)果的乘積。公式右側(cè)的每個項(xiàng)都對應(yīng)著一個中間變量的偏導(dǎo)數(shù)與相應(yīng)的中間變量的乘積。

例如，?W(l)o = ?h(L-1) h(L) · ?h(l)h(l+1) · … · ?W(l)h(l) 表示將所有?h(L-1) h(L)，?h(l)h(l+1)，?W(l)h(l)這些項(xiàng)依次相乘。推導(dǎo)過程涉及到計算梯度（也就是導(dǎo)數(shù)）的鏈?zhǔn)椒▌t。鏈?zhǔn)椒▌t告訴我們?nèi)绾斡嬎銖?fù)合函數(shù)的導(dǎo)數(shù)，根據(jù)(4.8.1)不難看出(4.8.2)的梯度推導(dǎo)是對的。

不穩(wěn)定梯度帶來的?險不?在于數(shù)值表?；不穩(wěn)定梯度也威脅到我們優(yōu)化算法的穩(wěn)定性。我們可能?臨?些問題。要么是梯度爆炸（gradient exploding）問題：參數(shù)更新過?，破壞了模型的穩(wěn)定收斂；要么是梯度消失（gradient vanishing）問題：參數(shù)更新過?，在每次更新時?乎不會移動，導(dǎo)致模型?法學(xué)習(xí)。

---

梯度消失和梯度爆炸是深度?絡(luò)中常?的問題。在參數(shù)初始化時需要?常??，以確保梯度和參數(shù)可 以得到很好的控制。

解決梯度消失、梯度爆炸、參數(shù)化所固有的對稱性的問題，可以在參數(shù)初始化上下功夫。

① 默認(rèn)的隨機(jī)初始化---正態(tài)分布初始化。

② Xavier初始化---Xavier初始化從均值為零，?差 σ2 = 2/(nin+nout) 的?斯分布中采樣權(quán)重，nin 是當(dāng)前層的輸入度，nout 是當(dāng)前層的輸出維度，也可以將其改為選擇從均勻分布中抽取權(quán)重。Xavier初始化的理念是使得輸入信號在前向傳播過程中的方差和反向傳播過程中的方差保持一致，以便更好地進(jìn)行梯度傳播。通過從高斯分布中采樣權(quán)重，我們可以確保權(quán)重的初始化不會過于偏向較大或較小的值，避免了梯度消失或梯度爆炸的問題。因?yàn)樵诟咚狗植贾?#xff0c;大約 95% 的值會位于均值的兩個標(biāo)準(zhǔn)差范圍內(nèi)，所以將方差設(shè)置為 2 / (nin + nout) 可以將大部分的權(quán)重值控制在合適的范圍內(nèi)。

---

p172練習(xí)

1. 除了多層感知機(jī)的排列對稱性之外，還能設(shè)計出其他神經(jīng)?絡(luò)可能會表現(xiàn)出對稱性且需要被打破的情況嗎？

答：

①對稱激活函數(shù)：如果在神經(jīng)網(wǎng)絡(luò)的不同層中使用了相同的激活函數(shù)，且激活函數(shù)具有對稱性，那么網(wǎng)絡(luò)架構(gòu)可能會表現(xiàn)出對稱性。例如，如果所有層使用了相同的ReLU激活函數(shù)，它是一個對稱的函數(shù)，可能導(dǎo)致梯度的方向不明確，使得網(wǎng)絡(luò)訓(xùn)練困難。為了打破這種對稱性，可以在每一層使用不同的激活函數(shù)，或者引入一些隨機(jī)性，如dropout等。

②初始化權(quán)重的對稱性：如果網(wǎng)絡(luò)的初始權(quán)重具有某種對稱性，比如在對稱的權(quán)重矩陣中，不同的神經(jīng)元連接具有相同的權(quán)重值。這種對稱性可能導(dǎo)致網(wǎng)絡(luò)在訓(xùn)練過程中收斂到相同或相似的權(quán)重配置。為了打破這種對稱性，常用的方法是使用隨機(jī)的權(quán)重初始化方式，如Glorot/Xavier初始化，以確保不同的神經(jīng)元連接具有不同的初始權(quán)重值。

在這些情況下，為了使網(wǎng)絡(luò)能夠更好地學(xué)習(xí)和表示數(shù)據(jù)，需要打破對稱性。這可以通過使用不同的激活函數(shù)、不同的初始化方法、引入隨機(jī)性或正則化技術(shù)來實(shí)現(xiàn)。這樣做可以增加網(wǎng)絡(luò)的表達(dá)能力，提高網(wǎng)絡(luò)的泛化能力，從而更好地適應(yīng)數(shù)據(jù)和任務(wù)。

2. 我們是否可以將線性回歸或softmax回歸中的所有權(quán)重參數(shù)初始化為相同的值？

答：不推薦將線性回歸或softmax回歸中的所有權(quán)重參數(shù)初始化為相同的值。

當(dāng)所有權(quán)重參數(shù)初始化為相同的值時，模型將沒有足夠的能力來學(xué)習(xí)特征之間重要性的差異。這可能導(dǎo)致模型的性能下降，以及對于復(fù)雜的數(shù)據(jù)集和模型，模型的學(xué)習(xí)能力受到限制。

4. 如果我們知道某些項(xiàng)是發(fā)散的，我們能在事后修正嗎？看看關(guān)于按層?適應(yīng)速率縮放的論? (You et al., 2017) 。

答：

根據(jù)提供的參考文獻(xiàn)（You et al., 2017），關(guān)于按層自適應(yīng)速率縮放的論文，這是一種用于在訓(xùn)練過程中修正梯度發(fā)散問題的方法。

在深度學(xué)習(xí)中，梯度發(fā)散是指訓(xùn)練過程中梯度值變得非常大，導(dǎo)致權(quán)重更新過大，模型無法收斂或性能不穩(wěn)定的問題。按層自適應(yīng)速率縮放是一種方法，根據(jù)每個層的梯度值大小動態(tài)地調(diào)整學(xué)習(xí)率，以避免梯度發(fā)散問題。

該方法的關(guān)鍵思想是通過監(jiān)測每個層的梯度變化情況，來決定是否對該層的梯度進(jìn)行縮放。如果某個層的梯度值超過了一個預(yù)先設(shè)定的閾值，那么針對該層的學(xué)習(xí)率將被縮小，即減小權(quán)重更新的幅度。這樣做可以防止梯度發(fā)散，并提高訓(xùn)練的穩(wěn)定性和效果。

按層自適應(yīng)速率縮放方法可以在訓(xùn)練過程中實(shí)時監(jiān)控和調(diào)整各層的學(xué)習(xí)率，使其適應(yīng)當(dāng)前梯度的大小。通過對梯度發(fā)散的修正，該方法可以幫助模型更好地收斂，并提高性能。

總結(jié)而言，按層自適應(yīng)速率縮放是一種可以在訓(xùn)練過程中修正梯度發(fā)散問題的方法。它通過動態(tài)調(diào)整每個層的學(xué)習(xí)率來避免梯度的發(fā)散，提高模型的訓(xùn)練穩(wěn)定性和性能。

有時，根據(jù)測試集的精度衡量，模型表現(xiàn)得?常出?。但是當(dāng)數(shù)據(jù)分布突然改變時，模型在部署中會出現(xiàn)災(zāi)難性的失敗。更隱蔽的是，有時模型的部署本?就是擾亂數(shù)據(jù)分布的催化劑。舉?個有點(diǎn)荒謬卻可能真實(shí)存在的例?。假設(shè)我們訓(xùn)練了?個貸款申請?違約?險模型，?來預(yù)測誰將償還貸款或違約。這個模型發(fā)現(xiàn)申請?的鞋?與違約?險相關(guān)（穿?津鞋申 請?會償還，穿運(yùn)動鞋申請?會違約）。此后，這個模型可能傾向于向所有穿著?津鞋的申請?發(fā)放貸款，并拒絕所有穿著運(yùn)動鞋的申請?。這種情況可能會帶來災(zāi)難性的后果。?先，?旦模型開始根據(jù)鞋類做出決定，顧客就會理解并改變他們的?為。不久，所有的申請者都會穿?津鞋，?信?度卻沒有相應(yīng)的提?。幸運(yùn)的是，在對未來我們的數(shù)據(jù)可能發(fā)?變化的?些限制性假設(shè)下，有些算法可以檢測這種偏移，甚?可以 動態(tài)調(diào)整，提?原始分類器的精度。

---

由于協(xié)變量（特征）分布的變化?產(chǎn)?的問題，雖然輸?的分布可能隨時間?改變， 但標(biāo)簽函數(shù)（即條件分布P(y | x)）沒有改變，稱為協(xié)變量偏移（covariate shift）。

考慮?下區(qū)分貓和狗的問題：訓(xùn)練數(shù)據(jù)包括 圖4.9.1中的圖像。

在測試時，我們被要求對 圖4.9.2中的圖像進(jìn)?分類。

訓(xùn)練集由真實(shí)照?組成，?測試集只包含卡通圖?。假設(shè)用于訓(xùn)練的訓(xùn)練集的特征與用于實(shí)際測試的測試集的特征關(guān)系不大，那如果沒有?法來適應(yīng)新的領(lǐng)域，可能會有?煩。

可以使用下面的協(xié)變量偏移糾正算法。假設(shè)我們有?個訓(xùn)練集{(x1, y1), . . . ,(xn, yn)}，x加粗是因?yàn)楸硎咎卣飨蛄?#xff0c;和?個未標(biāo)記的測試集{u1, . . . , um}。對于協(xié)變量偏移，我們假設(shè)1 ≤ i ≤ n的xi來?某個源分布，ui來??標(biāo)分布。以下是糾正協(xié)變量偏移的典型算法：

1. 從概率密度為p的目標(biāo)分布抽取的數(shù)據(jù)為1，從概率密度為q的源分布中抽取的數(shù)據(jù)為?1，生成?個?元分類訓(xùn)練集：{(x1, ?1), . . . ,(xn, ?1),? (u1, 1), . . . ,(um, 1)}。

2. ?對數(shù)?率回歸訓(xùn)練?元分類器得到函數(shù)h。

3. 使?βi = exp(h(xi))或更好的βi = min(exp(h(xi)), c)（c為常量）對訓(xùn)練數(shù)據(jù)進(jìn)?加權(quán)。

4. 將權(quán)重βi扔進(jìn)公式 ?，進(jìn)行{(x1, y1), . . . ,(xn, yn)}的訓(xùn)練，從而得到真正需要的模型。

當(dāng)我們認(rèn)為y導(dǎo)致x時，這?我們假設(shè)標(biāo)簽邊緣概率P(y)可以改變，但是類別條件分布P(x | y)在不同的領(lǐng)域之間保持不變，就稱為標(biāo)簽偏移（label shift）。例如：預(yù)測患者的疾病，我們可能根據(jù)癥狀來判斷，即使疾病的相對流?率隨著時間的推移?變化。標(biāo)簽偏移在這 ?是恰當(dāng)?shù)募僭O(shè)，因?yàn)?strong>疾病會引起癥狀。