一、DNNGP

?DNNGP 是基于深度卷積神經(jīng)網(wǎng)絡(luò)，這個結(jié)構(gòu)包括一個輸入層，三個卷積層，一個批標(biāo)準(zhǔn)化層，兩個dropout層，一個平坦化層，一個 dense層。

dropout層：在神經(jīng)網(wǎng)絡(luò)中,dropout層是一個非常有效的正則化技術(shù),主要作用是防止模型過擬合。dropout層在訓(xùn)練時(shí)會隨機(jī)將一些網(wǎng)絡(luò)單元暫時(shí)“屏蔽”,即將其輸出值設(shè)置為0。各個迭代訓(xùn)練時(shí)屏蔽的單元是隨機(jī)的。這樣可以阻止單元間形成強(qiáng)依賴關(guān)系,網(wǎng)絡(luò)被迫更多地考慮不同的特征,而不是依賴少數(shù)關(guān)鍵單元的組合。在測試時(shí),dropout層并不發(fā)生隨機(jī)屏蔽,而是保持全連接,但同時(shí)縮減所有權(quán)重(比如乘以0.5)。這等效于在訓(xùn)練時(shí)迭代地訓(xùn)練多個稍微不同的“子網(wǎng)絡(luò)”,測試時(shí)對它們進(jìn)行平均。綜上,dropout在訓(xùn)練時(shí)增加噪聲,測試時(shí) ensemble,具有很好的正則化效果,可以顯著提高模型的泛化能力,防止過擬合。?Dropout比率通常設(shè)置在0.2到0.5之間。Ratio太小正則化效果弱,太大會損害模型擬合能力。需針對具體問題進(jìn)行調(diào)參選擇合適的比率。Dropout已成為深度學(xué)習(xí)中標(biāo)準(zhǔn)的正則化技術(shù)之一。

Flattern層：在卷積神經(jīng)網(wǎng)絡(luò)(CNN)中, Flatten 層的作用是將前一層的多維輸出(通常是3D 或 4D 張量)展平成1D 的向量,以便用于接下來的全連接層。其原理很簡單:假設(shè)前一層輸出為一個[batch_size, h, w, c] 的4D 張量,其中:- batch_size:一個批次中的樣本數(shù)?- h:特征圖高度- w:特征圖寬度- c: 特征圖通道數(shù)那么Flatten層會將其展平為[batch_size, h * w * c] 的2D 張量。幾何意義上是將多通道的2D特征圖打平成1D 向量。這個過程不包含任何可學(xué)習(xí)參數(shù),僅僅是對數(shù)據(jù)形狀的改變。但意義非常重大:- 將多維輸入映射到一維,以適應(yīng)全連接層的輸入。- 在網(wǎng)絡(luò)金字塔結(jié)構(gòu)中,提高上下層網(wǎng)絡(luò)信息的融合效果。- 減少參數(shù)量,有利于訓(xùn)練較大網(wǎng)絡(luò)。所以,Flatten層在CNN中起著極其重要的過渡作用,把卷積層提取出的特征映射到適合全連接層處理的形狀,是一個不可或缺的組成部分，所以根據(jù)其作用其放置的順序是永遠(yuǎn)在dense層前的，Flattern層可以把卷積層提取出的特征映射到適合全連接層處理的形狀。

dense層：在神經(jīng)網(wǎng)絡(luò)中,dense層又稱作全連接層(fully connected layer)。它的主要特點(diǎn)是:- 每個輸出節(jié)點(diǎn)都與上一層的所有節(jié)點(diǎn)有連接。- 對輸入數(shù)據(jù)做線性變換+激活函數(shù)。- 參數(shù)可學(xué)習(xí),通過反向傳播更新。dense層的計(jì)算公式如下:output = activation(dot(input, weights) + bias)其中weights和bias都是可學(xué)習(xí)的參數(shù)。dense層主要用在網(wǎng)絡(luò)的最后幾層,將前面提取到的高級特征映射到最終的輸出,實(shí)現(xiàn)分類或回歸任務(wù)。相比卷積層extract低級到高級特征,dense層更強(qiáng)調(diào)分類決策。但過多的dense層也容易導(dǎo)致過擬合。所以一個典型的卷積神經(jīng)網(wǎng)絡(luò)往往是:卷積層提取特征,全連接層分類決策。這種組合使模型能夠同時(shí)具備擬合復(fù)雜模式和實(shí)現(xiàn)決策判別的能力。Dense層作為“大腦”的角色,與前面的“感官”卷積層互相配合,共同完成圖像分類等視覺任務(wù)。

卷積層在網(wǎng)絡(luò)中的分布位置會對模型的效果產(chǎn)生一定的影響。1. 前置的卷積層可以提取低級特征,這樣后續(xù)層可以基于這些特征提取高級特征。2. 網(wǎng)絡(luò)深處的卷積層可以利用前面提取的特征進(jìn)行更復(fù)雜的特征組合,表達(dá)更抽象的高級特征。3. 如果太多卷積層前置,可能導(dǎo)致過擬合和梯度消失。4. 如果太多卷積層在后面,可能無法有效提取低級特征,后面過于依賴前面的結(jié)果。5. 殘差網(wǎng)絡(luò)的跳過連接需要確保兩邊形狀一致,所以會影響卷積層的分布。6. 一般將最大池化層插入卷積層之間,用于縮小特征圖尺寸。7. 網(wǎng)絡(luò)后半段可以逐步減小特征圖大小,加速計(jì)算。所以通常的做法是:- 前半段較多小卷積核提取基礎(chǔ)特征
- 中間利用池化層減小特征圖
- 后半段卷積核數(shù)目增加,融合不同特征
- 殘差連接要注意兩側(cè)形狀需一致需要根據(jù)具體問題和網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整。適當(dāng)實(shí)驗(yàn)不同分布對效果的影響。

二、DeepGS

?DeepGS模型是采用具有 8-32-1 架構(gòu)的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)組成的，這個模型包括一個輸入層，一個包括八個神經(jīng)元的卷積層，一個采樣層，三個 dropout 層，兩個全連接層和一個輸出層。

DeepGS模型使用了以下結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)(CNN):- 輸入層:輸入原始數(shù)據(jù)(如圖像)。- 卷積層:1個卷積層,包含8個過濾器,用于從輸入中提取底層特征。- 采樣層:對卷積層輸出進(jìn)行下采樣。- Dropout層:3個dropout層用于正則化。- 全連接層:2個全連接層,包含32個和1個神經(jīng)元。- 輸出層:最終輸出預(yù)測的層。總結(jié)一下,該CNN的核心結(jié)構(gòu)是:- 1個輸入層
- 1個卷積層(8個過濾器)?
- 1個采樣層
- 3個dropout層
- 2個全連接層(分別有32個和1個神經(jīng)元)
- 1個輸出層這個8-32-1的整體架構(gòu),從原始輸入中提取特征,通過dropout正則化,然后將特征展平到全連接層進(jìn)行預(yù)測。這是一個簡單有效的CNN架構(gòu),充分發(fā)揮了卷積層和全連接層的互補(bǔ)優(yōu)勢,同時(shí)利用dropout防止過擬合。

卷積層中的過濾器個數(shù)(filter數(shù))決定了網(wǎng)絡(luò)提取特征的能力。過濾器越多,可以學(xué)習(xí)到更豐富的特征表示。這個模型中的卷積層過濾器數(shù)比較少,只有8個,所以它的特征提取能力相對有限。這可能是由于數(shù)據(jù)量較小的限制。具體來說:
- 輸入數(shù)據(jù)通過每個過濾器進(jìn)行卷積,獲取8個特征圖。
- 每個過濾器包含一組可學(xué)習(xí)的參數(shù),用來提取某種特征。
- 8個過濾器就可以同時(shí)提取8種不同的特征。之后,這8個特征圖會作為卷積層的輸出,傳入后續(xù)層進(jìn)行處理。雖然這個卷積層只有8個過濾器,但已足以對輸入提取一些底層特征,為后續(xù)的分類任務(wù)提供有效的特征表示。需要注意避免設(shè)置過多的過濾器數(shù),導(dǎo)致過擬合。（在卷積神經(jīng)網(wǎng)絡(luò)中,"convolutional layer (eight neurons)" 中的 "neurons" 對應(yīng)到中文通常翻譯成“過濾器”。具體對應(yīng)關(guān)系:- neurons -> 過濾器(filter)- convolutional layer -> 卷積層- eight neurons -> 8個過濾器所以,“one convolutional layer (eight neurons)” 的中文翻譯為:“1個卷積層(8個過濾器)”之所以這么翻譯,是因?yàn)槊總€過濾器包含一組卷積核,可以看作是一個特征提取器,功能類似于神經(jīng)元。但考慮到“神經(jīng)元”通常指全連接層中的節(jié)點(diǎn),為避免混淆,在卷積層中一般將“neurons” 翻譯成 “過濾器”。）

采樣層：在卷積神經(jīng)網(wǎng)絡(luò)中,采樣層(Pooling Layer)通常在卷積層之后,其主要功能是降采樣,有以下幾個作用:1. 減少數(shù)據(jù)量,降低模型參數(shù),簡化計(jì)算量。2. 提取主要特征,去除不重要細(xì)節(jié)。3. 提高特征的空間不變性。常見的采樣方式有:- 最大值采樣(Max Pooling):取感受野內(nèi)的最大值作為輸出。可以提取主要特征,去除不重要細(xì)節(jié)。- 平均值采樣(Average Pooling):取感受野內(nèi)平均值作為輸出。保留背景信息,避免過度丟失信息。- 隨機(jī)采樣(Stochastic Pooling):隨機(jī)選取感受野內(nèi)一個值作為輸出。增加模型的隨機(jī)性和多樣性。采樣層不改變數(shù)據(jù)通道數(shù),只降低數(shù)據(jù)的空間尺寸。這樣可大大減少參數(shù)量,減輕過擬合,同時(shí)保留主要特征信息。所以采樣層也被稱作下采樣層,在CNN中起到補(bǔ)充卷積層的作用,共同構(gòu)建有效的特征提取器。

最大值采樣的主要思想是:1. 將輸入特征圖分成多個小的感受野(通常是2x2或3x3)。2. 在每個感受野內(nèi)找出最大激活值。3. 將該最大值作為感受野的輸出。這樣做可以提取感受野內(nèi)的主要特征,同時(shí)去除細(xì)微特征。原因有兩個:1. 最大值激活通常對應(yīng)最明顯的特征。2. 去除非最大值可以增加特征的空間移動不變性。舉個例子,在圖像處理中,最大值池化可以提取出圖像的明顯邊緣特征,而過濾掉細(xì)微紋理。所以您的理解是正確的,最大值采樣保留主要特征,移除不重要細(xì)節(jié),這正是其作用所在。這種下采樣方式很好地補(bǔ)充了卷積層的特征提取能力。

采樣層在卷積神經(jīng)網(wǎng)絡(luò)中是否可有可無,以及為何有的網(wǎng)絡(luò)中沒有采樣層,這需要考慮以下幾個方面:1. 采樣層的功能是降采樣,減少計(jì)算量和過擬合風(fēng)險(xiǎn),但同時(shí)也會損失細(xì)節(jié)信息。2. 對小數(shù)據(jù)集或簡單任務(wù),模型參數(shù)較少,過擬合風(fēng)險(xiǎn)不大,此時(shí)可以不用采樣層。3. 一些網(wǎng)絡(luò)設(shè)計(jì)加入了大量過濾器,可以通過增加深度來降低每個層的計(jì)算,此時(shí)也可以不用采樣層。例如VGGNet。4. 有的網(wǎng)絡(luò)使用稀疏連接來減小參數(shù)量,此時(shí)也可以不用采樣層,例如Inception Net。5. 對一些需要保留精細(xì)信息的任務(wù),如語義分割,不能使用過多下采樣,需要減少或不使用采樣層。6. 采樣層也可以在中間層使用,而不是每層后面都使用?？傊?采樣層是否使用以及使用多少,需要根據(jù)具體網(wǎng)絡(luò)結(jié)構(gòu)和任務(wù)來權(quán)衡計(jì)算量、精度需求和過擬合風(fēng)險(xiǎn)。不是所有網(wǎng)絡(luò)和任務(wù)都一定需要采樣層,它可以是可有可無的。

感受野(Receptive Field)是一個非常重要的概念,用于描述卷積神經(jīng)網(wǎng)絡(luò)中每個神經(jīng)元的輸入范圍。具體來說,對于卷積層中的某一個特征圖(Feature Map)而言,它的感受野指的是在輸入層中,影響到該特征圖某一位置值的輸入?yún)^(qū)域。一般來說,卷積層的感受野shape是方形的,邊長等于卷積核尺寸。例如,如果卷積核是3x3,那么每個神經(jīng)元的感受野shape就是3x3。隨著網(wǎng)絡(luò)層數(shù)的加深,后層神經(jīng)元的感受野會逐步擴(kuò)大,因?yàn)樗艿角皩犹卣鲌D的影響,所以其感受野等于自身卷積核尺寸與前層感受野大小的結(jié)合。感受野大小直接影響網(wǎng)絡(luò)提取信息的范圍和能力。開始層感受野小,只能提取局部信息;深層感受野大,可以提取全局信息。合適的感受野對卷積網(wǎng)絡(luò)至關(guān)重要。一般后期會逐漸擴(kuò)大感受野,以獲取全局特征和上下文信息。這是卷積網(wǎng)絡(luò)能提取層次特征的重要原理。

三、DLGWAS

?該模塊包括一個輸入層，一個雙CNN層，其中包括兩個并行CNN分流，和一個匯總層將兩個CNN分支流合并。

獨(dú)熱編碼方式：輸入層包含對基因型進(jìn)行onehot編碼后的輸入,表示方式更具體一點(diǎn)是:1. 假設(shè)基因型由N個基因位點(diǎn)組成,在每個位點(diǎn)上可能的等位基因形態(tài)有M種。2. 則對于每個樣本,其基因型可以表示為一個長度為N的向量,向量中的每個元素表示對應(yīng)的位點(diǎn)上等位基因的類型。3. 對這個長度為N的向量進(jìn)行onehot編碼,就是將其轉(zhuǎn)化為一個N行M列的二維矩陣。其中只有一列對應(yīng)的元素值為1,其他均為0。4. 這樣onehot編碼后的矩陣就包含了該樣本基因型中各個位點(diǎn)的等位基因信息,即該基因型的完整信息。5. 將這個編碼矩陣作為輸入層的輸入,輸入到后續(xù)的雙CNN層中。輸入層對基因型進(jìn)行了onehot編碼,作為模型的輸入,以提供完整的基因型信息。這種編碼方式很好地把基因型轉(zhuǎn)化為了計(jì)算機(jī)可處理的輸入格式。?

根據(jù)以上信息，我們將三種基因型和一個缺失值使用 one-hot 編碼方式進(jìn)行編碼并作為輸入向量，每個標(biāo)記被一個四維向量所代替，可以看如上圖所示對AA,Aa,aa的編碼方式的不同。?

?這一模塊包含輸入層、雙CNN層和匯總層。輸入層包含對基因型進(jìn)行onehot編碼后的輸入。雙CNN層包含兩個并行的CNN分支流。匯總層則將兩個CNN分支流合并。輸入的編碼基因組標(biāo)記同時(shí)傳入雙CNN層。在雙CNN層,我們應(yīng)用了殘差學(xué)習(xí)的思想。殘差學(xué)習(xí)最初是為圖像識別和分類而提出,用于解決梯度消失問題。殘差連接是從前一層的快捷連接,被添加到身份映射中形成殘差映射。這種方法已被應(yīng)用于預(yù)測蛋白質(zhì)主鏈扭轉(zhuǎn)角和蛋白質(zhì)接觸圖?？傊?關(guān)鍵點(diǎn)有:?一熱編碼輸入基因型數(shù)據(jù)
- 使用雙CNN分支并行提取特征
- 匯總層融合雙分支特征
- 在CNN中使用殘差結(jié)構(gòu)避免梯度消失

殘差結(jié)構(gòu)的作用是讓深層網(wǎng)絡(luò)中的梯度可以直接傳遞至底層,避免在網(wǎng)絡(luò)深處造成的梯度消失。具體來說:1. 在CNN的兩個連續(xù)層之間,添加一個殘差塊(residual block)。2. 殘差塊包含一個身份映射(identity mapping),即跳過一個卷積層的直接連接。3. 通過這個直接連接,深層的梯度可以不經(jīng)變換直接回傳到底層。4. 所以中間卷積層的權(quán)重更新不會因梯度消失而停止,起到防止梯度消失的作用。5. 這種殘差學(xué)習(xí)結(jié)構(gòu)成功應(yīng)用于很深的CNN網(wǎng)絡(luò),避免了網(wǎng)絡(luò)深化時(shí)的梯度消失問題。6. 在基因序列建模中,當(dāng)CNN網(wǎng)絡(luò)較深時(shí),也可以考慮使用殘差結(jié)構(gòu)來避免梯度消失。

身份映射(Identity Mapping)指在殘差網(wǎng)絡(luò)(ResNet)中,從前一層到后一層構(gòu)建的直接連接路徑。其主要作用是:1. 在兩個連續(xù)的卷積層之間,跳過一個卷積層,建立一個直接的恒等映射(F(x) = x)。2. 這樣來自后層的梯度可以直接通過這個跳過連接回傳到前層。3. 不需要經(jīng)過中間卷積層的鏈?zhǔn)椒▌t,從而避免了中間層帶來的梯度衰減或累積誤差。4. 所以可以穩(wěn)定地進(jìn)行很深的網(wǎng)絡(luò)訓(xùn)練,不會出現(xiàn)梯度消失或爆炸。5. 這個直接路徑實(shí)現(xiàn)了輸入和輸出之間的恒等映射,所以稱為“身份映射”。6. 整個模塊稱為殘差模塊,包含卷積層和身份映射兩條路徑。綜上,身份映射在殘差網(wǎng)絡(luò)中起到非常關(guān)鍵的作用,它保證了深層網(wǎng)絡(luò)中的梯度可以無障礙地直接回傳到淺層,防止梯度消失,是殘差網(wǎng)絡(luò)的核心概念之一。

四、應(yīng)對梯度消失的解決方法

針對深層神經(jīng)網(wǎng)絡(luò)中的梯度消失問題,常見的應(yīng)對方法包括:

1. 殘差網(wǎng)絡(luò)(ResNet):使用跳過連接,實(shí)現(xiàn)梯度直傳。這是目前應(yīng)對梯度消失最有效的結(jié)構(gòu)。

2. 批標(biāo)準(zhǔn)化(BatchNormalization):通過標(biāo)準(zhǔn)化層內(nèi)激活的分布,減緩梯度消失。

3. 權(quán)重初始化技巧:如Xavier初始化,可以保證各層梯度大小相近,延緩消失。

4. 非飽和激活函數(shù):如ReLU,可以確保正區(qū)域梯度等于1,不會衰減。

5. 門控遞歸單元(GRU/LSTM):通過設(shè)計(jì)記憶單元結(jié)構(gòu),記錄長時(shí)依賴信息。

6. 梯度裁剪(Gradient Clipping):裁剪超出閾值的梯度,防止梯度爆炸。

7. 調(diào)整優(yōu)化算法:如使用Adam優(yōu)化器,可以自適應(yīng)調(diào)整學(xué)習(xí)率,穩(wěn)定梯度。

8. 加深網(wǎng)絡(luò)結(jié)構(gòu):增加層數(shù)而不改參數(shù),稀釋每層的變化,緩解消失。

9. 特征標(biāo)準(zhǔn)化:標(biāo)準(zhǔn)化特征分布,可以一定程度抑制消失。綜合使用這些方法,可以顯著減輕深層神經(jīng)網(wǎng)絡(luò)中的梯度消失問題,使其更穩(wěn)定有效地訓(xùn)練。