1、隨機森林

隨機森林是一種由決策樹構(gòu)成的集成算法，它在大多情況下都能有不錯的表現(xiàn)。隨機森林既可用于回歸也可用于分類。隨機森林回歸在機器學(xué)習(xí)知識結(jié)構(gòu)中的位置如下：

1.1、集成學(xué)習(xí)

隨機森林是一種由決策樹構(gòu)成的（并行）集成算法，屬于Bagging類型，隨機森林通過組合多個弱分類器，最終結(jié)果通過投票或取均值，使得整體模型的結(jié)果具有較高的精確度和泛化性能，同時也有很好的穩(wěn)定性，因此廣泛應(yīng)用在各種業(yè)務(wù)場景中

隨機森林有如此優(yōu)良的表現(xiàn)，主要歸功于隨機和森林。顧名思義，隨機森林是一個比喻，它由若干決策樹構(gòu)成，每棵決策樹都是其基本單元。至于隨機，只是一個數(shù)學(xué)抽樣概念。隨機使它具有抗過擬合能力，森林使它更加精準

關(guān)于決策樹的介紹詳見文章：回歸樹 和 決策樹

隨機森林的基本思想在于集思廣益，集中群眾的智慧，廣泛吸收有益的意見。這往往可以得到更好的解決方案。集思廣益在機器學(xué)習(xí)中對應(yīng)一個關(guān)鍵概念——集成學(xué)習(xí)

集成學(xué)習(xí)（Ensemble Learning）通過訓(xùn)練學(xué)習(xí)多個個體學(xué)習(xí)器，當預(yù)測時通過結(jié)合策略將多個個體學(xué)習(xí)器的結(jié)果組合作為最終強學(xué)習(xí)器的結(jié)果輸出

對于訓(xùn)練數(shù)據(jù)集，我們訓(xùn)練一系列個體學(xué)習(xí)器，再通過結(jié)合策略將它們集成起來，形成一個更強的學(xué)習(xí)器，這就是集成學(xué)習(xí)所做的事情

其中，個體學(xué)習(xí)器是相對于集成學(xué)習(xí)來說的，其實我們在之前了解到的很多模型，例如決策樹算法、樸素貝葉斯算法等，都是個體學(xué)習(xí)器

而集成可以分為同質(zhì)集成和異質(zhì)集成：

• 同質(zhì)集成：只包含同種類型的個體學(xué)習(xí)器，個體學(xué)習(xí)器稱作基學(xué)習(xí)器。例如隨機森林中全是決策樹集成
• 異質(zhì)集成：包含不同類型的個體學(xué)習(xí)器，個體學(xué)習(xí)器稱作組件學(xué)習(xí)器。例如同時包含決策樹和神經(jīng)網(wǎng)絡(luò)進行集成

個體學(xué)習(xí)器代表的是單個學(xué)習(xí)器，集成學(xué)習(xí)代表的是多個學(xué)習(xí)器的結(jié)合

集成學(xué)習(xí)的核心問題有兩個：

• 使用什么樣的個體學(xué)習(xí)器？
  • 準確性：個體學(xué)習(xí)器不能太弱，需要有一定的準確性
  • 多樣性：個體學(xué)習(xí)器之間要存在差異性，即具有多樣性
• 如何選擇合適的結(jié)合策略構(gòu)建強學(xué)習(xí)器？
  • 并行組合方式：例如隨機森林
  • 傳統(tǒng)組合方式：例如Boosting樹模型

1.2、Bagging方法

這里我們只講隨機森林的并行集成模型，而Bagging是并行式集成學(xué)習(xí)方法最著名的代表

Bagging方法全稱為自助聚集（Bootstrap Aggregating），顧名思義，Bagging由Bootstrap與Aggregating兩部分組成

要理解Bagging，首先要了解自助采樣法（Bootstrap Sampling）

自助采樣的過程為

• 給定包含m個樣本的數(shù)據(jù)集，先隨機取出一個樣本放入采樣集中，再把該樣本放回初始數(shù)據(jù)集，使得下次采樣時該樣本仍有可能被選中
• 重復(fù)上述過程m輪，得到包含m個樣本的采樣集，初始數(shù)據(jù)集中有的樣本在采樣集中多次出現(xiàn)，有的則從未出現(xiàn)
• 假設(shè)約63.2%的樣本出現(xiàn)在采樣集中，而未出現(xiàn)的約36.8%的樣本可用作驗證集來對后續(xù)的泛化性能進行包外/袋外估計

Bagging方法是在自助采樣基礎(chǔ)上構(gòu)建的，上述的采樣過程我們可以重復(fù)T次，采樣出T個包含m個樣本的采樣集，然后基于每個采樣集訓(xùn)練出一個基學(xué)習(xí)器，然后將這些基學(xué)習(xí)器進行結(jié)合

在對預(yù)測輸出進行結(jié)合時，Bagging通常對分類任務(wù)使用簡單投票法，對回歸任務(wù)使用簡單平均法，這就是Bagging方法的基本流程

從偏差-方差分解的角度看，Bagging主要關(guān)注降低方差，因此它在不剪枝的決策樹、神經(jīng)網(wǎng)絡(luò)等易受到樣本擾動的學(xué)習(xí)器上效用更明顯

1.3、隨機森林算法

隨機森林（Random Forest，RF）是一種基于樹模型的Bagging的優(yōu)化版本。核心思想依舊是Bagging，但是做了一些獨特的改進——RF使用了CART決策樹作為基學(xué)習(xí)器。具體過程如下：

• 輸入樣本集$D$= { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } \{{ (x_1,y_1),(x_2,y_2),...,(x_m,y_m) \}} {(x1?