在集成學習中，我們會訓練多個模型（通常稱為「弱學習器」）解決相同的問題，并將它們結合起來以獲得更好的結果。最重要的假設是：當弱模型被正確組合時，我們可以得到更精確和/或更魯棒的模型。

常用的模型集成方法：

1. bagging （自助聚合）
2. boosting (提升法)
3. stacking （堆疊法）

模型集成的一些主要形式：

1. 投票集成
   在這種方法中，多個模型獨立地進行訓練，然后在預測時每個模型投票，最終的預測結果由多數(shù)投票決定。投票集成可以是硬投票(直接投票)或軟投票(考慮預測概率)。
2. 平均集成
   多個模型的預測結果取平均值，這種方法通常在回歸問題中使用。對于分類問題，可以使用類別概率的平均值。
3. 堆疊集成
   這是一種更復雜的集成方法，它涉及到在一個元模型(meta-model)的框架下結合多個基本模型?；灸Ｐ偷念A測結果成為元模型的輸入。元模型通過學習如何結合基本模型的輸出來產生最終的預測結果。
4. 自適應集成
   這種方法動態(tài)地選擇哪個模型對于給定輸入更合適。這可以基于輸入數(shù)據(jù)的特性，例如使用某個模型在某些特定子集上表現(xiàn)更好。
5. Boosting
   Boosting是一種集成學習技術，其中弱分類器(通常是決策樹)按順序進行訓練，每個新模型都試圖糾正前一個模型的錯誤。最終的預測結果是所有模型的加權組合。