回歸預(yù)測(cè) | MATLAB實(shí)現(xiàn)XGBoost極限梯度提升樹(shù)多輸入單輸出

預(yù)測(cè)效果

基本介紹

XGBoost的全稱(chēng)是eXtreme Gradient Boosting，它是經(jīng)過(guò)優(yōu)化的分布式梯度提升庫(kù)，旨在高效、靈活且可移植。

• xgboost是屬于boosting家族，是GBDT算法的一個(gè)工程實(shí)現(xiàn)，在模型的訓(xùn)練過(guò)程中是聚焦殘差，在目標(biāo)函數(shù)中使用了二階泰勒展開(kāi)并加入了正則，在決策樹(shù)的生成過(guò)程中采用了精確貪心的思路，尋找最佳分裂點(diǎn)的時(shí)候，使用了預(yù)排序算法，對(duì)所有特征都按照特征的數(shù)值進(jìn)行預(yù)排序，然后遍歷所有特征上的所有分裂點(diǎn)位，計(jì)算按照這些候選分裂點(diǎn)位分裂后的全部樣本的目標(biāo)函數(shù)增益，找到最大的那個(gè)增益對(duì)應(yīng)的特征和候選分裂點(diǎn)位，從而進(jìn)行分裂。
• 這樣一層一層的