線性可分SVM中，若想找到分類的超平面，數(shù)據(jù)必須是線性可分的；但在實際情況中，線性數(shù)據(jù)集存在少量的異常點，導(dǎo)致SVM無法對數(shù)據(jù)集線性劃分

也就是說：正常數(shù)據(jù)本身是線性可分的，但是由于存在異常點數(shù)據(jù)，導(dǎo)致數(shù)據(jù)集不能夠線性可分

一. 軟間隔模型

為了解決上述問題，我們引入軟間隔的概念：

1. 松弛因子的解釋

• 硬間隔： 線性劃分SVM中的硬間隔是距離度量；在線性劃分SVM中，要求函數(shù)距離一定是大于等于1的，最大化硬間隔條件為：$$\{\begin{array}{c}min\frac{1}{2}{\Vert \overrightarrow{w}\Vert }^2\\ s.t：y^{(i)}({\omega }^T?x^{(i)}+b)\ge 1，i=1,2,...,m\end{array}$$
• 軟間隔：SVM對于訓(xùn)練集中的每個樣本都引入一個松弛因子(ξ)，使得函數(shù)距離加上松弛因子后的值是大于等于1；$$y^{(i)}({\omega }^T?x^{(i)}+b)\ge 1?\xi ；i=1,2,...,m，\xi \ge 0$$

松弛因子(ξ)表示：相對于硬間隔，對樣本到超平面距離的要求放松了

當(dāng) $\xi =0$ ， 相當(dāng)于硬間隔
當(dāng) $0<\xi <1$ ， 相當(dāng)于樣本點位于“街”內(nèi)
當(dāng) $\xi >1$ ， 相當(dāng)于樣本點位于“街”對面
當(dāng) $\xi >2$ ， 相當(dāng)于樣本點位于“街”對面外側(cè)

注意：$\xi$只能對少量的樣本起作用

$\xi$越大，表示樣本點離超平面越近，
$\xi >1$，那么表示允許該樣本點分錯

因此：加入松弛因子是有成本的，過大的松弛因子可能會導(dǎo)致模型分類錯誤

所以，我們對存有異常點的數(shù)據(jù)集劃分時，目標(biāo)函數(shù)就變成了：
$$?\begin{array}{c}min\frac{1}{2}{\Vert \overrightarrow{w}\Vert }^2+C{\sum }_{i=1}^n{\xi }_{(i)}\\ \\ y^{(i)}({\omega }^T?x^{(i)}+b)\ge 1?{\xi }^{(i)}，i=1,2,...,m\end{array}$$
$$\xi i\ge 0，i=1,2,...,m$$

公式$C{\sum }_{i=1}^n{\xi }_{(i)}$表式：
?
????每個樣本懲罰項的總和不能大，函數(shù)中的C>0是懲罰參數(shù)，需要調(diào)參

C越大，表示對錯誤分類的懲罰越大，也就越不允許存在分錯的樣本；
?
C越小表示對誤分類的懲罰越小，也就是表示允許更多的分錯樣本存在

也就是說：
對于完全線性可分的數(shù)據(jù)來說，C的值可以給大一點
對于線性可分但存在異常的數(shù)據(jù)來說，C的值需要調(diào)小

小節(jié)

對于線性可分的m個樣本(x1,y1)，(x2,y2)… ：

	x為n維的特征向量y為二元輸出，即+1，-1

SVM的輸出為w，b，分類決策函數(shù)

選擇一個懲罰系數(shù)C>0，構(gòu)造約束優(yōu)化問題

$$\{\begin{array}{c}{\min }_{\beta \ge 0}\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\beta }_i{\beta }_j{y}^{(i)}{y}^{(j)}{x}^{(j{)}^T}{x}^{(i)}?{\sum }_{i=1}^m{\beta }_i\\ s.t:{\sum }_{i=1}^m{\beta }_i{y}^{(i)}=0，0\le {\beta }_i\le C，i=1,2,...,m\end{array}$$
使用SMO算法求出上述最優(yōu)解$\beta$
找到所有支持向量集合：
$$S=(x^{(i)},y^{(i)})(0<{\beta }_i<C,i=1,2,...,m)$$
從而更新w，b

$w={\sum }_{i=1}^m{\beta }_i{x}^{(i)}{y}^{(i)}$

$b=\frac{1}{S}{\sum }_{i=1}^S(y^s?{\sum }_{i=1}^m{\beta }_i{x}^{(i{)}^T}{y}^{(i)}{x}^s)$

構(gòu)造最終的分類器，為：
$$f(x)=sign(w?x+b)$$

	x<0時，y=-1x=0時，y=0x>0時，y=1注意：假設(shè)，不會出現(xiàn)0若出現(xiàn)，正負樣本隨意輸出一個，即+0.00000001或-0.00000001都可以

2. SVM軟間隔模型總結(jié)

	可以解決線性數(shù)據(jù)中存在異常點的分類模型構(gòu)建問題通過引入松弛因子，可以增加模型的泛化能力，即魯棒性；對于模型而言：如果給定的懲罰項系數(shù)C越小，表示在模型構(gòu)建的時候，就允許存在越多的分類錯誤的樣本，也就表示此時模型的準(zhǔn)確率會比較低；如果懲罰項系數(shù)越大，表示在模型構(gòu)建的時候，就越不允許存在分類錯誤的樣本，也就表示此時模型的準(zhǔn)確率會比較高。

---

感謝閱讀🌼
如果喜歡這篇文章，記得點贊👍和轉(zhuǎn)發(fā)🔄哦！
有任何想法或問題，歡迎留言交流💬，我們下次見！

祝愉快🌟！

---