一、進度概述

? ? ? ? 1、機器學習常識12-18，以及相關代碼復現(xiàn)

二、詳情

12、SVM（support vector machines，支持向量機）

? ? ? ? 實際上，支持向量機是一種二分類模型，它將實例的特征向量映射為空間中的一些點，SVM 的目的就是想要畫出一條線，以 “最好地” 區(qū)分這兩類點，以至如果以后有了新的點，這條線也能做出很好的分類。
? ? ? ? 關于例子與基本方案的說明，這篇文章所提及的例題有助于理解：機器學習常識 12: SVM_svm數(shù)據(jù)線性分類圖-CSDN博客
? ? ? ? 需要注意的是，對于上一個鏈接中的基本方案，表明了 SVM 的核心思想就是最大間隔化。
? ? ? ? 關于核函數(shù)，其使用動機可能如下：

????????映射可以看作是一種拉伸，把低維數(shù)據(jù)拉伸到了高維。雖然現(xiàn)在我們到了高維空間號稱線性可分，但是有幾個困難：

• 不知道什么樣的映射函數(shù)是完美的。
• 難以在各種映射函數(shù)中找到一個合適的。
• 高維空間計算量比較大。這樣就會產(chǎn)生維災難，計算內(nèi)積是不現(xiàn)實的。

????????幸運的是，在計算中發(fā)現(xiàn)，我們需要的只是兩個向量在新的映射空間中的內(nèi)積結(jié)果，而映射函數(shù)到底是怎么樣的其實并不需要知道。于是這樣就引入了核函數(shù)的概念。
核函數(shù)事先在低維上計算，而將實質(zhì)上的分類效果表現(xiàn)在了高維上，也就是

• 包含映射，內(nèi)積，相似度的邏輯。
• 消除掉把低維向量往高維映射的過程。
• 避免了直接在高維空間內(nèi)的復雜計算。

????????即核函數(shù)除了能夠完成特征映射，而且還能把特征映射之后的內(nèi)積結(jié)果直接返回。即把高維空間得內(nèi)積運算轉(zhuǎn)化為低維空間的核函數(shù)計算。

? ? ? ? 核函數(shù)相當于一種映射，可以將原本不可線性分割的數(shù)據(jù)轉(zhuǎn)化到另一個維度，實現(xiàn)線性分割（如典型的圓分布）。上文鏈接中提到的那個不忍直視的例子，雖然很不忍直視，但確實挺生動形象的。
? ? ? ? 對于軟間隔，可以理解為針對極端數(shù)據(jù)的一種處理方法，如下文中那個跑到紅點中去的藍點，具體介紹如下：SVM學習筆記（二）——軟間隔（soft-margin）_soft-margin linear svm-CSDN博客
? ? ? ? 關于代碼實現(xiàn)，參考了以下文章中鳶尾花的實戰(zhàn)：
????????機器學習之支持向量機（SVM）-CSDN博客

13、PCA（principal component analysis, 主成分分析）

? ? ? ? 這個在線性回歸分析中有講過，現(xiàn)回去復習復習，同時也給出幾個講的挺好的文章鏈接。
????????降維算法之PCA：從原理到應用，8000多字，助你徹底理解！_pca降維-CSDN博客
????????PCA(主成分分析方法)-CSDN博客
? ? ? ? 其實 PCA 的數(shù)學基礎十分厚實，但是在數(shù)據(jù)處理中一般只是用于預處理。
????????從數(shù)學角度來講這是因為（1）主成分各個特征維度的含義具有一定的模糊性，不如原始樣本特征的解釋性強。（2）方差小的非主成分也可能含有對樣本差異的重要信息，因降維丟棄可能對后續(xù)數(shù)據(jù)處理有影響。
? ? ? ? 對于機器學習的角度，則是 PCA 是一個無監(jiān)督模型，不一定適用于有監(jiān)督數(shù)據(jù)。
? ? ? ? 這里關于特征選擇和特征提取的例子中就能感受到一定程度上的缺陷。

????????特征選擇是指從已有的特征里面選擇出一個子集. 例如: 身高、體重、性別、年齡、體溫、血相等等, 如果要一個人是否患流感，身高、體重等不但沒有作用, 反而還會讓分類器效果變差. 回頭想想? NN, 在計算距離時考慮一些不相關的特征, 會使得相似的樣本變得不相似.
????????特征提取則是指從已有特征中生成新的特征. 例如: 人們常說自己有多重, 然后表達想減肥的意愿. 但這種想法是錯誤的, 應該從身高和體重計算 BMI, 以此確定自己是否偏胖. 這里 “從計算 BMI”, 就是一個特征提取的過程.
????????總的來說, 特征選擇相對簡單, 而特征提取有很大的相像空間. 后面將會介紹的神經(jīng)網(wǎng)絡, 其最本質(zhì)的任務就是特征提取.

14、半監(jiān)督學習

? ? ? ? 基本概念
? ? ? ? （1）監(jiān)督學習：?訓練數(shù)據(jù)都有標簽, 相應的任務為分類、回歸等.
? ? ? ? （2）無監(jiān)督學習：訓練數(shù)據(jù)都沒有標簽, 相應的任務為聚類、特征提取 (如 PCA) 等.
? ? ? ? （3）半監(jiān)督學習：部分訓練數(shù)據(jù)沒有標簽, 相應任務與監(jiān)督學習一致.
????????從三者的關系可以看出, 半監(jiān)督學習是從監(jiān)督學習與無監(jiān)督學習自然推導出來的.
? ? ? ? 對于學習場景的理解，除了文中舉得十分形象的例子外，以下鏈接中的講解也十分不錯。

半監(jiān)督學習的一大意義在于, 它導出了學習場景這個概念.

• 上午來了 100 個就診者, 主治醫(yī)生啥也沒說, 實習生自悟, 把他們分成幾個簇, 并且無法解釋每簇的語義 (是否患病之類), 這是無監(jiān)督學習場景中的聚類問題.
• 上午來了 100 個就診者, 主治醫(yī)生對每個人判斷, 哪些患流感 (正例), 哪些沒有 (負例). 實習生學習到流感的診斷方法. 下午來了新的就診者, 實習生對他們進行診斷. 這是監(jiān)督學習場景中的二分類問題.
• 上午來了 100 個就診者, 主治醫(yī)生對其中的 40 個人判斷, 哪些患流感 (正例), 哪些沒有 (負例). 實習生對剩下的 60 人進行診斷. 這是封閉世界半監(jiān)督學習場景中的二分類問題.
• 上午來了 100 個就診者, 主治醫(yī)生對其中的 40 個人判斷, 哪些患流感 (正例), 哪些沒有 (負例). 下午來了新的就診者, 實習生對他們進行診斷. 這是開放世界半監(jiān)督學習場景中的二分類問題.

? ? ? ? 關于學習場景的理論講解：機器學習：監(jiān)督學習、無監(jiān)督學習、半監(jiān)督學習、強化學習-CSDN博客
? ? ? ? 關于常見半監(jiān)督學習模型的講解：一文看遍半監(jiān)督學習模型（Semi-Supervised Learning）_effective self-training for parsing-CSDN博客

15、主動學習

? ? ? ? 主動學習的提出，其關鍵是如何更低成本的獲得更多高質(zhì)量的標簽。

????????機器學習主要研究計算機如何利用經(jīng)驗數(shù)據(jù)提高自身性能。在監(jiān)督學習中，數(shù)據(jù)的質(zhì)量和數(shù)量直接決定模型的性能高低，監(jiān)督學習不僅要求數(shù)據(jù)全部是標記好的，并且需要大量的數(shù)據(jù)，然而人工標注大量數(shù)據(jù)需要耗費巨大的時間和精力，一個更合理的方案是挑選一部分數(shù)據(jù)進行標注，這就要提到機器學習中的主動學習。

????????實際上，不同數(shù)據(jù)樣本對于學習模型的貢獻度不一樣，過多的低質(zhì)量數(shù)據(jù)反而會降低模型的魯棒性，如果我們能夠選取一部分最有價值的數(shù)據(jù)進行標注，就有可能僅基于少量數(shù)據(jù)就能獲得同樣高效的模型。實現(xiàn)這一目標的關鍵在于，如何選擇出最有價值的數(shù)據(jù)樣本并去獲取它們的標記信息。

????????主動學習地目的是通過標記少量的數(shù)據(jù)訓練處表現(xiàn)較好的模型。其核心任務是制定選擇樣本的標準，從而選擇盡可能少的樣本進行標注來選出一個好的學習模型。

? ? ? ? 關于主動學習更細節(jié)上的講解，可以參考這幾篇文章：
????????超詳細的主動學習Active Learning介紹【理論+代碼】-CSDN博客
????????主動學習（Active Learning）概述及最新研究
? ? ? ? 從主動學習的提出我們可以發(fā)現(xiàn)，其核心問題在于 “哪些樣本的標簽更有價值?”

• 代表性強的樣本. 把數(shù)據(jù)進行聚類, 聚類中心的樣本具有良好的代表性. 其它樣本很可能與它有相同的標簽. 用這種思想可以設計出"基于聚類的主動學習方法".
• 不確定性強的樣本. 有些樣本有墻頭草的潛質(zhì), 難于界定正負. 如果知道它們的標簽, 就可以使用 SVM 進行分類, 相應地, 這次樣本可能成為支撐向量 (support vector).?

16、代價敏感學習

? ? ? ? 引入代價敏感學習，其意義在于使得模型與現(xiàn)實更加相符合。

代價是基礎數(shù)據(jù), 與應用有緊密聯(lián)系.

• 測試代價. 很多數(shù)據(jù)不是免費的, 如體檢時, 測血常規(guī)花 20 2020 元, 心電圖花 15 1515 元, B 超花 200 200200 元. 這些代價被稱為測試代價 (test cost).
• 標記代價. 在主動學習場景下, 請專家給數(shù)據(jù)打標簽需要付錢, 如每個標簽花費 100 元. 這被稱為標記代價 (label cost).
• 誤分類代價. 將患有流感的病人叫回家, 醫(yī)院要賠償 10 , 000 10,00010,000 元, 即 c (FN) = 10 , 000 c(FN) = 10,000c(FN)=10,000; 將沒有流感的就診者留著住院治療, 醫(yī)院要賠償 500 500500 元, 即 c (FP) = 500 c(FP) = 500c(FP)=500. 相應地, 可以給出一個誤分類代價矩陣.
• 延遲代價. 不清楚就診者是否患病, 讓其留院觀察, 就診者的誤工開銷為 200 200200 元.

? ? ? ? 對于代價敏感學習，需要注意的兩點是：

• 代價作為基礎數(shù)據(jù), 都應該事先給出, 要么專家給出, 要么制度給出. 它們必須是輸入, 而絕不會是輸出 (被機器學習出來). 這是常識.
• 代價敏感學習的優(yōu)化目標必須由代價定義, 而不應該是準確率之類.

? ? ? ? 同時也補充關于代價敏感錯誤率的相關知識：誤分類代價與類不均衡數(shù)據(jù)-CSDN博客
? ? ? ? 這個例子在線性回歸分析中著重講過好幾次，其實第一二類錯誤有著其在具體問題下的現(xiàn)實意義，在考慮實際中的預測時是需要考慮到這點的。

17、多標簽學習

? ? ? ? 多標簽在我們的生活中是十分常見的，最典型的包括影視作品的分類（比如科幻、動作等）。多標簽學習所主要應對的問題有以下三種：

• 標簽相關性. 例如, 從訓練數(shù)據(jù)看, 有貓和狗的時候, 多半也有老鼠. 根據(jù)這種規(guī)律就可以把一些圖片中不明顯的老鼠找出來. 如何有效利用標簽相關性, 是多標簽學習的核心問題.
• 標簽稀疏性. 共有 100 種可能的動物, 但每張圖片里一般只出現(xiàn) 1–5 種, 或者某些動物僅在少于 10 張圖片里出現(xiàn). 在極限多標簽中, 標簽稀疏性可能低于 1 % 1\%1%.
• 數(shù)據(jù)稀疏性. 數(shù)據(jù)的多個屬性值為空, 或者無效. 在極限多標簽中很嚴重.

? ? ? ? 對于多標簽學習理論上的學習，可以參考這三篇文章：
????????多標簽學習之白話版_跨標簽學習-CSDN博客
????????多標簽學習之數(shù)學語言版_arg min∥y xw∥2 + λ∥w∥1, 1維向量-CSDN博客
????????論文筆記：多標簽學習綜述（A review on multi-label learning algorithms） - PilgrimHui - 博客園 (cnblogs.com)
? ? ? ? 對于常見的多標簽學習模型，可以參考以下文章：
????????多標記學習（大大雜燴，有點亂）_多標簽學習-CSDN博客

18、多示例學習

????????與多標簽學習類似, 多示例學習從數(shù)據(jù)的角度進行概念的擴展.
????????一個數(shù)據(jù)集由若干包 (bag) 組成, 每個包有若干示例 (即樣本、對象, sample). 如果某個包中含有至少一個正樣本, 則它為正包, 否則為負包.
? ? ? ? 感性上理解有點像逆向的聚類算法，不知道對不對。
? ? ? ? 對于這個正包的理解，這篇文章給的兩個例子還比較形象：多示例學習（Multiple Instance Learning）-CSDN博客
? ? ? ? 常見方案如下：

• 包映射. 將一個包映射為一個對象.
• 新的距離計算方式. 兩個包的距離可以定義為:
  • 最近點對的距離;
  • 最遠點對的距離;
  • 包重心之間的距離.

? ? ? ? 最后，這里再給出進一步了解多示例學習的一些參考：多示例學習 (multi-instance learning, MIL) 學習路線 (歸類、重點文章列舉、持續(xù)更新)_mil領域 llm-CSDN博客

---

后記

? ? ? ? 在完成今天的學習任務后，有一個挺大的感觸是，機器學習其實是比較依賴統(tǒng)計學的。對于很多學習，從數(shù)學原理上的分析，個人認為這其實與線性回歸分析中講過的挺多概念重合了。統(tǒng)計學更著重于如何從數(shù)學上去實現(xiàn)，而機器學習則是著重于如何把這個人工的任務交給機器，從而更高效的獲得更準確的信息。

? ? ? ? 還需要注意的一點是，實際上對每個概念的理解還是很有限的，很多東西由于能力的不足，還停留在表面（甚至連深一點的問題都提不出來，這是比較致命的），在后續(xù)需要補足相關訓練來加深理解。