第1章 緒論

1.1 引言

形成優(yōu)秀的心理表征，自然能成為領(lǐng)域內(nèi)的專家。
系統(tǒng)1 & 系統(tǒng)2。

機(jī)器學(xué)習(xí)：致力于研究如何通過(guò)計(jì)算的手段，利用經(jīng)驗(yàn)來(lái)改善系統(tǒng)自身的性能。主要研究計(jì)算機(jī)從數(shù)據(jù)中產(chǎn)生model的算法，即“l(fā)earning algorithm”。
“經(jīng)驗(yàn)”通常的存在形式——“數(shù)據(jù)”。

1.2 基本術(shù)語(yǔ)

數(shù)據(jù)集
每天記錄——示例——樣本
屬性值
屬性空間——樣本空間——輸入空間
一個(gè)示例——特征向量（feature vector）
訓(xùn)練樣本——訓(xùn)練示例（training instance）——訓(xùn)練例

學(xué)得模型亦稱hypothesis，學(xué)習(xí)過(guò)程是為了逼近ground-truth。本書(shū)有時(shí)稱模型為“學(xué)習(xí)器”(learner)。

標(biāo)記空間(label space)——輸出空間
分類(classificatioin)：離散值預(yù)測(cè)類的學(xué)習(xí)任務(wù)。
回歸(regression): 連續(xù)值預(yù)測(cè)類任務(wù)。
binary classification任務(wù)：includes positive class & negative class。
multi-class classification

預(yù)測(cè)類任務(wù)是希望建立輸入空間x到輸出空間y的映射f

testing
testing sample
clustering
cluster

據(jù)training data是否擁有l(wèi)abel information，劃分為supervised learning & unsupervised learning。classification和regression是前者的代表，而clustering是后者的代表。

“泛化(generalization)”能力

1.3 假設(shè)空間

科學(xué)推理的兩大基本手段：induction（歸納）& deduction（演繹）。
induction: 從特殊到一般。
deduciton: 從generalization到specialization。

inductive learning（歸納學(xué)習(xí)）——從樣例中學(xué)習(xí)。分為廣義和狹義。

version space

1.4 歸納偏好

inductive bias：機(jī)器學(xué)習(xí)算法在學(xué)習(xí)過(guò)程中對(duì)某種類型假設(shè)的偏好。任何一個(gè)有效的機(jī)器學(xué)習(xí)算法必有其歸納偏好，否則無(wú)法產(chǎn)生確定的學(xué)習(xí)結(jié)果。

Attention:

NFL定理：No Free Lunch Theorem！
NFL定理的重要前提：…
NFL Theorem的寓意：具體問(wèn)題具體分析。學(xué)習(xí)算法自身的induction bias與problems是否相配，往往起決定性作用。

1.5 發(fā)展歷程

20世紀(jì)50年代到70年代初：AI研究處于“推理期”。
20世紀(jì)70年代中期開(kāi)始，”知識(shí)期“。
20世紀(jì)80年代，ML成為一個(gè)獨(dú)立的學(xué)科領(lǐng)域，各種ML技術(shù)百花初綻——學(xué)習(xí)期。

本書(shū)大部分內(nèi)容均屬于廣義的induction learning范疇，涵蓋supervised learning and unsupervised learning等等。

ILP：

1.6 應(yīng)用現(xiàn)狀

1.7 閱讀材料

第2章 模型評(píng)估與選擇

第3章 線性模型

第4章 決策樹(shù)

第5章 神經(jīng)網(wǎng)絡(luò)

第6章 支持向量機(jī)