這里涉及到機(jī)器學(xué)習(xí)子領(lǐng)域的分類。所有的分類，首先要問的是為什么這么分？按什么維度進(jìn)行劃分？符合邏輯的分類能幫助人們建立認(rèn)知架構(gòu)，不符合邏輯的分類能讓人一頭霧水。

1、機(jī)器學(xué)習(xí)是人工智能的子領(lǐng)域

人工智能的子領(lǐng)域，沿著歷史的發(fā)展，有比較顯著的特點。大致可分為：

60 年代開始的“推理期”：研究搜索，成果包含 定理自動證明、國際象棋系統(tǒng) DeepBlue

僅會推理并無法處理實際問題，實際問題中需要寬泛的知識。70 年代開始的“知識期”，研究基于知識的推理，成果包含 Prolog、各類專家系統(tǒng)、以及今天的知識圖譜

僅靠人工錄入知識，難以形成大規(guī)模應(yīng)用。90 年底開始的“學(xué)習(xí)期”，研究從數(shù)據(jù)中歸納知識，成果包含 今天的各種數(shù)據(jù)分析、挖掘系統(tǒng)

可見“學(xué)習(xí)”是人工智能的一個大方向，“機(jī)器學(xué)習(xí)”按照 Tom Mitchell 的定義是從經(jīng)驗中自動改進(jìn)系統(tǒng)性能的程序。經(jīng)驗常以數(shù)據(jù)的方式呈現(xiàn)，因此實踐上機(jī)器學(xué)習(xí)為數(shù)據(jù)分析提供了主要工具。換句話說，今天對數(shù)據(jù)進(jìn)行較為深入的分析，總結(jié)出模型的工作，都屬于機(jī)器學(xué)習(xí)范疇。

2、機(jī)器學(xué)習(xí)的任務(wù)分類

機(jī)器學(xué)習(xí)從數(shù)據(jù)中總結(jié)模型，而數(shù)據(jù)表示的經(jīng)驗可以包含不同的信息形態(tài)，其中的一個關(guān)鍵的信息，是關(guān)于模型表現(xiàn)的反饋信息。有的數(shù)據(jù)中包含了模型應(yīng)該輸出的值，有的數(shù)據(jù)則完全沒有這一類信息，還有的數(shù)據(jù)中包含的是對模型表現(xiàn)的打分。不同的反饋信息導(dǎo)致我們需要用不同的技術(shù)進(jìn)行處理，因此按照反饋信息的不同，機(jī)器學(xué)習(xí)經(jīng)典劃分為三大類：

監(jiān)督學(xué)習(xí)：處理包含有模型正確輸出值的數(shù)據(jù)，即有標(biāo)記數(shù)據(jù)。例如圖像識別數(shù)據(jù)中，每一張圖像都有相應(yīng)分類標(biāo)記。

強(qiáng)化學(xué)習(xí)：處理的數(shù)據(jù)僅包含有模型打分值，而不知道模型到底應(yīng)該輸出什么，因此只能靠算法去不斷的探索，尋找打分值最高的模型輸出。例如圍棋游戲，缺乏每一步走棋的最佳指導(dǎo)，只能通過最終的輸贏作為打分，自主探索尋找最佳模型。

無監(jiān)督學(xué)習(xí)：數(shù)據(jù)中完全沒有關(guān)于模型輸出好壞的客觀評估。這時通常會人為的設(shè)置某種學(xué)習(xí)目標(biāo)，以開展學(xué)習(xí)，例如把 256 維人臉照片壓縮到 4 維，此時并沒有任何關(guān)于這 4 維應(yīng)該如何的信息，一種做法是使得這 4 維能夠還原出 256 維的人臉，這就是一種人為設(shè)定的目標(biāo)。這種還原自身信息的做法也叫自監(jiān)督學(xué)習(xí)，雖然名稱中有“監(jiān)督”，其實是一類借用監(jiān)督技術(shù)的無監(jiān)督學(xué)習(xí)。

可見這一分類，是按照機(jī)器學(xué)習(xí)的任務(wù)維度進(jìn)行劃分。當(dāng)然這樣的劃分并不具有完全清晰的邊界，隨著越來越多的交叉領(lǐng)域研究工作的開展，出現(xiàn)很多衍生的方向：

監(jiān)督學(xué)習(xí) X 無監(jiān)督學(xué)習(xí)：例如數(shù)據(jù)包含一部分有標(biāo)記 / 有一部分標(biāo)記的數(shù)據(jù)、以及無標(biāo)記的數(shù)據(jù)，研究如何利用無標(biāo)記數(shù)據(jù)提升模型性能，這一領(lǐng)域稱為半監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)

監(jiān)督學(xué)習(xí) X 強(qiáng)化學(xué)習(xí)：例如圍棋中存在一部分人類專家的演示數(shù)據(jù)，利用這樣的數(shù)據(jù)可以用監(jiān)督學(xué)習(xí)模仿人類走棋，在 AlphaGo 最初版本中如此使用。這一領(lǐng)域稱為模仿學(xué)習(xí)

強(qiáng)化學(xué)習(xí) X 無監(jiān)督學(xué)習(xí)：例如在強(qiáng)化學(xué)習(xí)的任務(wù)中缺少打分，算法自行對環(huán)境進(jìn)行探索、發(fā)現(xiàn)功能性技能等等。

以上所述的機(jī)器學(xué)習(xí)子領(lǐng)域，其實都屬于歸納學(xué)習(xí)，即從樣本中歸納規(guī)律。由于廣泛的適用性，歸納學(xué)習(xí)成為“默認(rèn)的機(jī)器學(xué)習(xí)”。然而機(jī)器學(xué)習(xí)中實際還有另一類，演繹學(xué)習(xí)，通過推理出新的知識進(jìn)行學(xué)習(xí)。這一方向由于數(shù)據(jù)分析大行其道以往不受重視，但近年隨著符號 AI 的復(fù)興，也正在成長。

3、機(jī)器學(xué)習(xí)的模型分類

早期機(jī)器學(xué)習(xí)研究，由不同的啟發(fā)思想產(chǎn)生了不同的模型，包含：

最近鄰模型

決策樹模型

貝葉斯模型

線性模型

多層神經(jīng)網(wǎng)絡(luò)模型

等等，早期的研究多集中在數(shù)據(jù)量較小、語意層面較高的數(shù)據(jù)，例如用戶購買商品的數(shù)據(jù)，一個商品 ID 對應(yīng)了一個商品。而對語意層面較低的數(shù)據(jù)，例如圖像數(shù)據(jù)，用每一個像素的灰度值表征，識別圖像中的人臉需要建立灰度值到人名的聯(lián)系，跨度巨大；語音數(shù)據(jù)，用波形表征，識別一個詞需要建立一連串的聲波強(qiáng)度到詞語的聯(lián)系，跨度巨大，因此取得的性能有限，且往往需要依賴人工構(gòu)造的高層特征，例如人臉圖像的灰度直方圖投影等。

2012 年，某種結(jié)構(gòu)的多層神經(jīng)網(wǎng)絡(luò)的模型，結(jié)合大量的數(shù)據(jù)，在語音識別、圖像識別上取得性能突破，引起了廣泛關(guān)注，隨后越來越多層的神經(jīng)網(wǎng)絡(luò)模型，在海量圖像、語音數(shù)據(jù)上體現(xiàn)的優(yōu)勢愈加顯著。為區(qū)別傳統(tǒng)的模型，使用這一類深層神經(jīng)網(wǎng)絡(luò)模型被稱為深度學(xué)習(xí)。

其特點在于，不同于特征工程 + 傳統(tǒng)模型，深度模型從低層語意數(shù)據(jù)直接學(xué)習(xí)上層任務(wù)，即所謂的“端到端”學(xué)習(xí)，其中自動包含了對數(shù)據(jù)的表征學(xué)習(xí)。反過來，包含表征學(xué)習(xí)的模型，通常也需要進(jìn)行多層次的處理，也都可稱為深度學(xué)習(xí)。除了深度神經(jīng)網(wǎng)絡(luò)外，也有深度森林等非神經(jīng)網(wǎng)絡(luò)模型。

機(jī)器學(xué)習(xí)的任務(wù)與模型是可以組合的，即有非深度 / 深度監(jiān)督學(xué)習(xí)、非深度 / 深度強(qiáng)化學(xué)習(xí)、非深度 / 深度無監(jiān)督學(xué)習(xí)，等等。