決策樹(shù)

　　決策樹(shù)和聚類很相近。決策樹(shù)是一種關(guān)于觀察（observation）的預(yù)測(cè)模型，可以得到一些結(jié)論。結(jié)論在決策樹(shù)上被表示成樹(shù)葉，而節(jié)點(diǎn)則是觀察分叉的決策點(diǎn)。決策樹(shù)來(lái)自決策樹(shù)學(xué)習(xí)算法，其中數(shù)據(jù)集會(huì)根據(jù)屬性值測(cè)試（attribute value tests）而被分成不同的子集，這個(gè)分割過(guò)程被稱為遞歸分區(qū)（recursive partitioning）。

　　考慮下圖中的示例。在這個(gè)數(shù)據(jù)集中，我可以基于三個(gè)因素觀察到某人是否有生產(chǎn)力。使用一個(gè)決策樹(shù)學(xué)習(xí)算法，我可以通過(guò)一個(gè)指標(biāo)來(lái)識(shí)別屬性（其中一個(gè)例子是信息增益）。在這個(gè)例子中，心情（mood）是生產(chǎn)力的主要影響因素，所以我根據(jù) Good Mood 一項(xiàng)是 Yes 或 No 而對(duì)這個(gè)數(shù)據(jù)集進(jìn)行了分割。但是，在 Yes 這邊，還需要我根據(jù)其它兩個(gè)屬性再次對(duì)該數(shù)據(jù)集進(jìn)行切分。表中不同的顏色對(duì)應(yīng)右側(cè)中不同顏色的葉節(jié)點(diǎn)。

圖 5：一個(gè)簡(jiǎn)單的數(shù)據(jù)集及其得到的決策樹(shù)

　　決策樹(shù)的一個(gè)重要性質(zhì)在于它們的內(nèi)在的組織能力，這能讓你輕松地（圖形化地）解釋你分類一個(gè)項(xiàng)的方式。流行的決策樹(shù)學(xué)習(xí)算法包括 C4.5 以及分類與回歸樹(shù)（Classification and Regression Tree）。

基于規(guī)則的系統(tǒng)

　　最早的基于規(guī)則和推理的系統(tǒng)是 Dendral，于 1965 年被開(kāi)發(fā)出來(lái)，但直到 1970 年代，所謂的專家系統(tǒng)（expert systems）才開(kāi)始大行其道。基于規(guī)則的系統(tǒng)會(huì)同時(shí)存有所需的知識(shí)的規(guī)則，并會(huì)使用一個(gè)推理系統(tǒng)（reasoning system）來(lái)得出結(jié)論。

　　基于規(guī)則的系統(tǒng)通常由一個(gè)規(guī)則集合、一個(gè)知識(shí)庫(kù)、一個(gè)推理引擎（使用前向或反向規(guī)則鏈）和一個(gè)用戶接口組成。下圖中，我使用了知識(shí)「蘇格拉底是人」、規(guī)則「如果是人，就會(huì)死」以及一個(gè)交互「誰(shuí)會(huì)死？」

圖 6：基于規(guī)則的系統(tǒng)

　　基于規(guī)則的系統(tǒng)已經(jīng)在語(yǔ)音識(shí)別、規(guī)劃和控制以及疾病識(shí)別等領(lǐng)域得到了應(yīng)用。上世紀(jì) 90 年代人們開(kāi)發(fā)的一個(gè)監(jiān)控和診斷大壩穩(wěn)定性的系統(tǒng) Kaleidos 至今仍在使用。

機(jī)器學(xué)習(xí)

　　機(jī)器學(xué)習(xí)是人工智能和計(jì)算機(jī)科學(xué)的一個(gè)子領(lǐng)域，也有統(tǒng)計(jì)學(xué)和數(shù)學(xué)優(yōu)化方面的根基。機(jī)器學(xué)習(xí)涵蓋了有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)領(lǐng)域的技術(shù)，可用于預(yù)測(cè)、分析和數(shù)據(jù)挖掘。機(jī)器學(xué)習(xí)不限于深度學(xué)習(xí)這一種。但在這一節(jié)，我會(huì)介紹幾種使得深度學(xué)習(xí)變得如此高效的算法。

圖 7：機(jī)器學(xué)習(xí)方法的時(shí)間線

反向傳播

　　神經(jīng)網(wǎng)絡(luò)的強(qiáng)大力量源于其多層的結(jié)構(gòu)。單層感知器的訓(xùn)練是很直接的，但得到的網(wǎng)絡(luò)并不強(qiáng)大。那問(wèn)題就來(lái)了：我們?nèi)绾斡?xùn)練多層網(wǎng)絡(luò)呢？這就是反向傳播的用武之地。

　　反向傳播是一種用于訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的算法。它的工作過(guò)程分為兩個(gè)階段。第一階段是將輸入傳播通過(guò)整個(gè)神經(jīng)網(wǎng)絡(luò)直到最后一層（稱為前饋）。第二階段，該算法會(huì)計(jì)算一個(gè)誤差，然后從最后一層到第一層反向傳播該誤差（調(diào)整權(quán)重）。

圖 8：反向傳播示意圖

　　在訓(xùn)練過(guò)程中，該網(wǎng)絡(luò)的中間層會(huì)自己進(jìn)行組織，將輸入空間的部分映射到輸出空間。反向傳播，使用監(jiān)督學(xué)習(xí)，可以識(shí)別出輸入到輸出映射的誤差，然后可以據(jù)此調(diào)整權(quán)重（使用一個(gè)學(xué)習(xí)率）來(lái)矯正這個(gè)誤差。反向傳播現(xiàn)在仍然是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的一個(gè)重要方面。隨著計(jì)算資源越來(lái)越快、越來(lái)越便宜，它還將繼續(xù)在更大和更密集的網(wǎng)絡(luò)中得到應(yīng)用。