機(jī)器學(xué)習(xí)精講：基礎(chǔ)、算法及應(yīng)用

譯者序

前言

第1章引言

1.1教計(jì)算機(jī)區(qū)分貓和狗

1.2預(yù)測(cè)學(xué)習(xí)問題

1.2.1回歸

1.2.2分類

1.3特征設(shè)計(jì)

1.4數(shù)值優(yōu)化

1.5小結(jié)

第一部分基本工具及概念

第2章數(shù)值優(yōu)化基礎(chǔ)

2.1微積分定義的最優(yōu)性

2.1.1泰勒級(jí)數(shù)逼近

2.1.2最優(yōu)性的一階條件

2.1.3凸性的便利

2.2優(yōu)化數(shù)值方法

2.2.1概覽

2.2.2停止條件

2.2.3梯度下降

2.2.4牛頓法

2.3小結(jié)

2.4習(xí)題

第3章回歸

3.1線性回歸基礎(chǔ)

3.1.1符號(hào)和建模

3.1.2用于線性回歸的最小二乘代價(jià)函數(shù)

3.1.3最小二乘代價(jià)函數(shù)的最小化

3.1.4所學(xué)模型的效力

3.1.5預(yù)測(cè)新輸入數(shù)據(jù)的值

3.2知識(shí)驅(qū)動(dòng)的回歸特征設(shè)計(jì)

3.3非線性回歸和l2正則化

3.3.1邏輯回歸

3.3.2非凸代價(jià)函數(shù)和l2正則化

3.4小結(jié)

3.5習(xí)題

第4章分類

4.1感知機(jī)代價(jià)函數(shù)

4.1.1基本感知機(jī)模型

4.1.2softmax代價(jià)函數(shù)

4.1.3間隔感知機(jī)

4.1.4間隔感知機(jī)的可微近似

4.1.5所學(xué)分類器的精度

4.1.6預(yù)測(cè)新輸入數(shù)據(jù)的標(biāo)簽

4.1.7哪個(gè)代價(jià)函數(shù)會(huì)產(chǎn)生最好的結(jié)果

4.1.8感知機(jī)和計(jì)數(shù)代價(jià)的關(guān)聯(lián)

4.2邏輯回歸視角下的softmax代價(jià)

4.2.1階梯函數(shù)和分類

4.2.2凸邏輯回歸

4.3支持向量機(jī)視角下的間隔感知機(jī)

4.3.1尋找最大間隔超平面

4.3.2硬間隔支持向量機(jī)問題

4.3.3軟間隔支持向量機(jī)問題

4.3.4支持向量機(jī)和邏輯回歸

4.4多分類

4.4.1一對(duì)多的多分類

4.4.2多分類softmax分類

4.4.3所學(xué)多分類器的精度

4.4.4哪種多分類方法表現(xiàn)最好

4.5面向分類的知識(shí)驅(qū)動(dòng)特征設(shè)計(jì)

4.6面向真實(shí)數(shù)據(jù)類型的直方圖特征

4.6.1文本數(shù)據(jù)的直方圖特征

4.6.2圖像數(shù)據(jù)的直方圖特征

4.6.3音頻數(shù)據(jù)的直方圖特征

4.7小結(jié)

4.8習(xí)題

第二部分完全數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)工具

第5章回歸的自動(dòng)特征設(shè)計(jì)

5.1理想回歸場(chǎng)景中的自動(dòng)特征設(shè)計(jì)

5.1.1向量逼近

5.1.2從向量到連續(xù)函數(shù)

5.1.3連續(xù)函數(shù)逼近

5.1.4連續(xù)函數(shù)逼近的常見基

5.1.5獲取權(quán)重

5.1.6神經(jīng)網(wǎng)絡(luò)的圖表示

5.2真實(shí)回歸場(chǎng)景中的自動(dòng)特征設(shè)計(jì)

5.2.1離散化的連續(xù)函數(shù)逼近

5.2.2真實(shí)回歸場(chǎng)景

5.3回歸交叉驗(yàn)證

5.3.1診斷過擬合與欠擬合問題

5.3.2留出交叉驗(yàn)證

5.3.3留出交叉驗(yàn)證的計(jì)算

5.3.4k折交叉驗(yàn)證

5.4哪個(gè)基最好

5.4.1理解數(shù)據(jù)背后的現(xiàn)象

5.4.2實(shí)踐方面的考慮

5.4.3什么時(shí)候可任意選擇基

5.5小結(jié)

5.6習(xí)題

5.7關(guān)于連續(xù)函數(shù)逼近的注釋

第6章分類中的自動(dòng)特征設(shè)計(jì)

6.1理想分類場(chǎng)景中的自動(dòng)特征設(shè)計(jì)

6.1.1分段連續(xù)函數(shù)逼近

6.1.2指示函數(shù)的形式化定義

6.1.3指示函數(shù)逼近

6.1.4獲取權(quán)重

6.2真實(shí)分類場(chǎng)景中的自動(dòng)特征設(shè)計(jì)

6.2.1離散化的指示函數(shù)逼近

6.2.2真實(shí)的分類場(chǎng)景

6.2.3分類器精度和邊界定義

6.3多分類

6.3.1一對(duì)多的多分類

6.3.2多分類softmax分類

6.4分類交叉驗(yàn)證

6.4.1留出交叉驗(yàn)證

6.4.2留出交叉驗(yàn)證的計(jì)算

6.4.3k折交叉驗(yàn)證

6.4.4一對(duì)多多分類的k折交叉驗(yàn)證

6.5哪個(gè)基最好

6.6小結(jié)

6.7習(xí)題

第7章核、反向傳播和正則化交叉驗(yàn)證

7.1固定特征核

7.1.1線性代數(shù)基本定理

7.1.2核化代價(jià)函數(shù)

7.1.3核化的價(jià)值

7.1.4核的例子

7.1.5核作為相似矩陣

7.2反向傳播算法

7.2.1計(jì)算兩層網(wǎng)絡(luò)代價(jià)函數(shù)的梯度

7.2.2計(jì)算三層神經(jīng)網(wǎng)絡(luò)的梯度

7.2.3動(dòng)量梯度下降

7.3l2正則化交叉驗(yàn)證

7.3.1l2正則化和交叉驗(yàn)證

7.3.2回歸的k折正則化交叉驗(yàn)證

7.3.3分類的正則化交叉驗(yàn)證

7.4小結(jié)

7.5更多的核計(jì)算

7.5.1核化不同的代價(jià)函數(shù)

7.5.2傅里葉核——標(biāo)量輸入

7.5.3傅里葉核——向量輸入

第三部分大規(guī)模數(shù)據(jù)機(jī)器學(xué)習(xí)方法

第8章高級(jí)梯度算法

8.1梯度下降法的固定步長(zhǎng)規(guī)則

8.1.1梯度下降法和簡(jiǎn)單的二次代理

8.1.2有界曲率函數(shù)和最優(yōu)保守步長(zhǎng)規(guī)則

8.1.3如何使用保守固定步長(zhǎng)規(guī)則

8.2梯度下降的自適應(yīng)步長(zhǎng)規(guī)則

8.2.1回溯線性搜索的自適應(yīng)步長(zhǎng)規(guī)則

8.2.2如何使用自適應(yīng)步長(zhǎng)規(guī)則

8.3隨機(jī)梯度下降

8.3.1梯度分解

8.3.2隨機(jī)梯度下降迭代

8.3.3隨機(jī)梯度下降的價(jià)值

8.3.4隨機(jī)梯度下降的步長(zhǎng)規(guī)則

8.3.5在實(shí)踐中如何使用隨機(jī)梯度下降法

8.4梯度下降方案的收斂性證明

8.4.1利普希茨常數(shù)固定步長(zhǎng)梯度下降的收斂性

8.4.2回溯線性搜索梯度下降的收斂性

8.4.3隨機(jī)梯度法的收斂性

8.4.4面向凸函數(shù)的固定步長(zhǎng)梯度下降的收斂速度

8.5計(jì)算利普希茨常數(shù)

8.6小結(jié)

8.7習(xí)題

第9章降維技術(shù)

9.1數(shù)據(jù)的降維技術(shù)

9.1.1隨機(jī)子采樣

9.1.2K均值聚類

9.1.3K均值問題的優(yōu)化

9.2主成分分析

9.3推薦系統(tǒng)

9.3.1矩陣填充模型

9.3.2矩陣填充模型的優(yōu)化

9.4小結(jié)

9.5習(xí)題

第四部分附錄

附錄A基本的向量和矩陣運(yùn)算

附錄B向量微積分基礎(chǔ)

附錄C基本的矩陣分解及偽逆

附錄D凸幾何

參考文獻(xiàn)

索引