機(jī)器學(xué)習(xí)教程（微課視頻版）

目錄

第一部分基礎(chǔ)知識和基本方法

第1章機(jī)器學(xué)習(xí)概述

微課視頻 185分鐘

1.1什么是機(jī)器學(xué)習(xí)

1.2機(jī)器學(xué)習(xí)的類型

1.2.1基本分類

1.2.2監(jiān)督學(xué)習(xí)及其功能分類

1.3構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)的基本問題

1.3.1機(jī)器學(xué)習(xí)的基本元素

1.3.2機(jī)器學(xué)習(xí)的一些基本概念

1.4從簡單示例理解機(jī)器學(xué)習(xí)

1.4.1一個簡單的回歸示例

1.4.2一個簡單的分類示例

1.5深度學(xué)習(xí)簡介

1.6本章小結(jié)

習(xí)題

第2章統(tǒng)計與優(yōu)化基礎(chǔ)

微課視頻 168分鐘

2.1概率論基礎(chǔ)

2.1.1離散隨機(jī)變量

2.1.2連續(xù)隨機(jī)變量

2.1.3隨機(jī)變量的統(tǒng)一表示

2.1.4隨機(jī)變量的基本特征

2.1.5隨機(jī)特征的蒙特卡洛逼近

2.2概率實例

2.2.1離散隨機(jī)變量示例

2.2.2高斯分布

2.2.3指數(shù)族

2.2.4混合高斯過程

2.2.5馬爾可夫過程

2.3最大似然估計

2.4貝葉斯估計

2.5貝葉斯決策

2.5.1機(jī)器學(xué)習(xí)中的決策

2.5.2分類的決策

2.5.3回歸的決策

2.6隨機(jī)變量的熵特征

2.6.1熵的定義和基本性質(zhì)

2.6.2KL散度

2.7非參數(shù)方法

2.8優(yōu)化技術(shù)概述

2.9本章小結(jié)

習(xí)題

第3章基本回歸算法

微課視頻 85分鐘

3.1線性回歸

3.1.1基本線性回歸

3.1.2線性回歸的遞推學(xué)習(xí)

3.1.3多輸出線性回歸

3.2正則化線性回歸

3.3線性基函數(shù)回歸

3.4本章小結(jié)

習(xí)題

第4章基本分類算法

微課視頻 86分鐘

4.1基本分類問題

4.2線性判別函數(shù)模型

4.2.1Fisher線性判別分析

*4.2.2感知機(jī)

4.3邏輯回歸

4.3.1二分類問題的邏輯回歸

4.3.2多分類問題的邏輯回歸

4.4樸素貝葉斯方法

4.5高斯生成模型分類器

4.5.1相同協(xié)方差矩陣情況的二分類

4.5.2不同協(xié)方差矩陣情況的二分類

4.5.3多分類情況

4.6本章小結(jié)

習(xí)題

第5章機(jī)器學(xué)習(xí)的性能與評估

5.1模型的訓(xùn)練、驗證與測試

5.2機(jī)器學(xué)習(xí)模型的性能評估

5.3機(jī)器學(xué)習(xí)模型的誤差分解

5.4機(jī)器學(xué)習(xí)模型的泛化性能

5.4.1假設(shè)空間有限時的泛化誤差界

*5.4.2假設(shè)空間無限時的泛化誤差界

5.5本章小結(jié)

習(xí)題

第二部分經(jīng)典算法

第6章支持向量機(jī)與核函數(shù)方法

微課視頻 90分鐘

6.1線性可分的支持向量機(jī)

6.1.1不等式約束的優(yōu)化

6.1.2線性可分情況SVM的原理

6.1.3線性可分情況SVM的優(yōu)化解

6.2線性不可分情況的SVM

6.2.1線性不可分情況SVM的優(yōu)化解

6.2.2合頁損失函數(shù)

6.3非線性支持向量機(jī)

6.3.1SVM分類算法小結(jié)

6.3.2核函數(shù)方法

6.4SVM用于多分類問題

*6.5支持向量回歸

6.6本章小結(jié)

習(xí)題

第7章決策樹算法

微課視頻 75分鐘

7.1基本決策樹算法

7.1.1決策樹的基本結(jié)構(gòu)

7.1.2信息增益和ID3算法

7.1.3信息增益率和C4.5算法

7.2CART算法

7.2.1分類樹

7.2.2回歸樹

7.3決策樹的一些實際問題

7.3.1連續(xù)數(shù)值變量

7.3.2正則化和剪枝技術(shù)

7.3.3缺失屬性的訓(xùn)練樣本問題

7.4本章小結(jié)

習(xí)題

第8章集成學(xué)習(xí)算法

微課視頻 60分鐘

8.1Bagging和隨機(jī)森林

8.1.1自助采樣和Bagging算法

8.1.2隨機(jī)森林算法

8.2提升和AdaBoost算法

8.3提升樹算法

8.3.1加法模型和提升樹

8.3.2梯度提升樹

8.4本章小結(jié)

習(xí)題

第三部分進(jìn)階方法

第9章神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)之一： 基礎(chǔ)

微課視頻 90分鐘

9.1神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

9.1.1神經(jīng)元結(jié)構(gòu)

9.1.2多層神經(jīng)網(wǎng)絡(luò)解決異或問題

9.1.3多層感知機(jī)

9.1.4神經(jīng)網(wǎng)絡(luò)的逼近定理

9.2神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)和優(yōu)化

9.2.1神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)

9.2.2神經(jīng)網(wǎng)絡(luò)的優(yōu)化

9.3誤差反向傳播算法

9.3.1反向傳播算法的推導(dǎo)

9.3.2反向傳播算法的向量形式

9.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的一些問題

9.4.1初始化

9.4.2正則化

9.4.3幾類等價正則化技術(shù)

9.5本章小結(jié)

習(xí)題

第10章神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)之二： 結(jié)構(gòu)與優(yōu)化

微課視頻 180分鐘

10.1卷積神經(jīng)網(wǎng)絡(luò)

10.1.1基本CNN的結(jié)構(gòu)

*10.1.2卷積的一些擴(kuò)展結(jié)構(gòu)

*10.1.3CNN示例介紹

10.2循環(huán)神經(jīng)網(wǎng)絡(luò)

10.2.1基本RNN

10.2.2RNN的計算流程

*10.2.3RNN的擴(kuò)展BP算法

10.2.4深度RNN

*10.2.5長短期記憶模型

*10.2.6門控循環(huán)單元

10.3深度學(xué)習(xí)中的優(yōu)化算法

10.3.1小批量SGD算法

10.3.2動量SGD算法

10.3.3自適應(yīng)學(xué)習(xí)率算法

10.4深度學(xué)習(xí)訓(xùn)練的正則化技術(shù)

10.4.1Dropout技術(shù)

10.4.2批歸一化

10.5本章小結(jié)

習(xí)題

第11章無監(jiān)督學(xué)習(xí)算法

微課視頻 85分鐘

11.1聚類算法

11.1.1K均值聚類算法

11.1.2其他度量和聚類算法

11.2EM算法

11.2.1獨立同分布情況

*11.2.2通過KL散度對EM算法的解釋

11.3EM算法求解高斯混合模型參數(shù)

11.3.1GMM參數(shù)估計

11.3.2GMM的軟聚類

11.4主分量分析

11.4.1主分量分析原理

11.4.2廣義Hebb算法

11.5本章小結(jié)

習(xí)題

第12章強(qiáng)化學(xué)習(xí)

微課視頻 160分鐘

12.1強(qiáng)化學(xué)習(xí)的基本問題

12.2馬爾可夫決策過程

12.2.1MDP的定義

12.2.2貝爾曼方程

12.2.3最優(yōu)策略

12.2.4強(qiáng)化學(xué)習(xí)的類型

12.2.5探索與利用

12.3動態(tài)規(guī)劃

12.3.1策略迭代方法

12.3.2值函數(shù)迭代方法

12.4強(qiáng)化學(xué)習(xí)的蒙特卡洛方法

12.4.1MC部分策略評估

12.4.2MC策略改進(jìn)

12.5強(qiáng)化學(xué)習(xí)的時序差分方法

12.5.1基本時序差分學(xué)習(xí)和Sarsa算法

12.5.2Q學(xué)習(xí)

12.5.3DP、MC和TD算法的簡單比較

12.6強(qiáng)化學(xué)習(xí)的值函數(shù)逼近

12.6.1基本線性值函數(shù)逼近

12.6.2深度Q網(wǎng)絡(luò)

12.7策略梯度方法

12.7.1MC策略梯度算法Reinforce

12.7.2行動器評判器方法

*12.8多臂賭博機(jī)

12.9本章小結(jié)

習(xí)題

參考文獻(xiàn)

附錄A課程的實踐型作業(yè)實例

A.1第1次實踐作業(yè)

A.2第2次實踐作業(yè)

A.3第3次實踐作業(yè)

附錄B函數(shù)對向量和矩陣的求導(dǎo)

視 頻 名 稱時長/分鐘位置

ML01導(dǎo)論1651.1節(jié)節(jié)首

ML02導(dǎo)論2601.3節(jié)節(jié)首

ML03導(dǎo)論3601.4節(jié)節(jié)首

ML04統(tǒng)計基礎(chǔ)1702.1節(jié)節(jié)首

ML05統(tǒng)計基礎(chǔ)2402.5節(jié)節(jié)首

ML06統(tǒng)計基礎(chǔ)3582.6節(jié)節(jié)首

ML07回歸學(xué)習(xí)853.1節(jié)節(jié)首

ML08分類學(xué)習(xí)1504.1節(jié)節(jié)首

ML09分類學(xué)習(xí)2364.4節(jié)節(jié)首

ML10核與SVM906.1節(jié)節(jié)首

ML11決策樹757.1節(jié)節(jié)首

ML12集成學(xué)習(xí)608.1節(jié)節(jié)首

ML13神經(jīng)網(wǎng)絡(luò)909.1節(jié)節(jié)首

ML14深度學(xué)習(xí)18010.1節(jié)節(jié)首

ML15深度學(xué)習(xí)24410.2節(jié)節(jié)首

ML16深度學(xué)習(xí)35610.3節(jié)節(jié)首

ML17無監(jiān)督學(xué)習(xí)16511.1節(jié)節(jié)首

ML18無監(jiān)督學(xué)習(xí)22011.4節(jié)節(jié)首

ML19強(qiáng)化學(xué)習(xí)19012.1節(jié)節(jié)首

ML20強(qiáng)化學(xué)習(xí)27012.3節(jié)節(jié)首