PyTorch深度學(xué)習(xí)實戰(zhàn)：微課視頻版

目錄

基礎(chǔ)篇

第1章深度學(xué)習(xí)簡介

1.1計算機視覺

1.1.1定義

1.1.2基本任務(wù)

1.1.3傳統(tǒng)方法

1.1.4仿生學(xué)與深度學(xué)習(xí)

1.1.5現(xiàn)代深度學(xué)習(xí)

1.1.6小結(jié)

1.2自然語言處理

1.2.1自然語言處理的基本問題

1.2.2傳統(tǒng)方法與神經(jīng)網(wǎng)絡(luò)方法的比較

1.2.3發(fā)展趨勢

1.3強化學(xué)習(xí)

1.3.1什么是強化學(xué)習(xí)

1.3.2強化學(xué)習(xí)算法簡介

1.3.3強化學(xué)習(xí)的應(yīng)用

第2章深度學(xué)習(xí)框架

2.1Caffe

2.1.1Caffe簡介

2.1.2Caffe的特點

2.1.3Caffe概述

2.2TensorFlow

2.2.1TensorFlow簡介

2.2.2數(shù)據(jù)流圖

2.2.3TensorFlow的特點

2.2.4TensorFlow概述

2.3PyTorch

2.3.1PyTorch簡介

2.3.2PyTorch的特點

2.3.3PyTorch概述

2.4三者的比較

2.4.1Caffe

2.4.2TensorFlow

2.4.3PyTorch






第3章機器學(xué)習(xí)基礎(chǔ)知識

3.1模型評估與模型參數(shù)選擇

3.1.1驗證

3.1.2正則化

3.2監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)

3.2.1監(jiān)督學(xué)習(xí)

3.2.2非監(jiān)督學(xué)習(xí)

第4章PyTorch深度學(xué)習(xí)基礎(chǔ)

4.1Tensor對象及其運算

4.2Tensor的索引和切片

4.3Tensor的變換、拼接和拆分

4.4PyTorch的Reduction操作

4.5PyTorch的自動微分

第5章Logistic回歸

5.1線性回歸

5.2Logistic回歸

5.3用PyTorch實現(xiàn)Logistic回歸

5.3.1數(shù)據(jù)準(zhǔn)備

5.3.2線性方程

5.3.3激活函數(shù)

5.3.4損失函數(shù)

5.3.5優(yōu)化算法

5.3.6模型可視化

第6章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

6.1基礎(chǔ)概念

6.2感知器

6.2.1單層感知器

6.2.2多層感知器

6.3BP神經(jīng)網(wǎng)絡(luò)

6.3.1梯度下降

6.3.2后向傳播

6.4Dropout正則化

6.5批標(biāo)準(zhǔn)化

6.5.1Batch Normalization的實現(xiàn)方式

6.5.2Batch Normalization的使用方法

第7章卷積神經(jīng)網(wǎng)絡(luò)與計算機視覺

7.1卷積神經(jīng)網(wǎng)絡(luò)的基本思想

7.2卷積操作

7.3池化層

7.4卷積神經(jīng)網(wǎng)絡(luò)

7.5經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)

7.5.1VGG網(wǎng)絡(luò)

7.5.2InceptionNet

7.5.3ResNet

7.6用PyTorch進行手寫數(shù)字識別

第8章神經(jīng)網(wǎng)絡(luò)與自然語言處理

8.1語言建模

8.2基于多層感知機的架構(gòu)

8.3基于循環(huán)神經(jīng)網(wǎng)絡(luò)的架構(gòu)

8.3.1循環(huán)單元

8.3.2通過時間后向傳播

8.3.3帶有門限的循環(huán)單元

8.3.4循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型

8.3.5神經(jīng)機器翻譯

8.4基于卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)

8.5基于Transformer的架構(gòu)

8.5.1多頭注意力

8.5.2非參位置編碼

8.5.3編碼器單元與解碼器單元

8.6表示學(xué)習(xí)與預(yù)訓(xùn)練技術(shù)

8.6.1詞向量

8.6.2加入上下文信息的特征表示

8.6.3網(wǎng)絡(luò)預(yù)訓(xùn)練

8.7小結(jié)

實戰(zhàn)篇

第9章搭建卷積神經(jīng)網(wǎng)絡(luò)進行圖像分類

9.1實驗數(shù)據(jù)準(zhǔn)備

9.2數(shù)據(jù)預(yù)處理和準(zhǔn)備

9.2.1數(shù)據(jù)集的讀取

9.2.2重載data.Dataset類

9.2.3transform數(shù)據(jù)預(yù)處理

9.3模型構(gòu)建

9.3.1ResNet50

9.3.2bottleneck的實現(xiàn)

9.3.3ResNet50卷積層定義

9.3.4ResNet50 forward實現(xiàn)

9.3.5預(yù)訓(xùn)練參數(shù)裝載

9.4模型訓(xùn)練與結(jié)果評估

9.4.1訓(xùn)練類的實現(xiàn)

9.4.2優(yōu)化器的定義

9.4.3學(xué)習(xí)率衰減

9.4.4訓(xùn)練

9.5總結(jié)


第10章圖像風(fēng)格遷移

10.1VGG模型

10.2圖像風(fēng)格遷移介紹

10.3內(nèi)容損失函數(shù)

10.3.1內(nèi)容損失函數(shù)的定義

10.3.2內(nèi)容損失模塊的實現(xiàn)

10.4風(fēng)格損失函數(shù)

10.4.1風(fēng)格損失函數(shù)的定義

10.4.2計算Gram矩陣函數(shù)的實現(xiàn)

10.4.3風(fēng)格損失模塊的實現(xiàn)

10.5優(yōu)化過程

10.6圖像風(fēng)格遷移主程序的實現(xiàn)

10.6.1圖像預(yù)處理

10.6.2參數(shù)定義

10.6.3模型初始化

10.6.4運行風(fēng)格遷移的主函數(shù)

10.6.5利用VGG網(wǎng)絡(luò)建立損失函數(shù)

10.6.6風(fēng)格遷移的優(yōu)化過程

10.6.7運行風(fēng)格遷移

第11章基于RNN的文本分類

11.1數(shù)據(jù)準(zhǔn)備

11.2將名字轉(zhuǎn)換為張量

11.3構(gòu)建神經(jīng)網(wǎng)絡(luò)

11.4訓(xùn)練

11.4.1準(zhǔn)備訓(xùn)練

11.4.2訓(xùn)練RNN網(wǎng)絡(luò)

11.5繪制損失變化圖

11.6預(yù)測結(jié)果

11.7預(yù)測用戶輸入

第12章基于CNN的視頻行為識別

12.1問題描述

12.2源碼結(jié)構(gòu)

12.3數(shù)據(jù)準(zhǔn)備

12.4模型搭建與訓(xùn)練

12.5特征圖可視化

第13章實現(xiàn)對抗性樣本生成

13.1威脅模型

13.2快速梯度符號攻擊

13.3代碼實現(xiàn)

13.3.1輸入

13.3.2受到攻擊的模型

13.3.3FGSM攻擊

13.3.4測試功能

13.3.5運行攻擊

13.3.6結(jié)果分析

13.4對抗示例

13.5小結(jié)

第14章實現(xiàn)基于LSTM的情感分析

14.1情感分析常用的Python工具庫

14.1.1PyTorch

14.1.2tqdm

14.1.3Pandas

14.1.4Gensim

14.1.5collections

14.2數(shù)據(jù)樣本分析

14.3數(shù)據(jù)預(yù)處理

14.4算法模型

14.4.1循環(huán)神經(jīng)網(wǎng)絡(luò)

14.4.2長短期記憶神經(jīng)網(wǎng)絡(luò)

14.4.3模型實現(xiàn)

14.5小結(jié)

第15章實現(xiàn)DCGAN

15.1生成對抗網(wǎng)絡(luò)

15.2DCGAN介紹

15.3初始化代碼

15.3.1初始化相關(guān)庫

15.3.2數(shù)據(jù)加載

15.4模型實現(xiàn)

15.4.1權(quán)重初始化

15.4.2生成器

15.4.3判別器

15.4.4判別器代碼

15.4.5損失函數(shù)和優(yōu)化器

15.4.6訓(xùn)練

15.5結(jié)果

15.5.1損失與訓(xùn)練迭代次數(shù)關(guān)系圖

15.5.2生成器G的訓(xùn)練進度

15.5.3真實圖像與假圖像

15.6小結(jié)

第16章視覺問答

16.1視覺問答簡介

16.2基于BottomUp Attention的聯(lián)合嵌入模型

16.3準(zhǔn)備工作

16.3.1下載數(shù)據(jù)

16.3.2安裝必備的軟件包

16.3.3使用配置文件

16.4實現(xiàn)基礎(chǔ)模塊

16.4.1FCNet模塊

16.4.2SimpleClassifier模塊

16.5實現(xiàn)問題嵌入模塊

16.5.1詞嵌入

16.5.2RNN

16.6實現(xiàn)TopDown Attention模塊

16.7組裝完整的VQA系統(tǒng)

16.8運行VQA實驗

16.8.1訓(xùn)練

16.8.2可視化

附錄APyTorch環(huán)境搭建

A.1Linux平臺下PyTorch環(huán)境搭建

A.2Windows平臺下PyTorch環(huán)境搭建

附錄B深度學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)

B.1線性代數(shù)

B.2概率論

參考文獻