PyTorch機(jī)器學(xué)習(xí)從入門到實(shí)戰(zhàn)

序 

前言 

第1章 深度學(xué)習(xí)介紹 1 

1.1 人工智能、機(jī)器學(xué)習(xí)與深度學(xué)習(xí) 2 

1.2 深度學(xué)習(xí)工具介紹 5 

1.3 PyTorch介紹 7 

1.4 你能從本書中學(xué)到什么 9 

第2章 PyTorch安裝和快速上手 11 

2.1 PyTorch安裝 12 

2.1.1 Anaconda安裝 12 

2.1.2 PyTorch安裝 19 

2.2 Jupyter Notebook使用 19 

2.3 NumPy基礎(chǔ)知識(shí) 22 

2.3.1 基本概念 23 

2.3.2 創(chuàng)建數(shù)組 24 

2.3.3 基本運(yùn)算 26 

2.3.4 索引、切片和迭代 27 

2.3.5 數(shù)組賦值 32 

2.3.6 更改數(shù)組的形狀 33 

2.3.7 組合、拆分?jǐn)?shù)組 34 

2.3.8 廣播 35 

2.4 PyTorch基礎(chǔ)知識(shí) 37 

2.4.1 Tensor簡(jiǎn)介 37 

2.4.2 Variable簡(jiǎn)介 38 

2.4.3 CUDA簡(jiǎn)介 38 

2.4.4 模型的保存與加載 39 

2.4.5 第一個(gè)PyTorch程序 40 

第3章 神經(jīng)網(wǎng)絡(luò) 43 

3.1 神經(jīng)元與神經(jīng)網(wǎng)絡(luò) 44 

3.2 激活函數(shù) 46 

3.2.1 Sigmoid 47 

3.2.2 Tanh 48 

3.2.3 Hard Tanh 49 

3.2.4 ReLU 50 

3.2.5 ReLU的擴(kuò)展 51 

3.2.6 Softmax 54 

3.2.7 LogSoftmax 55 

3.3 前向算法 55 

3.4 損失函數(shù) 57 

3.4.1 損失函數(shù)的概念 57 

3.4.2 回歸問題 57 

3.4.3 分類問題 58 

3.4.4 PyTorch中常用的損失函數(shù) 59 

3.5 反向傳播算法 62 

3.6 數(shù)據(jù)的準(zhǔn)備 65 

3.7 PyTorch實(shí)例：?jiǎn)螌由窠?jīng)網(wǎng)絡(luò)實(shí)現(xiàn) 66 

第4章 深度神經(jīng)網(wǎng)絡(luò)及訓(xùn)練 70 

4.1 深度神經(jīng)網(wǎng)絡(luò) 72 

4.1.1 神經(jīng)網(wǎng)絡(luò)為何難以訓(xùn)練 72 

4.1.2 改進(jìn)策略 74 

4.2 梯度下降 75 

4.2.1 隨機(jī)梯度下降 75 

4.2.2 Mini-Batch梯度下降 75 

4.3 優(yōu)化器 77 

4.3.1 SGD 77 

4.3.2 Momentum 77 

4.3.3 AdaGrad 78 

4.3.4 RMSProp 79 

4.3.5 Adam 80 

4.3.6 選擇正確的優(yōu)化算法 81 

4.3.7 優(yōu)化器的使用實(shí)例 82 

4.4 正則化 85 

4.4.1 參數(shù)規(guī)范懲罰 85 

4.4.2 Batch Normalization 86 

4.4.3 Dropout 87 

4.5 PyTorch實(shí)例：深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn) 89 

第5章 卷積神經(jīng)網(wǎng)絡(luò) 93 

5.1 計(jì)算機(jī)視覺 95 

5.1.1 人類視覺和計(jì)算機(jī)視覺 95 

5.1.2 特征提取 95 

5.1.3 數(shù)據(jù)集 97 

5.2 卷積神經(jīng)網(wǎng)絡(luò) 100 

5.2.1 卷積層 102 

5.2.2 池化層 104 

5.2.3 經(jīng)典卷積神經(jīng)網(wǎng)絡(luò) 105 

5.3 MNIST數(shù)據(jù)集上卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn) 110 

第6章 嵌入與表征學(xué)習(xí) 114 

6.1 PCA 115 

6.1.1 PCA原理 115 

6.1.2 PCA的PyTorch實(shí)現(xiàn) 116 

6.2 自編碼器 117 

6.2.1 自編碼器原理 118 

6.2.2 PyTorch實(shí)例：自編碼器實(shí)現(xiàn) 118 

6.2.3 PyTorch實(shí)例：基于自編碼器的圖形去噪 122 

6.3 詞嵌入 125 

6.3.1 詞嵌入原理 125 

6.3.2 PyTorch實(shí)例：基于詞向量的語言模型實(shí)現(xiàn) 128 

第7章 序列預(yù)測(cè)模型 132 

7.1 序列數(shù)據(jù)處理 133 

7.2 循環(huán)神經(jīng)網(wǎng)絡(luò) 134 

7.3 LSTM和GRU 138 

7.4 LSTM在自然語言處理中的應(yīng)用 142 

7.4.1 詞性標(biāo)注 142 

7.4.2 情感分析 144 

7.5 序列到序列網(wǎng)絡(luò) 145 

7.5.1 序列到序列網(wǎng)絡(luò)原理 145 

7.5.2 注意力機(jī)制 146 

7.6 PyTorch實(shí)例：基于GRU和Attention 的機(jī)器翻譯 147 

7.6.1 公共模塊 147 

7.6.2 數(shù)據(jù)處理 147 

7.6.3 模型定義 151 

7.6.4 訓(xùn)練模塊定義 155 

7.6.5 訓(xùn)練和模型保存 161 

7.6.6 評(píng)估過程 162 

第8章 PyTorch項(xiàng)目實(shí)戰(zhàn) 165 

8.1 圖像識(shí)別和遷移學(xué)習(xí)——貓狗大戰(zhàn) 166 

8.1.1 遷移學(xué)習(xí)介紹 166 

8.1.2 計(jì)算機(jī)視覺工具包 166 

8.1.3 貓狗大戰(zhàn)的PyTorch實(shí)現(xiàn) 167 

8.2 文本分類 172 

8.2.1 文本分類的介紹 173 

8.2.2 計(jì)算機(jī)文本工具包 174 

8.2.3 基于CNN的文本分類的PyTorch實(shí)現(xiàn) 174 

8.3 語音識(shí)別系統(tǒng)介紹 182 

8.3.1 語音識(shí)別介紹 182 

8.3.2 命令詞識(shí)別的PyTorch實(shí)現(xiàn) 183