深度學習及加速技術：入門與實踐

CONTENTS
目　　錄
前言
理論篇
第1章　人工智能簡介 2
1.1　人工智能概念 2
1.1.1　人工智能定義 2
1.1.2　人工智能發(fā)展歷程 3
1.2　人工智能與深度學習 4
1.2.1　人工智能與深度學習之間
的關系 4
1.2.2　圖靈機與丘奇-圖靈論題 5
1.3　人工智能發(fā)展階段 6
1.3.1　人工智能1.0——知識＋
算法＋算力 6
1.3.2　人工智能2.0——數(shù)據(jù)＋
算法＋算力 7
1.3.3　人工智能3.0——知識＋
數(shù)據(jù)＋算法＋算力 7
1.3.4　人工智能4.0——存算
一體化 8
1.4　人工智能應用 9
1.4.1　工業(yè)零部件尺寸測量與
缺陷檢測 9
1.4.2　目標檢測與跟蹤 9
1.4.3　人臉比對與識別 10
1.4.4　三維影像重構 10
第2章　神經網(wǎng)絡數(shù)學基礎 12
2.1　線性向量空間 12
2.2　內積 14
2.3　線性變換與矩陣表示 15
2.4　梯度 17
第3章　神經網(wǎng)絡與學習規(guī)則 20
3.1　神經元模型與網(wǎng)絡結構 20
3.1.1　神經元模型 20
3.1.2　神經網(wǎng)絡結構 22
3.2　感知機學習 24
3.2.1　感知機定義及結構 24
3.2.2　感知機學習規(guī)則 25
3.3　Hebb學習 28
3.3.1　無監(jiān)督Hebb學習 28
3.3.2　有監(jiān)督Hebb學習 29
3.4　性能學習 30
3.4.1　性能指數(shù) 30
3.4.2　梯度下降法 31
3.4.3　隨機梯度下降法 32
第4章　反向傳播 33
4.1　LMS算法 33
4.2　反向傳播算法 35
4.2.1　性能指數(shù) 36
4.2.2　鏈式法則 36
4.2.3　反向傳播計算敏感性 38
4.2.4　反向傳播算法總結 39
4.3　反向傳播算法變形 39
4.3.1　批數(shù)據(jù)訓練法 40
4.3.2　動量訓練法 40
4.3.3　標準數(shù)值優(yōu)化技術 42
4.4　反向傳播算法實例分析 42
第5章　卷積神經網(wǎng)絡 45
5.1　卷積神經網(wǎng)絡基礎 45
5.1.1　全連接神經網(wǎng)絡與卷積
神經網(wǎng)絡 45
5.1.2　卷積神經網(wǎng)絡組成結構 46
5.1.3　卷積神經網(wǎng)絡進化史 50
5.2　LeNet 50
5.2.1　LeNet結構 51
5.2.2　LeNet特點 52
5.3　AlexNet 52
5.3.1　AlexNet結構 52
5.3.2　AlexNet特點 54
5.4　VGGNet 54
5.4.1　VGG16結構 55
5.4.2　VGG16特點 57
5.5　GoogLeNet 57
5.5.1　Inception結構 57
5.5.2　GoogLeNet結構——基于Inception V1模塊 59
5.5.3　GoogLeNet特點 62
5.6　ResNet 62
5.6.1　ResNet殘差塊結構 63
5.6.2　ResNet結構 63
5.6.3　ResNet特點 66
第6章　目標檢測與識別 67
6.1　R-CNN 67
6.1.1　基于SS方法的候選區(qū)域
選擇 68
6.1.2　候選區(qū)域預處理 68
6.1.3　CNN特征提取 69
6.1.4　SVM目標分類 69
6.1.5　Bounding box回歸 70
6.2　Fast R-CNN 70
6.2.1　基于SS方法的候選區(qū)域
生成 71
6.2.2　CNN分類與回歸 71
6.2.3　Fast R-CNN目標檢測
　算法特點 72
6.3　Faster R-CNN 73
6.3.1　CNN特征提取 73
6.3.2　RPN候選框生成 74
6.3.3　CNN分類與回歸 74
6.3.4　Faster R-CNN目標檢測
算法特點 75
6.4　YOLO 75
6.4.1　YOLOv1 75
6.4.2　YOLOv2 77
6.4.3　YOLOv3 80
第7章　深度學習優(yōu)化技術 83
7.1　梯度消失 83
7.2　過擬合 85
7.2.1　增加訓練數(shù)據(jù)集 85
7.2.2　regularization 86
7.2.3　dropout技術 88
7.3　初始值與學習速度 89
7.3.1　初始值選擇規(guī)則 89
7.3.2　可變的學習速度 91
7.4　損失函數(shù) 92
7.4.1　均方誤差損失函數(shù) 92
7.4.2　cross-entropy損失函數(shù) 93
7.4.3　log-likelyhood損失函數(shù) 95
第8章　深度學習加速技術 96
8.1　軟件模型優(yōu)化技術 96
8.1.1　網(wǎng)絡模型優(yōu)化 96
8.1.2　計算精度降低 97
8.1.3　網(wǎng)絡剪枝技術 97
8.2　GPU加速技術 98
8.3　TPU加速技術 100
8.4　FPGA加速技術 102
8.4.1　全連接神經網(wǎng)絡加速 102
8.4.2　卷積神經網(wǎng)絡加速 103
應用篇
第9章　基于OpenCL的FPGA異構
并行計算技術 106
9.1　OpenCL技術基礎與環(huán)境搭建 106
9.1.1　OpenCL技術基礎 106
9.1.2　OpenCL環(huán)境搭建 107
9.2　OpenCL異構并行計算架構 115
9.2.1　平臺模型 116
9.2.2　執(zhí)行模型 116
9.2.3　內存模型 117
9.3　OpenCL C語言基本語法與程序
設計 118
9.3.1　基本語法與關鍵字 118
9.3.2　數(shù)據(jù)類型 119
9.3.3　維度與工作項 122
9.3.4　其他注意事項 123
9.4　基于OpenCL的FPGA異構并行
計算實現(xiàn)方法 123
9.4.1　主程序設計 123
9.4.2　內核程序設計 139
第10章　基于OpenCL的FPGA異構
并行計算應用案例 140
10.1　整體描述 140
10.2　內核