移動深度學(xué)習(xí)

第1章初窺移動端深度學(xué)習(xí)技術(shù)的應(yīng)用1

1.1本書示例代碼簡介1

1.1.1安裝編譯好的文件1

1.1.2在DemoApp中應(yīng)用神經(jīng)網(wǎng)絡(luò)技術(shù)2

1.2移動端主體檢測和分類2

1.3在線上產(chǎn)品中以“云+端計(jì)算”的方式應(yīng)用深度學(xué)習(xí)技術(shù)4

1.4在移動端應(yīng)用深度學(xué)習(xí)技術(shù)的業(yè)界案例6

1.4.1植物花卉識別6

1.4.2奇妙的風(fēng)格化效果7

1.4.3視頻主體檢測技術(shù)在App中的應(yīng)用7

1.5在移動端應(yīng)用深度學(xué)習(xí)技術(shù)的難點(diǎn)8

1.5.1在服務(wù)器端和移動端應(yīng)用深度學(xué)習(xí)技術(shù)的難點(diǎn)對比8

1.5.2實(shí)現(xiàn)AR實(shí)時(shí)翻譯功能9

1.6編譯運(yùn)行深度學(xué)習(xí)App12

1.6.1mobile-deep-learning項(xiàng)目環(huán)境簡介12

1.6.2mobile-deep-learning項(xiàng)目整體代碼結(jié)構(gòu)13

1.6.3mobile-deep-learning通用環(huán)境依賴14

1.7在iOS平臺上搭建深度學(xué)習(xí)框架15

1.7.1在iOS平臺上搭建mobile-deep-learning項(xiàng)目15

1.7.2在OSX平臺上編譯mobile-deep-learning項(xiàng)目16

1.7.3iOS平臺上mobile-deep-learning項(xiàng)目的Demo代碼結(jié)構(gòu)17

1.8在Android平臺上搭建深度學(xué)習(xí)框架18

1.8.1Android平臺上mobile-deep-learning項(xiàng)目的環(huán)境依賴18

1.8.2Android平臺上mobile-deep-learning項(xiàng)目的Demo代碼結(jié)構(gòu)19

1.8.3用Paddle-Lite框架編譯與開發(fā)Android應(yīng)用20

1.8.4開發(fā)一個(gè)基于移動端深度學(xué)習(xí)框架的AndroidApp22

第2章以幾何方式理解線性代數(shù)基礎(chǔ)知識32

2.1線性代數(shù)基礎(chǔ)32

2.1.1標(biāo)準(zhǔn)平面直角坐標(biāo)系32

2.1.2改變坐標(biāo)系的基向量34

2.2向量的幾何意義35

2.2.1向量的加減運(yùn)算36

2.2.2向量的數(shù)乘運(yùn)算37

2.3線性組合的幾何意義38

2.4線性空間40

2.5矩陣和變換41

2.6矩陣乘法43

2.7行列式46

2.8矩陣的逆48

2.9秩49

2.10零空間50

2.11點(diǎn)積和叉積的幾何表示與含義51

2.11.1點(diǎn)積的幾何意義51

2.11.2叉積的幾何意義52

2.12線性代數(shù)的特征概念53

2.13抽象向量空間54

第3章什么是機(jī)器學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)56

3.1移動端機(jī)器學(xué)習(xí)的全過程56

3.2預(yù)測過程57

3.3數(shù)學(xué)表達(dá)59

3.3.1預(yù)測過程涉及的數(shù)學(xué)公式59

3.3.2訓(xùn)練過程涉及的數(shù)學(xué)公式60

3.4神經(jīng)元和神經(jīng)網(wǎng)絡(luò)61

3.4.1神經(jīng)元61

3.4.2神經(jīng)網(wǎng)絡(luò)63

3.5卷積神經(jīng)網(wǎng)絡(luò)63

3.6圖像卷積效果65

3.6.1從全局了解視覺相關(guān)的神經(jīng)網(wǎng)絡(luò)65

3.6.2卷積核和矩陣乘法的關(guān)系66

3.6.3多通道卷積核的應(yīng)用69

3.7卷積后的圖片效果70

3.8卷積相關(guān)的兩個(gè)重要概念：padding和stride75

3.8.1讓卷積核“出界”：padding75

3.8.2讓卷積核“跳躍”：stride75

3.9卷積后的降維操作：池化76

3.10卷積的重要性77

第4章移動端常見網(wǎng)絡(luò)結(jié)構(gòu)78

4.1早期的卷積神經(jīng)網(wǎng)絡(luò)78

4.2AlexNet網(wǎng)絡(luò)結(jié)構(gòu)79

4.3GoogLeNet網(wǎng)絡(luò)結(jié)構(gòu)79

4.3.1模型體積問題80

4.3.2計(jì)算量問題80

4.4嘗試在App中運(yùn)行GoogLeNet81

4.4.1將32位float參數(shù)轉(zhuǎn)化為8位int參數(shù)以降低傳輸量82

4.4.2將CPU版本服務(wù)器端框架移植到移動端83

4.4.3應(yīng)用在產(chǎn)品中的效果84

4.5輕量化模型SqueezeNet85

4.5.1SqueezeNet的優(yōu)化策略85

4.5.2fire模塊86

4.5.3SqueezeNet的全局86

4.6輕量高性能的MobileNet88

4.6.1什么是深度可分離卷積（DepthwiseSeparableConvolution）88

4.6.2MobileNetv1網(wǎng)絡(luò)結(jié)構(gòu)89

4.6.3MobileNetv2網(wǎng)絡(luò)結(jié)構(gòu)91

4.7移動端神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化方向92

第5章ARMCPU組成94

5.1現(xiàn)代計(jì)算機(jī)與ARMCPU架構(gòu)的現(xiàn)狀94

5.1.1馮?諾依曼計(jì)算機(jī)的基本結(jié)構(gòu)94

5.1.2移動計(jì)算設(shè)備的分工96

5.2簡單的CPU模型98

5.2.1取指過程98

5.2.2譯碼過程99

5.2.3執(zhí)行過程100

5.2.4回寫過程101

5.2.5細(xì)化分工：流水線技術(shù)102

5.3匯編指令初探102

5.3.1匯編語言程序的第一行102

5.3.2這些指令是什么105

5.4匯編指令概況106

5.4.1ARMCPU家族106

5.4.2ARMv7-A處理器架構(gòu)107

5.4.3ARMv7匯編指令介紹109

5.5ARM指令集架構(gòu)111

5.6ARM手機(jī)芯片的現(xiàn)狀與格局113

第6章存儲金字塔與ARM匯編115

6.1ARMCPU的完整結(jié)構(gòu)115

6.2存儲設(shè)備的金字塔結(jié)構(gòu)117

6.3ARM芯片的緩存設(shè)計(jì)原理119

6.3.1緩存的基本理解119

6.3.2簡單的緩存映射結(jié)構(gòu)：直接映射121

6.3.3靈活高效的緩存結(jié)構(gòu)：組相聯(lián)映射123

6.3.4利用一個(gè)簡單的公式優(yōu)化訪存性能125

6.4ARM匯編知識126

6.4.1ARM匯編數(shù)據(jù)類型和寄存器127

6.4.2ARM指令集130

6.4.3ARM匯編的內(nèi)存操作131

6.5NEON匯編指令133

6.5.1NEON寄存器與指令類型134

6.5.2NEON存儲操作指令135

6.5.3NEON通用數(shù)據(jù)操作指令137

6.5.4NEON通用算術(shù)操作指令138

6.5.5NEON乘法指令139

6.5.6運(yùn)用NEON指令計(jì)算矩陣乘法140

第7章移動端CPU預(yù)測性能優(yōu)化142

7.1工具及體積優(yōu)化142

7.1.1工具使用143

7.1.2模型體積優(yōu)化148

7.1.3深度學(xué)習(xí)庫文件體積優(yōu)化149

7.2CPU高性能通用優(yōu)化150

7.2.1編譯選項(xiàng)優(yōu)化150

7.2.2內(nèi)存性能和耗電量優(yōu)化151

7.2.3循環(huán)展開153

7.2.4并行優(yōu)化與流水線重排154

7.3卷積性能優(yōu)化方式157

7.3.1滑窗卷積和GEMM性能對比157

7.3.2基于Winograd算法進(jìn)行卷積性能優(yōu)化160

7.3.3快速傅里葉變換162

7.3.4卷積計(jì)算基本優(yōu)化163

7.4開發(fā)問題與經(jīng)驗(yàn)總結(jié)164

第8章移動端GPU編程及深度學(xué)習(xí)框架落地實(shí)踐166

8.1異構(gòu)計(jì)算編程框架OpenCL166

8.1.1開發(fā)移動端GPU應(yīng)用程序167

8.1.2OpenCL中的一些概念168

8.2移動端視覺搜索研發(fā)169

8.2.1初次探索移動端AI能力170

8.2.2取消拍照按鈕，提升視覺搜索體驗(yàn)171

8.2.3使用深度學(xué)習(xí)技術(shù)提速視覺搜索172

8.2.4通過AI工程技術(shù)提升視覺搜索體驗(yàn)174

8.3解決歷史問題：研發(fā)Paddle-Lite框架176

8.3.1體積壓縮178

8.3.2工程結(jié)構(gòu)編碼前重新設(shè)計(jì)178

8.3.3視覺搜索的高級形態(tài)：實(shí)時(shí)視頻流式搜索184