深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)：設(shè)計(jì)與案例研究

目錄
譯者序
致謝
前言
第1章 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)：方法和范圍 1
1.1 定義 1
1.2 深度神經(jīng)網(wǎng)絡(luò)簡史及其應(yīng)用 1
1.3 本書范圍 3
1.4 本書的結(jié)構(gòu)安排 4
參考文獻(xiàn) 5
第2章 神經(jīng)網(wǎng)絡(luò)的基本概念 8
2.1 Hebbian原理 8
2.2 感知器 8
2.3 聯(lián)想記憶 10
2.4 “贏者通吃”原理 11
2.5 卷積積分 12
參考文獻(xiàn) 13
第3章 反向傳播神經(jīng)網(wǎng)絡(luò) 14
3.1 反向傳播結(jié)構(gòu) 14
3.2 反向傳播算法的推導(dǎo) 14
3.3 反向傳播算法的改進(jìn) 18
3.3.1 神經(jīng)網(wǎng)絡(luò)偏差的引入 18
3.3.2 結(jié)合動(dòng)量或平滑項(xiàng)調(diào)整權(quán)重 19
3.3.3 關(guān)于收斂性的其他修正 19
參考文獻(xiàn) 20
第4章 認(rèn)知機(jī)與新認(rèn)知機(jī) 21
4.1 引言 21
4.2 認(rèn)知機(jī)的原理 21
4.3 認(rèn)知機(jī)網(wǎng)絡(luò)的推導(dǎo) 22
4.3.1 興奮性神經(jīng)元 22
4.3.2 抑制性神經(jīng)元 23
4.4 認(rèn)知機(jī)網(wǎng)絡(luò)的訓(xùn)練 23
4.5 新認(rèn)知機(jī) 24
參考文獻(xiàn) 25
第5章 卷積神經(jīng)網(wǎng)絡(luò) 27
5.1 引言 27
5.2 前饋結(jié)構(gòu) 27
5.2.1 基本結(jié)構(gòu) 27
5.2.2 設(shè)計(jì)細(xì)節(jié) 30
5.3 卷積層 31
5.3.1 卷積濾波器設(shè)計(jì) 31
5.3.2 核權(quán)值在卷積層中的作用 32
5.3.3 卷積層的輸出 32
5.4 反向傳播算法 33
5.5 修正線性單元層 33
5.6 池化層 34
5.6.1 最大池化 34
5.6.2 平均池化 35
5.6.3 其他池化方法 35
5.7 隨機(jī)失活層 35
5.8 輸出全連接層 36
5.9 參數(shù)(權(quán)重)共享層 36
5.10 應(yīng)用 36
5.11 案例研究 37
參考文獻(xiàn) 37
第6章 大內(nèi)存存儲(chǔ)與檢索神經(jīng)網(wǎng)絡(luò) 40
6.1 大內(nèi)存存儲(chǔ)與檢索神經(jīng)網(wǎng)絡(luò)原理 40
6.1.1 簡介 40
6.1.2 大內(nèi)存存儲(chǔ)與檢索神經(jīng)網(wǎng)絡(luò)的版本 41
6.1.3 大內(nèi)存存儲(chǔ)與檢索神經(jīng)網(wǎng)絡(luò)的基本原理 41
6.1.4 基本結(jié)構(gòu)元素 42
6.1.5 輸入存儲(chǔ)權(quán)重的設(shè)置和獲勝神經(jīng)元的確定 44
6.1.6 在自組織映射模塊中調(diào)整分辨率 45
6.1.7 自組織映射模塊和從自組織映射模塊到輸出模塊之間的鏈接 45
6.1.8 權(quán)重 46
6.1.9 初始值和局部最小值 46
6.1.10 遺忘和抑制 47
6.1.11 對(duì)預(yù)處理器和協(xié)處理器的輸入層的設(shè)置 47
6.1.12 訓(xùn)練與運(yùn)行 48
6.1.13 面對(duì)數(shù)據(jù)缺失的操作 48
6.1.14 大內(nèi)存存儲(chǔ)與檢索神經(jīng)網(wǎng)絡(luò)的決策過程 48
6.2 大內(nèi)存存儲(chǔ)與檢索神經(jīng)網(wǎng)絡(luò)1型 49
6.2.1 通過連接權(quán)值確定獲勝?zèng)Q策 49
6.2.2 大內(nèi)存存儲(chǔ)與檢索神經(jīng)網(wǎng)絡(luò)1型核心算法(動(dòng)態(tài)大內(nèi)存存儲(chǔ)與檢索) 49
6.3 大內(nèi)存存儲(chǔ)與檢索神經(jīng)網(wǎng)絡(luò)2型 52
6.3.1 動(dòng)機(jī) 52
6.3.2 改進(jìn)的大內(nèi)存存儲(chǔ)與檢索神經(jīng)網(wǎng)絡(luò)算法 52
6.3.3 動(dòng)態(tài)大內(nèi)存存儲(chǔ)與檢索神經(jīng)網(wǎng)絡(luò) 53
6.4 使用LAMSTAR-1和LAMSTAR-2進(jìn)行數(shù)據(jù)分析 56
6.4.1 基于連接權(quán)值信息的數(shù)據(jù)分析能力 56
6.4.2 大內(nèi)存存儲(chǔ)與檢索神經(jīng)網(wǎng)絡(luò)輸入的連接權(quán)值情況圖 57
6.4.3 大內(nèi)存存儲(chǔ)與檢索神經(jīng)網(wǎng)絡(luò)中的特征提取與去除 57
6.4.4 相關(guān)和插值 58
6.4.5 大內(nèi)存存儲(chǔ)與檢索神經(jīng)網(wǎng)絡(luò)的更新檢測 60
6.5 大內(nèi)存存儲(chǔ)與檢索神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)平衡預(yù)設(shè)程序 60
6.5.1 數(shù)據(jù)不平衡的解決方法 60
6.5.2 預(yù)處理訓(xùn)練核心算法 60
6.6 評(píng)論及應(yīng)用 62
6.6.1 評(píng)論 62
6.6.2 應(yīng)用 63
參考文獻(xiàn) 63
第7章 用于深度學(xué)習(xí)的其他神經(jīng)網(wǎng)絡(luò) 66
7.1 深度玻耳茲曼機(jī) 66
7.2 深度遞歸神經(jīng)網(wǎng)絡(luò) 68
7.3 反卷積/小波神經(jīng)網(wǎng)絡(luò) 69
參考文獻(xiàn) 71
第8章 案例研究 73
8.1 人類活動(dòng)識(shí)別 73
8.2 醫(yī)學(xué)：癲癇發(fā)作的預(yù)測 76
8.3 醫(yī)學(xué)：癌癥檢測圖像處理 77
8.4 圖像處理：從2D圖像到3D 78
8.5 圖像分析：場景分類 79
8.6 圖像識(shí)別：指紋識(shí)別1 80
8.7 圖像識(shí)別：指紋識(shí)別2 82
8.8 人臉識(shí)別 83
8.9 圖像識(shí)別：蝴蝶種類分類 84
8.10 圖像識(shí)別：樹葉分類 85
8.11 圖像識(shí)別：交通標(biāo)志識(shí)別 86
8.12 信息檢索：編程語言分類 87
8.13 信息檢索：對(duì)從轉(zhuǎn)錄自然語言在會(huì)話中的信息分類 88
8.14 語音識(shí)別 89
8.15 音樂流派分類 90
8.16 安全/財(cái)務(wù)：信用卡欺詐檢測 91
8.17 從測試鉆井的滲透率數(shù)據(jù)預(yù)測石油鉆探位置 92
8.18 森林火災(zāi)預(yù)測 93
8.19 市場微觀結(jié)構(gòu)中價(jià)格走勢預(yù)測 94
8.20 故障檢測：通過聲波發(fā)射診斷軸承故障 95
參考文獻(xiàn) 96
第9章 總結(jié) 99
附錄A 問題 102
附錄B 介紹 105
附錄C 程序 106