人工神經(jīng)網(wǎng)絡：模型、算法及應用

第1章 緒論\t1
1．1　什么是人工神經(jīng)網(wǎng)絡\t1
1．2　發(fā)展歷史\t2
1．3　人腦\t4
1．4　Hebb法則\t7
1．5　神經(jīng)元模型\t7
1．6　神經(jīng)網(wǎng)絡的拓撲結構\t9
1．7　知識表示\t11
1．8　神經(jīng)網(wǎng)絡的學習算法\t15
1．9　神經(jīng)網(wǎng)絡的學習任務\t17
1．10　小結\t20
參考文獻\t21
第2章 感知機\t22
2．1　引言\t22
2．2　實例引入\t22
2．3　Rosenblatt感知機\t23
2．3．1 感知機的結構\t23
2．3．2 單層感知機與多層感知機\t23
2．3．3 感知機的學習\t27
2．4　最小均方誤差\t27
2．4．1 線性回歸問題引入\t27
2．4．2 最小均方算法\t28
2．5　實戰(zhàn)Iris模式分類\t30
2．6　小結\t31
參考文獻\t32
習題\t32
第3章 多層前饋神經(jīng)網(wǎng)絡\t33
3．1　引言\t33
3．2　多層前饋神經(jīng)網(wǎng)絡模型結構\t33
3．3　BP神經(jīng)網(wǎng)絡\t35
3．3．1 BP神經(jīng)網(wǎng)絡的介紹\t35
3．3．2 BP算法\t35
3．3．3 編程實戰(zhàn)\t38
3．4　RBF神經(jīng)網(wǎng)絡\t41
3．4．1 什么是RBF神經(jīng)網(wǎng)絡\t41
3．4．2 RBF神經(jīng)網(wǎng)絡的學習過程\t42
3．4．3 RBF神經(jīng)網(wǎng)絡與BP神經(jīng)網(wǎng)絡的區(qū)別\t42
3．5　泛化能力\t43
3．5．1 什么是泛化\t43
3．5．2 如何提高泛化能力\t44
3．6　函數(shù)逼近\t46
3．6．1 通用逼近定理\t46
3．6．2 逼近誤差的邊界\t46
3．6．3 維數(shù)災難\t47
3．7　BP算法的優(yōu)點和缺點\t48
3．7．1 BP算法的優(yōu)點\t48
3．7．2 BP算法的缺點\t49
3．8　人臉識別應用\t50
3．8．1 人臉圖像的小波變換\t52
3．8．2 BP神經(jīng)網(wǎng)絡的分類識別\t53
3．8．3 RBF神經(jīng)網(wǎng)絡的分類識別\t53
3．8．4 實驗結果\t54
3．9　小結\t55
參考文獻\t55
習題\t56
第4章 正則化理論\t57
4．1　引言\t57
4．2　良態(tài)問題的Hadamard條件\t58
4．3　正則化理論\t58
4．4　正則化網(wǎng)絡\t66
4．5　廣義RBF神經(jīng)網(wǎng)絡\t66
4．6　正則化最小二乘估計\t69
4．7　半監(jiān)督學習\t71
4．8　正則化參數(shù)估計\t71
4．9　流形正則化\t75
4．10　廣義正則化理論\t76
4．11　用半監(jiān)督學習對模式分類的
實驗\t77
4．12　小結\t79
參考文獻\t80
習題\t81
第5章 極限學習機模型及應用\t84
5．1　引言\t84
5．2　預備知識\t84
5．2．1 核方法\t84
5．2．2 支持向量機\t86
5．3　極限學習機模型\t91
5．4　核極限學習機\t94
5．5　正則極限學習機\t95
5．6　基于正則極限學習機的圖像復原\t97
5．7　基于正規(guī)方程式的核極限學習機\t99
5．7．1 模型結構與算法\t99
5．7．2 基于NE-KELM的模式識別實驗\t101
5．8　基于共軛梯度的核極限學習機\t103
5．8．1 共軛梯度法\t104
5．8．2 模型結構與算法\t104
5．8．3 基于CG-KELM的圖像復原實驗\t105
5．9　流形正則化核極限學習機\t107
5．9．1 流形正則化核極限學習機的模型結構與算法\t107
5．9．2 基于MR-KELM的糖尿病檢測實驗\t107
5．10　基于核極限學習機的醫(yī)療診斷系統(tǒng)\t108
5．10．1 PL-KELM的流程\t108
5．10．2 基于PL-KELM的模式識別實驗\t110
5．10．3 腫瘤細胞識別系統(tǒng)\t111
5．11　小結\t112
參考文獻\t113
習題\t114
第6章 形態(tài)神經(jīng)網(wǎng)絡\t115
6．1　引言\t115
6．2　形態(tài)學算法基礎\t115
6．2．1 數(shù)學形態(tài)學的定義\t115
6．2．2 數(shù)學形態(tài)濾波\t116
6．3　形態(tài)神經(jīng)網(wǎng)絡模型\t117
6．4　形態(tài)聯(lián)想記憶神經(jīng)網(wǎng)絡模型及其攝動魯棒性\t118
6．4．1 MAM神經(jīng)網(wǎng)絡的數(shù)學基礎與相關定義\t118
6．4．2 兩種MAM神經(jīng)網(wǎng)絡的攝動魯棒性\t119
6．5　進化形態(tài)神經(jīng)網(wǎng)絡\t123
6．5．1 進化形態(tài)神經(jīng)網(wǎng)絡的學習算法\t124
6．5．2 基于進化形態(tài)神經(jīng)網(wǎng)絡的圖像復原\t125
6．6　小結\t127
參考文獻\t127
習題\t129
第7章 自組織映射\t130
7．1　引言\t130
7．2　兩個基本的特征映射模型\t131
7．3　SOM概述\t132
7．4　特征映射的性質(zhì)\t137
7．5　核SOM概述\t142
7．6　小結\t148
參考文獻\t149
習題\t149
第8章 卷積神經(jīng)網(wǎng)絡模型及應用\t151
8．1　引言\t151
8．2　卷積神經(jīng)網(wǎng)絡模型\t152
8．2．1 卷積神經(jīng)網(wǎng)絡的基本結構和原理\t152
8．2．2 LeNet-5\t159
8．2．3 AlexNet\t160
8．2．4 VGGNet\t167
8．2．5 Inception\t170
8．2．6 ResNet\t179
8．2．7 Inception-ResNet\t188
8．3　基于卷積神經(jīng)網(wǎng)絡的白細胞分類\t190
8．3．1 白細胞圖像去噪\t191
8．3．2 基于k-Means顏色聚類算法的顯微白細胞圖像分割\t194
8．3．3 基于改進卷積神經(jīng)網(wǎng)絡的顯微
白細胞圖像識別\t195
8．4　結合卷積神經(jīng)網(wǎng)絡和極限學習機的人臉識別\t200
8．4．1 卷積神經(jīng)網(wǎng)絡參數(shù)訓練\t201
8．4．2 正則極限學習機進行圖像分類\t202
8．4．3 基于CNN-RELM的人臉識別模型實驗與對比分析\t203
8．5　基于深度遷移學習的腫瘤細胞圖像識別\t206
8．5．1 引言\t206
8．5．2 正則化與遷移學習\t207
8．5．3 基于深度遷移學習的腫瘤細胞圖像識別\t208
8．6 小結\t212
參考文獻\t212
習題\t213
第9章 生成對抗網(wǎng)絡模型\t214
9．1　引言\t214
9．2　預備知識\t214
9．2．1 GAN基礎模型\t215
9．2．2 GAN訓練\t216
9．2．3 平衡狀態(tài)\t216
9．2．4 為什么學習GAN\t217
9．2．5 GAN概述\t218
9．2．6 顯式密度模型\t218
9．2．7 隱式密度模型\t218
9．2．8 GAN與其他生成算法比較\t218
9．3　GAN的基礎理論\t219
9．3．1 GAN的基礎――對抗訓練\t219
9．3．2 損失函數(shù)\t220
9．3．3 訓練過程\t220
9．3．4 生成器和鑒別器\t221
9．3．5 目標沖突\t222
9．3．6 混淆矩陣\t222
9．3．7 GAN訓練算法\t223
9．4　訓練和常見挑戰(zhàn)\t223
9．4．1 評價\t223
9．4．2 評價框架\t224
9．4．3 Inception Score\t225
9．4．4 Frechet Inception Distance（FID）\t225
9．4．5 訓練挑戰(zhàn)\t226
9．4．6 增加網(wǎng)絡深度\t226
9．4．7 各種GAN游戲設置\t227
9．4．8 什么時候停止訓練\t230
9．5　訓練技巧\t231
9．5．1 輸入標準化\t231
9．5．2 批量標準化\t231
9．5．3 理解標準化\t231
9．5．4 計算BN\t232
9．5．5 梯度懲罰\t232
9．5．6 多訓練鑒別器\t232
9．5．7 避免稀疏梯度\t233
9．5．8 使用軟標簽和帶噪聲的標簽\t233
9．6　自注意生成對抗網(wǎng)絡\t233
9．6．1 注意力\t233
9．6．2 自注意力\t235
9．6．3 核心代碼\t236
9．7　進化生成對抗網(wǎng)絡\t237
9．7．1 基本介紹\t237
9．7．2 動機\t237
9．7．3 進化算法\t238
9．7．4 生成的圖像\t240
9．8　生成對抗網(wǎng)絡和遷移學習\t240
9．8．1 遷移學習的概念\t240
9．8．2 為什么要遷移學習\t241
9．8．3 遷移學習的基本形式\t242
9．8．4 GAN和遷移學習的聯(lián)系\t243
9．9　對抗領域自適應用于腫瘤圖像診斷\t243
9．9．1 對抗領域自適應網(wǎng)絡模型\t244
9．9．2 特征提取器\t245
9．9．3 數(shù)據(jù)集和實驗設置\t246
9．9．4 結果分析與討論\t246
9．9．5 探討\t247
9．10　小結\t247
參考文獻\t247
習題\t249
第10章 長短時記憶網(wǎng)絡\t250
10．1　引言\t250
10．2　RNN\t250
10．2．1 RNN的結構模型\t250
10．2．2 RNN模型的優(yōu)缺點\t251
10．3　LSTM的結構模型與實現(xiàn)\t252
10．4　LSTM的學習算法\t253
10．5　LSTM的網(wǎng)絡方程\t255
10．6　LSTM的實際應用\t257
10．6．1 數(shù)據(jù)預處理\t257
10．6．2 建立模型與訓練\t258
10．6．3 結果展示\t259
10．7　小結\t259
參考文獻\t260
習題\t260
第11章 模糊神經(jīng)網(wǎng)絡\t261
11．1　緒論\t261
11．1．1 模糊集合、模糊邏輯理論及其運算\t261
11．1．2 模糊邏輯推理\t264
11．1．3 FNN概述\t267
11．2　訓練模式對的攝動對MFNN的影響\t271
11．2．1 FNN中的攝動魯棒性\t271
11．2．2 MFNN及其學習算法\t273
11．2．3 分析訓練模式對的攝動對MFNN的影響\t275
11．3　折線FNN的泛逼近性\t279
11．3．1 相關記號與術語\t279
11．3．2 折線模糊數(shù)\t280
11．3．3 三層前饋折線FNN\t282
11．3．4 折線FNN對模糊函數(shù)的通用逼近性\t285
11．3．5 輸入為一般模糊數(shù)的折線FNN的通用逼近性\t291
11．3．6 一般折線FNN的通用逼近性分析\t296
11．4　模糊化神經(jīng)網(wǎng)絡的學習算法\t301
11．4．1 折線FNN的學習算法\t302
11．4．2 折線FNN的模糊學習算法\t305
11．4．3 正則FNN的學習算法\t312
11．5　小結\t317
參考文獻\t318
習題\t319