神經網絡系統(tǒng)理論

序言
前言
第一章緒論
1.1神經網絡的研究歷史(1)
1.2生物神經元模型(4)
1.2.1神經元的結構(5)
1.2.2神經元的功能(5)
1.3神經網絡的基本特征和通有性質(6)
1.3.1神經網絡的形式化描述(6)
1.3.2神經網絡模型(7)
1.3.3神經網絡的信息處理能力(8)
1.3.4神經網絡的互連結構形態(tài)(10)
1.3.5神經網絡的分類與工作方式(10)
1.3.6神經網絡的學習規(guī)則與分類(13)
1.4神經網絡的研究方法與主要內容(14)
1.4.1神經網絡的宏觀研究方法(14)
1.4.2神經網絡未來發(fā)展方向與研究課題(15)
第二章神經網絡理論與基礎
2.1MP模型和Hebb學習規(guī)則17)
2.1.1MP模型(17)
2.1.2Hebb學習規(guī)則(17)
2.1.3延時MP模型(18)
2.1.4改進的MP模型(18)
2.2動力系統(tǒng)的穩(wěn)定性(19)
2.2.1穩(wěn)定性分析的數學基礎(19)
2.2.2V函數的性質的判別(20)
2.2.3定號函數的幾何解釋(20)
2.2.4穩(wěn)定性的基本定義(20)
2.3穩(wěn)定性的Lyapunov第二方法(22)
第三章神經網絡模型Ⅰ:前向網絡
3.1線性閾值單元(26)
3.1.1基本性質(26)
3.1.2用線性閾值單元實現(xiàn)布爾函數(26)
3.1.3線性可分性與學習(26)
3.2感知器(27)
3.2.1感知器學習算法(28)
3.2.2多層感知器(29)
3.2.3梯度算法(30)
3.2.4多層感知器學習的定量分析(32)
3.3BP算法(反向傳播算法)(34)
3.4前向網絡的映射作用與容量分析(36)
3.4.1映射作用(36)
3.4.2前向網絡的容量分析(39)
3.5自適應線性元件(Adaline)(41)
3.5.1線性可分性(42)
3.5.2非線性可分性——非線性輸入函數(42)
3.5.3MADALINES網絡(43)
3.5.4Widrow-Hoffδ規(guī)則(44)
3.6交替投影神經網絡(APNN)(45)
3.6.1凸集投影理論(46)
3.6.2交替投影神經網絡(46)
3.6.3穩(wěn)態(tài)收斂性(49)
3.6.4學習和訓練(50)
3.6.5多層APNN(50)
第四章神經網絡模型Ⅱ:反饋網絡
4.1離散的Hopfield神經網絡(52)
4.2聯(lián)想記憶與神經計算(57)
4.2.1聯(lián)想記憶(AssociativeMemory)(57)
4.2.2神經計算(58)
4.3連續(xù)時間Hopfield神經網絡模型(59)
4.3.1非線性連續(xù)時間Hopfield神經網絡(59)
4.3.2Hopfield神經網絡的設計與穩(wěn)定性(64)
4.4高階關聯(lián)神經網絡模型(67)
4.5聯(lián)想存貯器分析(70)
4.6雙向聯(lián)想記憶(BAM)(73)
4.6.1離散BAM(BidrectionAssociativeMemory)(73)
4.6.2連續(xù)和自適應BAM網絡(76)
4.6.3高階自適應BAM網絡(77)
4.6.4四種無導師聯(lián)想學習規(guī)則(78)
4.6.5竟爭自適應BAM網絡(78)
4.6.6隨機自適應BAM網絡(79)
4.7高階自相關器和異相關器(79)
4.7.1一階自相關器(79)
4.7.2高階自相關器(81)
4.7.3一階異相關器(81)
4.7.4高階異相關器(82)
4.7.5一階IBAM(85)
4.7.6高階IBAM(88)
第五章自組織神經網絡
5.1自適應共振理論(ART)(89)
5.1.1ART的基本原理(89)
5.1.2ART學習算法(90)
5.2自組織特征映射(92)
5.3CPN模型(94)
5.3.1CPN的訓練(97)
5.3.2CPN的計算(97)
5.4神經認知機(98)
第六章隨機神經網絡
6.1模擬退火算法(101)
6.1.1模擬退火算法(101)
6.1.2改進的模擬退火法(103)
6.1.3SA算法的收斂性(105)
6.2Boltzmann機(106)
6.2.1Boltzmann機模型(106)
6.2.2能量函數(106)
6.2.3學習算法(108)
6.2.4Boltzmann機學習算法推導(110)
6.3NN的概率統(tǒng)計法(111)
6.4并行分布Cauchy機(114)
6.5神經網絡的熵理論(116)
6.５.１NN計算能量與熵(116)
6.５.２同步并行計算(117)
6.５.３異步串行計算(118)
6.6動力系統(tǒng)的分維學(121)
6.６.１Hausdorff維數(121)
6.６.２分維的量度(122)
6.7分維神經網絡(124)
6.７.１分維NN結構(124)
6.７.２信息的存貯(124)
第七章神經網絡的統(tǒng)一描述與Systolic陣列實現(xiàn)
7.1Systolic陣列(127)
7.1.1Systolic陣列基本概念(127)
7.1.2Systolic陣列結構(128)
7.1.3Systolic實用算法(131)
7.1.4Systolic陣列的應用(132)
7.2波前陣列處理器(134)
7.3神經網絡的通有迭代模型(135)
7.3.1回憶階段的通有公式(135)
7.3.2學習階段的通有公式(137)
7.4回歸BP和HMM的統(tǒng)一描述(142)
7.4.1回歸BP神經網絡(142)
7.4.2隱元Markov模型(HMM)(144)
7.5算法到Systolic陣列/波前陣列結構的映射(145)
7.6通有迭代ANN模型的Systolic設計(148)
7.6.１回憶階段系統(tǒng)的環(huán)形Systolic設計(148)
7.6.2學習階段的環(huán)形Systolic設計(151)
第八章連續(xù)時間非線性神經網絡模型及其時空特征
8.1通有連續(xù)時間神經網絡模型(159)
8.1.1通有ＮＮ模型(160)
8.1.2通有NN的穩(wěn)定性(160)
8.1.3通有NN的計算能量函數(163)
8.1.4包含有不穩(wěn)定子系統(tǒng)的大規(guī)模神經網絡穩(wěn)定性分析(164)
8.2通有神經網絡模型的關聯(lián)穩(wěn)定性(167)
8.2.1有向圖(167)
8.2.2大規(guī)模動力系統(tǒng)的結構與結構擾動(168)
8.2.3神經網絡的關聯(lián)穩(wěn)定性(170)
8.3通有神經網絡的時空結構與延時動力學(182)
8.3.1通有神經網絡模型的漸近行為和延時穩(wěn)定性(182)
8.3.2通有神經網絡模型的延時關聯(lián)穩(wěn)定性(188)
第九章神經網絡的設計與綜合
9.1聯(lián)想記憶設計要求(192)
9.2神經網絡綜合的基本方法(193)
9.2.1外積法(OuterProductMethod-OPM)(193)
9.2.2投影學習規(guī)則(194)
9.2.3特征結構法(EigenstructureMethod)(196)
9.2.4非對稱連接矩陣網絡綜合(198)
9.2.5小結(199)
9.3Hopfield型同步離散神經網絡用于AM的綜合(200)
9.3.1神經網絡模型(200)
9.3.2離散Hopfield型神經網絡的穩(wěn)定性分析(201)
9.3.3神經網絡綜合(205)
9.4Hopfield連續(xù)時間聯(lián)想記憶的綜合(208)
9.4.1Hopfield模型(208)
9.4.2AM設計(208)
9.4.3漸近穩(wěn)定性(209)
9.4.4設計約束(210)
9.4.5綜合程序(211)
9.5超閉正立體上線性神經網絡的綜合(212)
9.5.1綜合問題(212)
9.5.2綜合策略(213)
9.5.3綜合過程(213)
9.6不連續(xù)神經網絡系統(tǒng)的綜合(216)
9.6.1基本綜合問題(217)
9.6.2綜合策略(217)
9.6.3綜合過程(218)
9.6.4舉例(222)
第十章神經優(yōu)化計算〖ＪY〗
10.1Hopfield模型理論分析(227)
10.1.1Hopfield模型的特征向量表示(227)
10.1.2CAM性質(228)
10.2TSP問題(230)
10.2.1TSP問題描述(230)
10.2.2連接矩陣特征值與網絡的動力學分析(231)
10.3神經優(yōu)化計算的一種新方法(237)
10.3.1神經網絡廣義收斂定理(237)
10.3.2神經優(yōu)化計算的新算法(240)
第十一章神經網絡專家系統(tǒng)
11.1專家系統(tǒng)的發(fā)展與現(xiàn)狀(242)
11.2神經網絡專家系統(tǒng)基本原理與結構(243)
11.2.1神經網絡專家系統(tǒng)的基本原理(243)
11.2.2神經網絡專家系統(tǒng)的基本結構(244)
11.3基于神經網絡系統(tǒng)的知識表示.獲取與推理(245)
11.3.1神經網絡及其矩陣表示(245)
11.3.2知識表示的神經網絡方法(245)
11.3.3基于神經網絡系統(tǒng)的知識獲取(246)
11.3.4基于神經網絡系統(tǒng)的并行推理(248)
11.4組合神經網絡專家系統(tǒng)的實現(xiàn)(249)
11.5小結(251)
第十二章神經網絡計算機及其VLSI實現(xiàn)
12.1神經網絡計算機(252)
12.1.1神經網絡計算機的分類(252)
12.1.2直接基于硬件的神經網絡計算機實現(xiàn)(253)
12.1.3基于現(xiàn)代數字計算機的神經網絡計算機實現(xiàn)(254)
12.2神經網絡的數字VLSI實現(xiàn)(256)
12.3神經網絡的電壓模式模擬VLSI實現(xiàn)(259)
12.3.1模擬神經網絡電路基本原理(259)
12.3.2MOSFET-C神經網絡(260)
12.3.3開關電容神經網絡(261)
12.4神經網絡的電流模式模擬VLSI設計與實現(xiàn)(263)
12.4.1電流模式VSLI設計(263)
12.4.2電流模式VLSI神經網絡設計(264)
12.4.3高階OTA-C神經元模型(265)
12.4.4電流模式VLSI神經網絡的自動調諧(267)
12.5全集成模擬神經網絡優(yōu)化處理器(267)
12.5.1全集成優(yōu)化處理器的提出(267)
12.5.2非線性規(guī)劃神經網絡計算機(268)
12.5.3全集成線性規(guī)劃神經網絡計算機(269)
12.5.4二次規(guī)劃神經網絡模擬電路(269)
12.5.5大規(guī)模非線性規(guī)劃的全集成神經網絡模擬(270)
展望
參考文獻