人工智能數(shù)學基礎

第1章 人工智能與數(shù)學 1
1．1 微積分 1
1．2 線性代數(shù) 2
1．2．1 向量和矩陣 3
1．2．2 范數(shù)和內(nèi)積 3
1．2．3 線性變換 4
1．2．4 特征值和特征向量 4
1．2．5 奇異值分解（SVD） 5
1．3 概率論 6
1．4 數(shù)理統(tǒng)計 6
1．5 最優(yōu)化理論 7
1．5．1 目標函數(shù) 7
1．5．2 線性規(guī)劃 7
1．5．3 梯度下降法 7
習題 8
參考文獻 8
第2章 初等數(shù)學 9
2．1 函數(shù) 9
2．1．1 函數(shù)的概念 9
2．1．2 函數(shù)的性質(zhì) 10
2．1．3 特殊函數(shù) 11
2．1．4 復合函數(shù)和逆函數(shù) 13
2．1．5 綜合案例及應用 14
2．2 數(shù)列 16
2．2．1 數(shù)列的概念 17
2．2．2 數(shù)列的分類 17
2．2．3 綜合案例及應用 18
2．3 排列組合和二項式定理 18
2．3．1 排列 19
2．3．2 組合 19
2．3．3 二項式定理 20
2．3．4 綜合案例及應用 21
2．4 集合[1] 22
2．4．1 集合的相關(guān)概念 22
2．4．2 集合關(guān)系 23
2．4．3 基數(shù) 24
2．4．4 集合運算 25
2．4．5 綜合案例及應用 26
2．5 實驗：基于函數(shù)遞歸過程的功能實現(xiàn) 28
2．5．1 實驗目的 28
2．5．2 實驗要求 28
2．5．3 實驗原理 28
2．5．4 實驗步驟 28
2．5．5 實驗結(jié)果 29
習題 29
參考文獻 30
第3章 微積分初步 31
3．1 極限與連續(xù)性 31
3．1．1 極限 31
3．1．2 連續(xù)性 33
3．2 導數(shù)與微分 34
3．2．1 導數(shù) 34
3．2．2 偏導數(shù) 39
3．2．3 梯度和方向?qū)?shù) 40
3．3 導數(shù)在函數(shù)性質(zhì)中的應用 41
3．3．1 單調(diào)性 42
3．3．2 凹凸性 43
3．3．3 極值 45
3．4 一元積分學 46
3．4．1 不定積分 46
3．4．2 微分方程 47
3．4．3 定積分 47
3．5 多元積分學 48
3．5．1 二重積分的概念 49
3．5．2 二重積分的計算 49
3．6 實驗：梯度下降法[8-9] 52
3．6．1 實驗目的 52
3．6．2 實驗要求 52
3．6．3 實驗原理 52
3．6．4 實驗步驟 53
3．6．5 實驗結(jié)果 55
習題 55
參考文獻 56
第4章 線性代數(shù) 58
4．1 行列式 58
4．1．1 行列式定義 58
4．1．2 行列式的性質(zhì) 60
4．1．3 行列式的計算 62
4．2 矩陣 63
4．2．1 矩陣的概念 63
4．2．2 矩陣的運算 65
4．2．3 矩陣的初等變換 67
4．2．4 矩陣的秩 69
4．3 向量 69
4．3．1 n維向量的定義 69
4．3．2 n維向量間的線性關(guān)系 71
4．3．3 向量組的秩 72
4．3．4 梯度、海森矩陣與雅可比矩陣 73
4．4 線性方程組 74
4．4．1 齊次線性方程組解的結(jié)構(gòu) 74
4．4．2 非齊次線性方程組解的結(jié)構(gòu) 75
4．5 二次型 76
4．5．1 特征值與特征向量 76
4．5．2 相似矩陣 78
4．5．3 二次型 79
4．5．4 正定二次型 82
4．6 實驗：矩陣運算 83
4．6．1 實驗目的 83
4．6．2 實驗要求 83
4．6．3 實驗原理、步驟及結(jié)果 84
習題 87
參考文獻 88
第5章 概率論 89
5．1 概述 89
5．1．1 概率論發(fā)展簡史 89
5．1．2 概率論的主要內(nèi)容 90
5．2 隨機事件及其概率 90
5．2．1 隨機事件的運算 92
5．2．2 隨機事件的概率 93
5．2．3 條件概率 95
5．3 隨機變量 97
5．3．1 隨機變量的概率分布 97
5．3．2 隨機變量的數(shù)字特征 102
5．3．3 常見的概率分布 104
5．4 貝葉斯理論 105
5．4．1 貝葉斯公式的推導 105
5．4．2 貝葉斯公式的應用舉例 107
5．4．3 貝葉斯理論的前景 109
5．5 極限理論 110
5．5．1 收斂 110
5．5．2 大數(shù)定理 110
5．5．3 中心極限定理 111
5．6 基于Python的泊松分布仿真實驗 113
5．6．1 實驗目的 113
5．6．2 實驗要求 113
5．6．3 實驗原理 113
5．6．4 實驗步驟 113
5．6．5 實驗結(jié)果 114
習題 115
參考文獻 116
第6章 數(shù)理統(tǒng)計 117
6．1 概述 117
6．1．1 數(shù)理統(tǒng)計發(fā)展簡史 117
6．1．2 數(shù)理統(tǒng)計的主要內(nèi)容 118
6．2 總體與樣本 118
6．2．1 總體與樣本簡介 118
6．2．2 數(shù)據(jù)的特征 118
6．2．3 統(tǒng)計量 122
6．3 參數(shù)估計 122
6．3．1 最大似然估計 122
6．3．2 貝葉斯估計 124
6．3．3 點估計與矩估計 124
6．3．4 蒙特卡羅方法的基本原理 125
6．4 假設檢驗 125
6．4．1 基本概念 125
6．4．2 Neyman-Pearson 基本引理 127
6．4．3 參數(shù)假設檢驗 130
6．4．4 檢驗 131
6．5 回歸分析 132
6．5．1 一元線性回歸 132
6．5．2 可化為一元線性回歸的非線性回歸 135
6．5．3 多元線性回歸 136
6．6 實驗：基于Python實現(xiàn)用蒙特卡羅方法求圓周率π 137
6．6．1 實驗目的 137
6．6．2 實驗要求 137
6．6．3 實驗原理 137
6．6．4 實驗步驟 138
6．6．5 實驗結(jié)果 139
習題 139
參考文獻 140
第7章 函數(shù)逼近 141
7．1 函數(shù)插值 141
7．1．1 線性函數(shù)插值 141
7．1．2 多項式插值 143
7．1．3 樣條插值 144
7．1．4 徑向基函數(shù)插值 146
7．2 曲線擬合 148
7．2．1 線性最小二乘法 148
7．2．2 非線性曲線擬合 150
7．2．3 貝塞爾曲線擬合 152
7．3 最佳逼近 153
7．3．1 函數(shù)空間范數(shù)與最佳逼近問題 153
7．3．2 最佳一致逼近 155
7．3．3 最佳平方逼近 157
7．4 核函數(shù)逼近 159
7．4．1 核方法原理 159
7．4．2 常見核函數(shù) 160
7．4．3 支持向量機及其在函數(shù)逼近中的應用 160
7．5 神經(jīng)網(wǎng)絡逼近 163
7．5．1 神經(jīng)網(wǎng)絡函數(shù)逼近定理 163
7．5．2 BP神經(jīng)網(wǎng)絡在函數(shù)逼近中的應用 164
7．5．3 RBF神經(jīng)網(wǎng)絡在函數(shù)逼近中的應用 167
7．6 實驗：黃河小浪底調(diào)水調(diào)沙問題 170
7．6．1 實驗目的 170
7．6．2 實驗要求 170
7．6．3 實驗原理 171
7．6．4 實驗步驟及結(jié)果 171
習題 173
參考文獻 174
第8章 最優(yōu)化理論 176
8．1 最優(yōu)化理論的基礎知識 176
8．1．1 最優(yōu)化示例 176
8．1．2 最優(yōu)化的基本概念 177
8．1．3 求最優(yōu)化問題的一般過程 180
8．1．4 最優(yōu)化問題的幾何解釋 180
8．1．5 最優(yōu)化問題的基本解法 182
8．2 線性規(guī)劃 183
8．2．1 線性規(guī)劃問題及其數(shù)學模型 183
8．2．2 線性規(guī)劃問題的幾何意義 189
8．2．3 單純形法 190
8．3 非線性規(guī)劃 193
8．3．1 非線性規(guī)劃的基本概念 193
8．3．2 無約束條件下的單變量函數(shù)最優(yōu)化方法 194
8．3．3 無約束條件下的多變量函數(shù)最優(yōu)化方法 198
8．4 實驗：用梯度下降法求Rosenbrock函數(shù)的極值 208
8．4．1 實驗目的 208
8．4．2 實驗要求 208
8．4．3 實驗原理 208
8．4．4 實驗步驟 208
8．4．5 實驗結(jié)果 211
習題 211
參考文獻 212
第9章 信息論 213
9．1 概述 213
9．1．1 信息論的形成和發(fā)展 213
9．1．2 信息論對人工智能的影響 214
9．1．3 信息的基本概念 214
9．1．4 通信系統(tǒng)模型 215
9．2 信息的度量 216
9．2．1 自信息量 217
9．2．2 條件自信息量 219
9．2．3 聯(lián)合自信息量 221
9．2．4 互信息量與條件互信息量 221
9．2．5 互信息量的性質(zhì) 222
9．3 信源與信息熵 222
9．3．1 平均自信息量（熵） 223
9．3．2 平均條件自信息量（條件熵） 225
9．3．3 聯(lián)合熵 226
9．3．4 相對熵 227
9．3．5 熵函數(shù)的性質(zhì) 228
9．3．6 平均互信息量 229
9．3．7 平均互信息量的性質(zhì) 229
9．3．8 平均互信息量與熵、條件熵的關(guān)系[12] 229
9．3．9 關(guān)于平均互信息量的兩條定理 230
9．3．10 熵在決策樹中的應用 231
9．4 信道與信道容量 231
9．4．1 信道的分類 232
9．4．2 離散無記憶信道容量 234
9．4．3 連續(xù)信道容量 237
9．5 信道編碼 238
9．5．1 信道編碼的基本概念 238
9．5．2 信道譯碼規(guī)則 239
9．5．3 信道編碼定理 242
9．5．4 信道編碼逆定理 242
9．6 網(wǎng)絡信息安全及密碼 242
9．6．1 網(wǎng)絡信息安全概述 243
9．6．2 密碼技術(shù) 243
9．6．3 密碼技術(shù)在信息安全中的應用 245
9．7 實驗一：繪制二進制熵函數(shù)曲線 246
9．7．1 實驗目的 246
9．7．2 實驗要求 246
9．7．3 實驗原理 246
9．7．4 實驗步驟 247
9．7．5 實驗結(jié)果 249
9．8 實驗二：信息增益的計算 250
9．8．1 實驗目的 250
9．8．2 實驗要求 251
9．8．3 實驗原理 251
9．8．4 實驗步驟 251
9．8．5 實驗結(jié)果 254
習題 255
參考文獻 256
第10章 圖論 258
10．1 圖的認識 258
10．1．1 圖的基本概念 258
10．1．2 圖中結(jié)點的度數(shù) 260
10．1．3 常見的圖 260
10．1．4 子圖 261
10．1．5 圖的同構(gòu) 261
10．2 路與回路 262
10．2．1 路和回路 262
10．2．2 連通性 262
10．2．3 最短路徑 264
10．2．4 關(guān)鍵路徑 264
10．2．5 綜合案例及應用 266
10．3 圖的矩陣表示 268
10．3．1 鄰接矩陣表示 268
10．3．2 關(guān)聯(lián)矩陣表示 269
10．3．3 綜合案例及應用 270
10．4 歐拉圖與哈密頓圖 271
10．4．1 歐拉圖 271
10．4．2 哈密頓圖 273
10．4．3 綜合案例及應用 274
10．5 樹 275
10．5．1 樹的概念 275
10．5．2 生成樹 276
10．5．3 二叉樹 277
10．5．4 綜合案例及應用 280
10．6 實驗：最優(yōu)樹理論和應用 281
10．6．1 實驗目的 281
10．6．2 實驗要求 281
10．6．3 實驗原理 281
10．6．4 實驗步驟 282
10．6．5 實驗結(jié)果 283
習題 284
參考文獻 285
附錄A 人工智能實驗環(huán)境 286
附錄B 人工智能云平臺 292