數(shù)據(jù)挖掘中的新方法：支持向量機(jī)

第1章 最優(yōu)化問(wèn)題及其基本理論
1. 1 最優(yōu)化問(wèn)題
1. 1. 1 最優(yōu)化問(wèn)題實(shí)例
1. 1. 2 最優(yōu)化問(wèn)題
1. 1. 3 凸最優(yōu)化
1. 2 最優(yōu)性條件
1. 2. 1 無(wú)約束問(wèn)題的最優(yōu)性條件
1. 2. 2 約束問(wèn)題的最優(yōu)性條件
1. 3 對(duì)偶理論
1. 3. 1 最大最小對(duì)偶
1. 3. 2 Lagrange對(duì)偶
1. 4 注記
參考文獻(xiàn)
第2章 求解分類(lèi)問(wèn)題和回歸問(wèn)題的直觀途徑
2. 1 分類(lèi)問(wèn)題的提出
2. 1. 1 例子 心臟病診斷
2. 1. 2 分類(lèi)問(wèn)題和分類(lèi)學(xué)習(xí)機(jī)
2. 2 線性分類(lèi)學(xué)習(xí)機(jī)
2. 2. 1 線性可分問(wèn)題的線性分劃
2. 2. 2 近似線性可分問(wèn)題的線性分劃
2. 3 支持向量分類(lèi)機(jī)
2. 3. 1 從線性分劃到二次分劃
2. 3. 2 二次分劃算法的簡(jiǎn)化
2. 3. 3 非線性分劃的基本途徑
2. 4 線性回歸學(xué)習(xí)機(jī)
2. 4. 1 回歸問(wèn)題
2. 4. 2 線性回歸問(wèn)題與硬 -帶超平面
2. 4. 3 硬 -帶超平面的構(gòu)造
2. 4. 4 硬 -帶超平面的推廣
2. 4. 5 線性支持向量回歸機(jī)
2. 5 支持向量回歸機(jī)
2. 6 注記
參考文獻(xiàn)
第3章 核
3. 1 描述相似性的工具--內(nèi)積
3. 1. 1 直觀的相似程度與內(nèi)積
3. 1. 2 支持向量分類(lèi)機(jī)中的相似與內(nèi)積
3. 1. 3 核函數(shù)的選取
3. 2 多項(xiàng)式空間和多項(xiàng)式核
3. 2. 1 有序單項(xiàng)式空間
3. 2. 2 無(wú)序單項(xiàng)式空間
3. 2. 3 Hilbert空間與多項(xiàng)式核函數(shù)
3. 3 Mercer核
3. 3. 1 半正定矩陣的特征展開(kāi)
3. 3. 2 Mercer定理與Mercer核
3. 4 正定核
3. 4. 1 正定核的必要條件
3. 4. 2 正定核的充分條件
3. 4. 3 正定核的特征
3. 4. 4 再生核Hilbert空間
3. 4. 5 正定核與Mercer核的關(guān)系
3. 5 核的構(gòu)造
3. 5. 1 核的構(gòu)造原則
3. 5. 2 常用的幾種核函數(shù)
3. 6 注記
參考文獻(xiàn)
第4章 推廣能力的理論估計(jì)
4. 1 損失函數(shù)和期望風(fēng)險(xiǎn)
4. 1. 1 概率分布
4. 1. 2 損失函數(shù)
4. 1. 3 期望風(fēng)險(xiǎn)
4. 2 求解分類(lèi)問(wèn)題的一種途徑和一個(gè)算法模型
4. 2. 1 分類(lèi)問(wèn)題的一個(gè)自然的數(shù)學(xué)提法
4. 2. 2 求解分類(lèi)問(wèn)題的途徑
4. 2. 3 一個(gè)學(xué)習(xí)算法
4. 3 VC維
4. 4 學(xué)習(xí)算法在概率意義下的近似正確性
4. 5 一致性概念和關(guān)鍵定理
4. 6 結(jié)構(gòu)風(fēng)險(xiǎn)最小化
4. 7 基于間隔的推廣估計(jì)
4. 8 注記
參考文獻(xiàn)
第5章 分類(lèi)問(wèn)題
5. 1 最大間隔原則
5. 1. 1 線性可分問(wèn)題的最大間隔原則
5. 1. 2 擾動(dòng)意義下的幾何解釋
5. 2 線性可分支持向量分類(lèi)機(jī)
5. 2. 1 線性可分問(wèn)題的規(guī)范超平面
5. 2. 2 原始最優(yōu)化問(wèn)題
5. 2. 3 才偶問(wèn)題及其與原始問(wèn)題的關(guān)系
5. 2. 4 線性可分支持向量分類(lèi)機(jī)及其理論基礎(chǔ)
5. 3 線性支持向量分類(lèi)機(jī)
5. 3. 1 原始問(wèn)題
5. 3. 2 對(duì)偶問(wèn)題及其與原始問(wèn)題的關(guān)系
5. 3. 3 線性支持向量分類(lèi)機(jī)及其理論基礎(chǔ)
5. 3. 4 支持向量
5. 4 支持向量分類(lèi)機(jī)
5. 4. 1 可分支持向量分類(lèi)機(jī)
5. 4. 2 支持向量分類(lèi)機(jī)
5. 5 v-支持向量分類(lèi)機(jī) v-SVC
5. 5. 1 v-線性支持向量分類(lèi)機(jī)的原始最優(yōu)化問(wèn)題
5. 5. 2 v-線性支持向量分類(lèi)機(jī)的對(duì)偶問(wèn)題及其與原始問(wèn)題的關(guān)系
5. 5. 3 y-支持向量分類(lèi)機(jī)
5. 5. 4 v-支持向量分類(lèi)機(jī)的性質(zhì)
5. 6 v-支持向量分類(lèi)機(jī) v-SVC 和C-支持向量分類(lèi)機(jī) C-SVC 的關(guān)系
5. 6. 1 主要結(jié)論
5. 6. 2 主要結(jié)論的證明
5. 7 多類(lèi)分類(lèi)問(wèn)題
5. 7. 1 一類(lèi)對(duì)余類(lèi)
5. 7. 2 成對(duì)分類(lèi)
5. 7. 3 糾錯(cuò)輸出編碼方法
5. 7. 4 確定多類(lèi)目標(biāo)函數(shù)方法
5. 8 一個(gè)例子
5. 9 注記
參考文獻(xiàn)
第6章 回歸估計(jì)
6. 1 回歸問(wèn)題
6. 1. 1 回歸問(wèn)題的難點(diǎn)
6. 1. 2 回歸問(wèn)題的數(shù)學(xué)提法
6. 1. 3 不敏感損失函數(shù)
6. 2 -支持向量回歸機(jī)
6. 2. 1 硬 -帶支持向量回歸機(jī)
6. 2. 2 從線性 -支持向量回歸機(jī)到 -支持向量回歸機(jī)
6. 3 v-支持向量回歸機(jī)
6. 3. 1 原始最優(yōu)化問(wèn)題
6. 3. 2 對(duì)偶問(wèn)題及其與原始問(wèn)題的關(guān)系
6. 3. 3 v-支持向量回歸機(jī)
6. 3. 4 v-支持向量回歸機(jī)的性質(zhì)
6. 4
-支持向量回歸機(jī) -SVR 與v-支持向量回歸機(jī) v-SVR 的關(guān)系
6. 4. 1 主要結(jié)論
6. 4. 2 主要結(jié)論的證明
6. 5 其他形式的支持向量回歸機(jī)
6. 5. 1 支持向量回歸機(jī)的線性規(guī)劃形式
6. 5. 2
-帶為任意形狀的支持向量回歸機(jī)
6. 6 其他形式的損失函數(shù)
6. 7 一些例子
6. 7. 1 一維回歸問(wèn)題
6. 7. 2 二維回歸問(wèn)題
6. 8 注記
參考文獻(xiàn)
第7章 算法
7. 1 無(wú)約束問(wèn)題解法
7. 1. 1 無(wú)約束問(wèn)題提法
7. 1. 2 基本無(wú)約束問(wèn)題算法
7. 1. 3 牛頓-條件預(yù)優(yōu)共軛梯度法 Newton-PCG算法
7. 2 內(nèi)點(diǎn)算法
7. 2. 1 線性規(guī)劃的原仿射尺度法
7. 2. 2 線性規(guī)劃的原-對(duì)偶算法
7. 2. 3 凸二次規(guī)劃的仿射尺度法
7. 2. 4 凸二次規(guī)劃的原-對(duì)偶算法
7. 3 求解大型問(wèn)題的算法
7. 3. 1 停機(jī)準(zhǔn)則
7. 3. 2 選塊算法 chunking
7. 3. 3 分解算法 decomposing
7. 3. 4 序列最小最優(yōu)化 sequential minimal optimization,SMO 算法
參考文獻(xiàn)
第8章 應(yīng)用
8. 1 模型選擇問(wèn)題
8. 1. 1 訓(xùn)練集的選取--特征選擇問(wèn)題
8. 1. 2 核及參數(shù)選擇問(wèn)題
8. 2 分類(lèi)問(wèn)題的線性分劃中的特征選擇
8. 2. 1 特征選擇的BFM方法
8. 2. 2 序列極小化方法
8. 3 模型選擇
8. 3. 1 算法的評(píng)價(jià)標(biāo)準(zhǔn)
8. 3. 2 模型選擇
8. 4 靜態(tài)圖像中球的識(shí)別
8. 4. 1 作為分類(lèi)問(wèn)題的足球識(shí)別問(wèn)題
8. 4. 2 正類(lèi)和負(fù)類(lèi)訓(xùn)練點(diǎn)的采集
8. 4. 3 如何處理正類(lèi)和負(fù)類(lèi)訓(xùn)練點(diǎn)個(gè)數(shù)的不均衡
8. 4. 4 降維處理和參數(shù)C的選取
8. 4. 5 試驗(yàn)結(jié)果
8. 5 自由曲面的重建問(wèn)題
8. 6 應(yīng)用簡(jiǎn)介
8. 6. 1 手寫(xiě)阿拉伯?dāng)?shù)字識(shí)別
8. 6. 2 文本分類(lèi)
8. 6. 3 生物信息技術(shù)
8. 7 核技巧的應(yīng)用
8. 7. 1 核聚類(lèi)
8. 7. 2 核主成分分析
8. 8 注記
參考文獻(xiàn)
附錄A 基礎(chǔ)知識(shí)
A. 1 基本定義
A. 2 梯度和Hesse矩陣
A. 3 方向?qū)?shù)
A. 3. 1 一階方向?qū)?shù)
A. 3. 2 二階方向?qū)?shù)
A. 4 Taylor展開(kāi)式
A. 5 分離定理
附錄B Hilbert空間
B. 1 向量空間
B. 2 內(nèi)積空間
B. 3 Hilbert空間
B. 4 算子. 特征值和特征向量
附錄C 概率
C. 1 概率空間
C. 2 隨機(jī)變量及其分布
C. 3 隨機(jī)變量的數(shù)字特征
C. 4 大數(shù)定律
附錄D 鳶尾屬植物數(shù)據(jù)集
英漢術(shù)語(yǔ)對(duì)照表