機器學習實戰(zhàn)：基于Scikit-Learn和TensorFlow

前言1 

第一部分 機器學習基礎(chǔ) 

第1章 機器學習概覽11 

什么是機器學習12 

為什么要使用機器學習12 

機器學習系統(tǒng)的種類15 

監(jiān)督式/無監(jiān)督式學習16 

批量學習和在線學習21 

基于實例與基于模型的學習24 

機器學習的主要挑戰(zhàn)29 

訓練數(shù)據(jù)的數(shù)量不足29 

訓練數(shù)據(jù)不具代表性30 

質(zhì)量差的數(shù)據(jù)32 

無關(guān)特征32 

訓練數(shù)據(jù)過度擬合33 

訓練數(shù)據(jù)擬合不足34 

退后一步35 

測試與驗證35 

練習37 

第2章 端到端的機器學習項目39 

使用真實數(shù)據(jù)39 

觀察大局40 

框架問題41 

選擇性能指標42 

檢查假設(shè)45 

獲取數(shù)據(jù)45 

創(chuàng)建工作區(qū)45 

下載數(shù)據(jù)48 

快速查看數(shù)據(jù)結(jié)構(gòu)49 

創(chuàng)建測試集52 

從數(shù)據(jù)探索和可視化中獲得洞見56 

將地理數(shù)據(jù)可視化57 

尋找相關(guān)性59 

試驗不同屬性的組合61 

機器學習算法的數(shù)據(jù)準備62 

數(shù)據(jù)清理63 

處理文本和分類屬性65 

自定義轉(zhuǎn)換器67 

特征縮放68 

轉(zhuǎn)換流水線68 

選擇和訓練模型70 

培訓和評估訓練集70 

使用交叉驗證來更好地進行評估72 

微調(diào)模型74 

網(wǎng)格搜索74 

隨機搜索76 

集成方法76 

分析最佳模型及其錯誤76 

通過測試集評估系統(tǒng)77 

啟動、監(jiān)控和維護系統(tǒng)78 

試試看79 

練習79 

第3章 分類80 

MNIST80 

訓練一個二元分類器82 

性能考核83 

使用交叉驗證測量精度83 

混淆矩陣84 

精度和召回率86 

精度/召回率權(quán)衡87 

ROC曲線90 

多類別分類器93 

錯誤分析95 

多標簽分類98 

多輸出分類99 

練習100 

第4章 訓練模型102 

線性回歸103 

標準方程104 

計算復雜度106 

梯度下降107 

批量梯度下降110 

隨機梯度下降112 

小批量梯度下降114 

多項式回歸115 

學習曲線117 

正則線性模型121 

嶺回歸121 

套索回歸123 

彈性網(wǎng)絡(luò)125 

早期停止法126 

邏輯回歸127 

概率估算127 

訓練和成本函數(shù)128 

決策邊界129 

Softmax回歸131 

練習134 

第5章 支持向量機136 

線性SVM分類136 

軟間隔分類137 

非線性SVM分類139 

多項式核140 

添加相似特征141 

高斯RBF核函數(shù)142 

計算復雜度143 

SVM回歸144 

工作原理145 

決策函數(shù)和預測146 

訓練目標146 

二次規(guī)劃148 

對偶問題149 

核化SVM149 

在線SVM151 

練習152 

第6章 決策樹154 

決策樹訓練和可視化154 

做出預測155 

估算類別概率157 

CART訓練算法158 

計算復雜度158 

基尼不純度還是信息熵159 

正則化超參數(shù)159 

回歸161 

不穩(wěn)定性162 

練習163 

第7章 集成學習和隨機森林165 

投票分類器165 

bagging和pasting168 

Scikit-Learn的bagging和pasting169 

包外評估170 

Random Patches和隨機子空間171 

隨機森林172 

極端隨機樹173 

特征重要性173 

提升法174 

AdaBoost175 

梯度提升177 

堆疊法181 

練習184 

第8章 降維185 

維度的詛咒186 

數(shù)據(jù)降維的主要方法187 

投影187 

流形學習189 

PCA190 

保留差異性190 

主成分191 

低維度投影192 

使用Scikit-Learn192 

方差解釋率193 

選擇正確數(shù)量的維度193 

PCA壓縮194 

增量PCA195 

隨機PCA195 

核主成分分析196 

選擇核函數(shù)和調(diào)整超參數(shù)197 

局部線性嵌入199 

其他降維技巧200 

練習201 

第二部分 神經(jīng)網(wǎng)絡(luò)和深度學習 

第9章 運行TensorFlow205 

安裝207 

創(chuàng)建一個計算圖并在會話中執(zhí)行208 

管理圖209 

節(jié)點值的生命周期210 

TensorFlow中的線性回歸211 

實現(xiàn)梯度下降211 

手工計算梯度212 

使用自動微分212 

使用優(yōu)化器214 

給訓練算法提供數(shù)據(jù)214 

保存和恢復模型215 

用TensorBoard來可視化圖和訓練曲線216 

命名作用域219 

模塊化220 

共享變量222 

練習225 

第10章 人工神經(jīng)網(wǎng)絡(luò)簡介227 

從生物神經(jīng)元到人工神經(jīng)元227 

生物神經(jīng)元228 

具有神經(jīng)元的邏輯計算229 

感知器230 

多層感知器和反向傳播233 

用TensorFlow的高級API來訓練MLP236 

使用純TensorFlow訓練DNN237 

構(gòu)建階段237 

執(zhí)行階段240 

使用神經(jīng)網(wǎng)絡(luò)241 

微調(diào)神經(jīng)網(wǎng)絡(luò)的超參數(shù)242 

隱藏層的個數(shù)242 

每個隱藏層中的神經(jīng)元數(shù)243 

激活函數(shù)243 

練習244 

第11章 訓練深度神經(jīng)網(wǎng)絡(luò)245 

梯度消失/爆炸問題245 

Xavier初始化和He初始化246 

非飽和激活函數(shù)248 

批量歸一化250 

梯度剪裁254 

重用預訓練圖層255 

重用TensorFlow模型255 

重用其他框架的模型256 

凍結(jié)低層257 

緩存凍結(jié)層257 

調(diào)整、丟棄或替換高層258 

模型動物園258 

無監(jiān)督的預訓練259 

輔助任務(wù)中的預訓練260 

快速優(yōu)化器261 

Momentum優(yōu)化261 

Nesterov梯度加速262 

AdaGrad263 

RMSProp265 

Adam優(yōu)化265 

學習速率調(diào)度267 

通過正則化避免過度擬合269 

提前停止269 

1和2正則化269 

dropout270 

最大范數(shù)正則化273 

數(shù)據(jù)擴充274 

實用指南275 

練習276 

第12章 跨設(shè)備和服務(wù)器的分布式TensorFlow279 

一臺機器上的多個運算資源280 

安裝280 

管理GPU RAM282 

在設(shè)備上操作284 

并行執(zhí)行287 

控制依賴288 

多設(shè)備跨多服務(wù)器288 

開啟一個會話290 

master和worker服務(wù)290 

分配跨任務(wù)操作291 

跨多參數(shù)服務(wù)器分片變量291 

用資源容器跨會話共享狀態(tài)292 

使用TensorFlow隊列進行異步通信294 

直接從圖中加載數(shù)據(jù)299 

在TensorFlow集群上并行化神經(jīng)網(wǎng)絡(luò)305 

一臺設(shè)備一個神經(jīng)網(wǎng)絡(luò)305 

圖內(nèi)與圖間復制306 

模型并行化308 

數(shù)據(jù)并行化309 

練習314 

第13章 卷積神經(jīng)網(wǎng)絡(luò)31