人工智能云平臺：原理、設(shè)計(jì)與應(yīng)用

第 1章 人工智能云平臺簡介 / 1
1．1人工智能發(fā)展　/　3
1．2人工智能云平臺　/　4
1．3云計(jì)算與人工智能云平臺　/　6
1．4智能框架與人工智能云平臺　/　8
1．5人工智能云平臺的主要環(huán)節(jié)與基本組成　/　10
1．6小結(jié)　/　13
參考文獻(xiàn)　/　13
第 2章　人工智能云平臺案例概覽 /　15
2．1谷歌AI云平臺　/　17
2．1．1AI　Hub /　17
2．1．2AI基礎(chǔ)組件　/　18
2．1．3AI平臺　/　18
2．2微軟Azure機(jī)器學(xué)習(xí)平臺　/　20
2．2．1Azure機(jī)器學(xué)習(xí)工作室　/　20
2．2．2Azure機(jī)器學(xué)習(xí)服務(wù)　/　20
2．3亞馬遜　SageMaker平臺 /　21
2．3．1Amazon　SageMaker Ground Truth標(biāo)注工具 /　22
2．3．2Amazon　SageMaker模型訓(xùn)練與服務(wù)提供工具 /　22
2．3．3Amazon　SageMaker推理優(yōu)化與部署工具集 /　23
2．4企業(yè)自有智能平臺　/　24
2．4．1業(yè)務(wù)場景閉環(huán)　/　25
2．4．2量身設(shè)計(jì)，靈活性強(qiáng)　/　26
2．5小結(jié)　/　26
參考文獻(xiàn)　/　26
第3章　共享存儲與數(shù)據(jù)管理 /　27
3．1基本概念　/　30
3．1．1文件系統(tǒng)分類　/　30
3．1．2存儲設(shè)計(jì)目標(biāo)　/　34
3．2古老而有活力的NFS　/　35
3．2．1NFS版本更迭　/　35
3．2．2NFS架構(gòu)介紹　/　37
3．2．3NFS常用配置　/　38
3．3活躍于超算領(lǐng)域的Lustre　/　40
3．3．1Lustre架構(gòu)分析　/　40
3．3．2Lustre與NFS　/　42
3．3．3Lustre發(fā)展趨勢　/　43
3．4數(shù)據(jù)集管理　/　43
3．4．1TFRecord　/　43
3．4．2LMDB　/　47
3．4．3RecordIO　/　50
3．5小結(jié)　/　51
參考文獻(xiàn)　/　51
第4章　資源管理與調(diào)度 /　53
4．1概述　/　55
4．1．1工作流　/　55
4．1．2資源的定義　/　56
4．1．3資源隔離　/　56
4．2Docker簡介　/　57
4．2．1什么是Docker？　/　57
4．2．2Docker組成　/　58
4．2．3Docker工作流程　/　59
4．2．4NVIDIA　Docker /　60
4．3任務(wù)調(diào)度系統(tǒng)架構(gòu)簡介　/　60
4．4基于YARN的調(diào)度系統(tǒng)實(shí)現(xiàn)　/　63
4．4．1系統(tǒng)架構(gòu)　/　63
4．4．2部署說明　/　64
4．4．3業(yè)務(wù)流程　/　65
4．4．4GPU支持　/　65
4．5基于Kubernetes的調(diào)度系統(tǒng)實(shí)現(xiàn)　/　69
4．5．1系統(tǒng)架構(gòu)　/　70
4．5．2業(yè)務(wù)流程　/　71
4．5．3GPU支持　/　72
4．6小結(jié)　/　75
參考文獻(xiàn)　/　75
第5章　運(yùn)維監(jiān)控系統(tǒng) /　77
5．1Prometheus概述　/　79
5．1．1Prometheus的特點(diǎn)和適用場景　/　79
5．1．2Prometheus組成架構(gòu)　/　80
5．1．3Prometheus核心概念　/　81
5．2數(shù)據(jù)采集之Exporter　/　82
5．2．1Node　Exporter /　84
5．2．2NVIDIA　GPU Exporter /　88
5．2．3Prometheus的部署　/　90
5．3數(shù)據(jù)格式與編程——Prometheus查詢語言　/　91
5．3．1初識PromQL　/　92
5．3．2PromQL　操作符 /　92
5．3．3PromQL函數(shù)　/　96
5．4數(shù)據(jù)可視化之Grafana　/　98
5．4．1創(chuàng)建Prometheus數(shù)據(jù)源　/　99
5．4．2創(chuàng)建數(shù)據(jù)可視化圖形　/　99
5．5告警系統(tǒng)之AlertManager　/　99
5．5．1安裝和部署　/　100
5．5．2配置Prometheus使之與AlertManager進(jìn)行通信　/　103
5．5．3在Prometheus中創(chuàng)建告警規(guī)則　/　105
5．6小結(jié)　/　106
參考文獻(xiàn)　/　106
第6章　機(jī)器學(xué)習(xí)框架 /　107
6．1　SciPy /　109
6．1．1什么是SciPy？　/　109
6．1．2SciPy的特點(diǎn)　/　109
6．1．3使用示例　/　110
6．2scikit-learn　/　111
6．2．1什么是scikit-learn？　/　111
6．2．2scikit-learn的六大功能　/　112
6．2．3scikit-learn示例　/　113
6．3Pandas　/　116
6．3．1什么是Pandas？　/　116
6．3．2Pandas的特點(diǎn)　/　116
6．3．3Pandas示例　/　117
6．4Spark　MLlib和Spark ML /　119
6．4．1什么是Spark　MLlib和Spark ML？ /　119
6．4．2Spark使用示例　/　119
6．5　XGBoost /　121
6．5．1什么是XGBoost？　/　121
6．5．2XGBoost的特點(diǎn)　/　121
6．5．3XGBoost功能和示例　/　122
6．6　TensorFlow /　127
6．6．1什么是TensorFlow？　/　127
6．6．2TensorFlow的特點(diǎn)　/　128
6．6．3TensorFlow使用示例　/　128
6．7PyTorch　/　132
6．7．1什么是PyTorch？　/　132
6．7．2PyTorch的特點(diǎn)　/　133
6．7．3PyTorch使用示例——MNIST分類　/　133
6．8其他　/　136
6．8．1Apache　MXNet /　136
6．8．2Caffe　/　136
6．8．3CNTK　/　137
6．8．4Theano　/　138
6．9小結(jié)　/　139
參考文獻(xiàn)　/　140
第7章　分布式并行訓(xùn)練 /　141
7．1并行訓(xùn)練概述　/　143
7．2并行編程工具　/　144
7．3深度學(xué)習(xí)中的并行　/　146
7．3．1算法并行優(yōu)化　/　146
7．3．2網(wǎng)絡(luò)并行優(yōu)化　/　148
7．3．3分布式訓(xùn)練優(yōu)化　/　151
7．4小結(jié)　/　167
參考文獻(xiàn)　/　167
第8章　自動機(jī)器學(xué)習(xí) /　169
8．1AutoML概述　/　171
8．2特征工程　/　172
8．3模型選擇　/　175
8．4優(yōu)化算法選擇　/　177
8．5神經(jīng)架構(gòu)搜索　/　178
8．5．1NAS綜述　/　178
8．5．2細(xì)分領(lǐng)域的NAS應(yīng)用　/　180
8．5．3NAS應(yīng)用示例　/　182
8．6搜索優(yōu)化和評估　/　187
8．6．1搜索策略　/　187
8．6．2評估策略　/　189
8．7小結(jié)　/　190
參考文獻(xiàn)　/　190
第9章　模型構(gòu)建與發(fā)布 /　193
9．1模型構(gòu)建流程　/　195
9．2基于TensorFlow構(gòu)建方案　/　195
9．2．1神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練　/　196
9．2．2神經(jīng)網(wǎng)絡(luò)模型保存　/　199
9．2．3使用命令行工具檢測　SavedModel /　200
9．2．4使用contrib．predictor提供服務(wù)　/　201
9．2．5使用TensorFlow　Serving提供服務(wù) /　202
9．3基于Seldon　Core的模型部署 /　205
9．3．1Seldon　Core安裝 /　206
9．3．2Seldon　Core使用示例 /　207
9．4小結(jié)　/　209
參考文獻(xiàn)　/　210
第 10章　可視化開發(fā)環(huán)境 /　211
10．1Jupyter　Notebook /　213
10．2PyCharm　/　216
10．3Visual　Studio Code /　218
10．3．1資源管理器　/　219
10．3．2搜索　/　219
10．3．3源代碼管理器　/　219
10．3．4調(diào)試　/　220
10．3．5擴(kuò)展插件　/　221
10．3．6管理　/　221
10．3．7VSCode開發(fā)Python　/　222
10．4code-server　/　223
10．4．1code-server安裝　/　223
10．4．2code-server啟動　/　224
10．4．3code-server安裝插件　/　224
10．5TensorBoard　/　227
10．6小結(jié)　/　230
參考文獻(xiàn)　/　230
第 11章　DIGITS實(shí)踐 /　231
11．1DIGITS配置　/　233
11．1．1DIGITS安裝　/　233
11．1．2DIGITS啟動　/　234
11．2DIGITS示例　/　235
11．2．1圖像分類　/　235
11．2．2語義分割　/　239
11．3DIGITS源碼解析　/　245
11．3．1DIGITS功能介紹　/　248
11．3．2類繼承關(guān)系　/　251
11．4小結(jié)　/　258
參考文獻(xiàn)　/　259
第 12章　Kubeflow實(shí)踐 /　261
12．1什么是Kubeflow？　/　263
12．2Kubeflow部署　/　264
12．3JupyterHub　/　268
12．3．1JupyterHub定義　/　268
12．3．2JupyterHub子系統(tǒng)　/　268
12．3．3JupyterHub子系統(tǒng)交互　/　268
12．4Kubeflow-operator　/　270
12．4．1tf-operator　/　270
12．4．2pytorch-operator　/　281
12．5Katib　/　286
12．5．1Katib組成模塊　/　286
12．5．2Katib模塊超參數(shù)優(yōu)化　/　287
12．5．3Katib實(shí)驗(yàn)運(yùn)行基本流程　/　288
12．5．4Kubeflow　路線圖 /　289
12．6小結(jié)　/　289
參考文獻(xiàn)　/　290
第 13章　OpenPAI實(shí)踐 /　291
13．1直觀感受　/　294
13．1．1部署OpenPAI　/　294
13．1．2提交一個(gè)hello-world任務(wù)　/　297
13．1．3作業(yè)配置與環(huán)境變量　/　298
13．2平臺架構(gòu)　/　301
13．2．1服務(wù)列表　/　302
13．2．2工作流　/　303
13．2．3資源分配　/　304
13．3集群運(yùn)維　/　304
13．3．1可視化頁面的集群管理　/　304
13．3．2命令行管理維護(hù)工具——paictl．py　/　305
13．4OpenPAI代碼導(dǎo)讀　/　308
13．4．1在YARN中對GPU調(diào)度的支持——Hadoop-AI　/　310
13．4．2YARN作業(yè)的編排服務(wù)——FrameworkLauncher　/　321
13．5小結(jié)　/　328
參考文獻(xiàn)　/　329