人工智能與大數(shù)據(jù)技術(shù)導(dǎo)論

目  錄
第1章  人工智能概述    1
1.1  AI是什么    1
1.1.1  火熱的AI    2
1.1.2  AI的驅(qū)動(dòng)因素    3
1.2  AI技術(shù)的成熟度    4
1.2.1  視覺識(shí)別    4
1.2.2  自然語言理解    5
1.2.3  機(jī)器人    7
1.2.4  自動(dòng)駕駛    8
1.2.5  機(jī)器學(xué)習(xí)    9
1.2.6  游戲    10
1.3  美國(guó)AI巨頭分析    11
1.4  國(guó)內(nèi)AI現(xiàn)狀    16
1.5  AI與云計(jì)算和大數(shù)據(jù)的關(guān)系    17
1.6  AI技術(shù)路線    17
1.7  AI國(guó)家戰(zhàn)略    18
1.8  AI的歷史發(fā)展    19
第2章  AI產(chǎn)業(yè)    24
2.1  基礎(chǔ)層    25
2.1.1  芯片產(chǎn)業(yè)    25
2.1.2  GPU    27
2.1.3  FPGA    28
2.1.4  ASIC    28
2.1.5  TPU    29
2.1.6  亞馬遜的芯片    31
2.1.7  芯片產(chǎn)業(yè)小結(jié)    32
2.1.8  傳感器    33
2.1.9  傳感器小結(jié)    35
2.2  技術(shù)層    37
2.2.1  機(jī)器學(xué)習(xí)    37
2.2.2  語音識(shí)別與自然語言處理    39
2.2.3  計(jì)算機(jī)視覺    42
2.3  應(yīng)用層    44
2.3.1  安防    44
2.3.2  金融    45
2.3.3  制造業(yè)    47
2.3.4  智能家居    48
2.3.5  醫(yī)療    48
2.3.6  自動(dòng)駕駛    50
2.4  AI產(chǎn)業(yè)發(fā)展趨勢(shì)分析    55
第3章  數(shù)  據(jù)    58
3.1  什么是大數(shù)據(jù)    59
3.1.1  大數(shù)據(jù)的特征    59
3.1.2  大數(shù)據(jù)的誤區(qū)    60
3.1.3  大數(shù)據(jù)交易難點(diǎn)    60
3.1.4  大數(shù)據(jù)的來源    62
3.1.5  數(shù)據(jù)關(guān)聯(lián)    63
3.1.6  大數(shù)據(jù)生產(chǎn)鏈    64
3.1.7  大數(shù)據(jù)怎么用    64
3.2  國(guó)內(nèi)大數(shù)據(jù)現(xiàn)狀    65
3.2.1  政策持續(xù)完善    66
3.2.2  技術(shù)和應(yīng)用逐步落地    66
3.2.3  數(shù)據(jù)產(chǎn)生價(jià)值難    67
3.2.4  問題與機(jī)遇并存    67
3.3  大數(shù)據(jù)的計(jì)算模式    68
3.3.1  流式計(jì)算的應(yīng)用場(chǎng)景    69
3.3.2  流式大數(shù)據(jù)的特征    70
3.3.3  流式計(jì)算關(guān)鍵技術(shù)    72
3.4  大數(shù)據(jù)技術(shù)    74
3.4.1  數(shù)據(jù)技術(shù)的演進(jìn)    75
3.4.2  分布式計(jì)算系統(tǒng)概述    76
3.4.3  Hadoop    77
3.4.4  Spark    80
3.4.5  Storm系統(tǒng)    82
3.4.6  Kafka系統(tǒng)    84
3.4.7  各類技術(shù)平臺(tái)比較    86
3.5  數(shù)據(jù)平臺(tái)    88
3.5.1  數(shù)據(jù)存儲(chǔ)和計(jì)算    89
3.5.2  數(shù)據(jù)質(zhì)量    92
3.5.3  數(shù)據(jù)管理    97
3.5.4  數(shù)據(jù)目錄    99
3.5.5  數(shù)據(jù)安全管控    100
3.5.6  數(shù)據(jù)準(zhǔn)備    102
3.5.7  數(shù)據(jù)整合    107
3.5.8  數(shù)據(jù)服務(wù)    107
3.5.9  數(shù)據(jù)開發(fā)    107
3.5.10  數(shù)據(jù)平臺(tái)總結(jié)    108
3.6  大數(shù)據(jù)的商用途徑    109
3.6.1  數(shù)據(jù)化    109
3.6.2  算法化    109
3.6.3  應(yīng)用化（產(chǎn)品化）    110
3.6.4  生態(tài)化    111
3.7  大數(shù)據(jù)產(chǎn)業(yè)    112
3.7.1  大數(shù)據(jù)產(chǎn)業(yè)界定    112
3.7.2  大數(shù)據(jù)技術(shù)發(fā)展的推動(dòng)力    114
3.7.3  重點(diǎn)行業(yè)的大數(shù)據(jù)應(yīng)用    117
3.7.4  大數(shù)據(jù)應(yīng)用發(fā)展趨勢(shì)    123
3.7.5  大數(shù)據(jù)的產(chǎn)業(yè)鏈構(gòu)成分析    123
3.8  政府大數(shù)據(jù)案例分析    125
3.8.1  政府有哪些數(shù)據(jù)資源    126
3.8.2  政府大數(shù)據(jù)應(yīng)用案例    126
3.8.3  政府大數(shù)據(jù)面臨的挑戰(zhàn)    130
3.8.4  政府大數(shù)據(jù)應(yīng)用啟示    131
第4章  機(jī)器學(xué)習(xí)概述    133
4.1  走進(jìn)機(jī)器學(xué)習(xí)    133
4.1.1  什么是機(jī)器學(xué)習(xí)    133
4.1.2  機(jī)器學(xué)習(xí)的感性認(rèn)識(shí)    133
4.1.3  機(jī)器學(xué)習(xí)的本質(zhì)    134
4.1.4  對(duì)機(jī)器學(xué)習(xí)的全面認(rèn)識(shí)    135
4.1.5  機(jī)器學(xué)習(xí)、深度學(xué)習(xí)與人工智能    136
4.1.6  機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘與數(shù)據(jù)分析    137
4.2  機(jī)器學(xué)習(xí)的基本概念    139
4.2.1  數(shù)據(jù)集、特征和標(biāo)簽    139
4.2.2  監(jiān)督式學(xué)習(xí)和非監(jiān)督式學(xué)習(xí)    140
4.2.3  強(qiáng)化學(xué)習(xí)和遷移學(xué)習(xí)    140
4.2.4  特征數(shù)據(jù)類型    141
4.2.5  訓(xùn)練集、驗(yàn)證集和測(cè)試集    141
4.2.6  機(jī)器學(xué)習(xí)的任務(wù)流程    142
4.3  數(shù)據(jù)預(yù)處理    142
4.3.1  探索性分析    143
4.3.2  數(shù)據(jù)清洗    143
4.3.3  特征工程    145
第5章  模  型    146
5.1  什么是模型    146
5.2  誤差和MSE    148
5.3  模型的訓(xùn)練    149
5.3.1  模型與算法的區(qū)別    149
5.3.2  迭代法    150
5.4  梯度下降法    151
5.4.1  步長(zhǎng)    152
5.4.2  優(yōu)化步長(zhǎng)    152
5.4.3  三類梯度下降法    153
5.4.4  梯度下降的詳細(xì)算法    154
5.5  模型的擬合效果    155
5.5.1  欠擬合與過擬合    155
5.5.2  過擬合的處理方法    156
5.6  模型的評(píng)估與改進(jìn)    157
5.6.1  機(jī)器學(xué)習(xí)模型的評(píng)估    157
5.6.2  機(jī)器學(xué)習(xí)算法與人類比較    158
5.6.3  改進(jìn)策略    159
5.7  機(jī)器學(xué)習(xí)的實(shí)現(xiàn)框架    160
5.7.1  Python    160
5.7.2  scikit-learn    161
5.7.3  Spark MLlib    163
第6章  機(jī)器學(xué)習(xí)算法    164
6.1  算法概述    164
6.1.1  線性回歸    165
6.1.2  邏輯回歸    165
6.1.3  線性判別分析    166
6.1.4  分類與回歸樹分析    167
6.1.5  樸素貝葉斯    167
6.1.6  K近鄰算法    168
6.1.7  學(xué)習(xí)矢量量化    168
6.1.8  支持向量機(jī)    169
6.1.9  Bagging和隨機(jī)森林    170
6.1.10  Boosting和AdaBoost    170
6.2  支持向量機(jī)算法    171
6.3  邏輯回歸算法    173
6.4  KNN算法    175
6.4.1  超參數(shù)k    175
6.4.2  KNN實(shí)例：波士頓房?jī)r(jià)預(yù)測(cè)    177
6.4.3  算法評(píng)價(jià)    179
6.5  決策樹算法    179
6.6  集成算法    182
6.6.1  集成算法簡(jiǎn)述    182
6.6.2  集成算法之Bagging    183
6.6.3  集成算法之Boosting    184
6.7  聚類算法    185
6.7.1  K均值聚類    185
6.7.2  均值漂移聚類    186
6.7.3  基于密度的聚類方法    187
6.7.4  用高斯混合模型的期望聚類    188
6.7.5  凝聚層次聚類    189
6.7.6  圖團(tuán)體檢測(cè)    190
6.8  機(jī)器學(xué)習(xí)算法總結(jié)    192
第7章  深度學(xué)習(xí)    193
7.1  走進(jìn)深度學(xué)習(xí)    193
7.1.1  深度學(xué)習(xí)為何崛起    194
7.1.2  從邏輯回歸到淺層神經(jīng)網(wǎng)絡(luò)    194
7.1.3  深度神經(jīng)網(wǎng)絡(luò)    196
7.1.4  正向傳播    197
7.1.5  激活函數(shù)    197
7.2  神經(jīng)網(wǎng)絡(luò)的訓(xùn)練    197
7.2.1  神經(jīng)網(wǎng)絡(luò)的參數(shù)    197
7.2.2  向量化    198
7.2.3  價(jià)值函數(shù)    198
7.2.4  梯度下降和反向傳播    198
7.3  神經(jīng)網(wǎng)絡(luò)的優(yōu)化和改進(jìn)    199
7.3.1  神經(jīng)網(wǎng)絡(luò)的優(yōu)化策略    199
7.3.2  正則化方法    201
7.4  卷積神經(jīng)網(wǎng)絡(luò)    203
7.4.1  卷積運(yùn)算    203
7.4.2  卷積層    204
7.4.3  CNN實(shí)例    205
7.5  深度學(xué)習(xí)的優(yōu)勢(shì)    210
7.6  深度學(xué)習(xí)的實(shí)現(xiàn)框架    211
第8章  TensorFlow    213
8.1  TensorFlow工具包    213
8.1.1  tf.estimator API    214
8.1.2  Pandas速成    214
8.1.3  必要的Python知識(shí)    216
8.2  個(gè)TensorFlow程序    219
8.2.1  裝載數(shù)據(jù)    220
8.2.2  探索數(shù)據(jù)    221
8.2.3  訓(xùn)練模型    221
8.2.4  評(píng)估模型    223
8.2.5  優(yōu)化模型    225
8.2.6  合成特征    231
8.2.7  離群值處理    234
8.3  過擬合處理    237
8.3.1  訓(xùn)練集和測(cè)試集    238
8.3.2  驗(yàn)證集    239
8.3.3  過擬合實(shí)例    240
8.4  特征工程    249
8.4.1  數(shù)值型數(shù)據(jù)    249
8.4.2  字符串?dāng)?shù)據(jù)和one-hot編碼    250
8.4.3  枚舉數(shù)據(jù)（分類數(shù)據(jù)）    250
8.4.4  好特征    250
8.4.5  數(shù)據(jù)清洗    251
8.4.6  分箱（分桶）技術(shù)    252
8.4.7  特征工程實(shí)例    253
第9章  TensorFlow高級(jí)知識(shí)    263
9.1  特征交叉    263
9.1.1  什么是特征交叉    263
9.1.2  FTRL實(shí)踐    265
9.1.3  分桶（分箱）代碼實(shí)例    268
9.1.4  特征交叉代碼實(shí)例    271
9.2  L2正則化    274
9.3  邏輯回歸    276
9.4  分類    279
9.4.1  評(píng)價(jià)指標(biāo)—準(zhǔn)確率    279
9.4.2  評(píng)價(jià)指標(biāo)—精確率    281
9.4.3  指標(biāo)—召回率    281
9.4.4  評(píng)價(jià)指標(biāo)之綜合考慮    282
9.4.5  ROC 曲線    284
9.4.6  預(yù)測(cè)偏差    285
9.4.7  分類代碼實(shí)例    286
9.5  L1正則化    298
第10章  神經(jīng)網(wǎng)絡(luò)    308
10.1  什么是神經(jīng)網(wǎng)絡(luò)    308
10.1.1  隱藏層    308
10.1.2  激活函數(shù)    309
10.1.3  ReLU    310
10.1.4  實(shí)例代碼    311
10.2  訓(xùn)練神經(jīng)網(wǎng)絡(luò)    320
10.2.1  正向傳播算法    320
10.2.2  反向傳播算法    322
10.2.3  標(biāo)準(zhǔn)化特征值    324
10.2.4  丟棄正則化    324
10.2.5  代碼實(shí)例    325
10.3  多類別神經(jīng)網(wǎng)絡(luò)    340
10.3.1  一對(duì)多方法    340
10.3.2  Softmax    341
10.3.3  代碼實(shí)例    343
10.4  嵌套    357
10.4.1  協(xié)同過濾    358
10.4.2  稀疏數(shù)據(jù)    359
10.4.3  獲取嵌套    360
10.4.4  代碼實(shí)例    360
第11章  知識(shí)圖譜    372
11.1  什么是知識(shí)圖譜    372
11.1.1  知識(shí)圖譜的定義    373
11.1.2  知識(shí)圖譜的架構(gòu)    373
11.1.3  開放知識(shí)圖譜    374
11.1.4  知識(shí)圖譜在行業(yè)數(shù)據(jù)分析中的應(yīng)用    376
11.2  知識(shí)圖譜構(gòu)建的關(guān)鍵技術(shù)    377
11.2.1  知識(shí)提取    378
11.2.2  語義類抽取    379
11.2.3  屬性和屬性值抽取    381
11.2.4  關(guān)系抽取    382
11.2.5  知識(shí)表示    382
11.2.6  知識(shí)融合    383
11.3  知識(shí)計(jì)算及應(yīng)用    384
11.4  企業(yè)知識(shí)圖譜建設(shè)    384
第12章  數(shù)據(jù)挖掘    387
12.1  什么是數(shù)據(jù)挖掘    387
12.1.1  數(shù)據(jù)挖掘技術(shù)產(chǎn)生的背景    387
12.1.2  數(shù)據(jù)挖掘與數(shù)據(jù)分析的區(qū)別    387
12.2  數(shù)據(jù)挖掘技術(shù)（方法）    388
12.2.1  分類    388
12.2.2  聚類    389
12.2.3  回歸分析    389
12.2.4  關(guān)聯(lián)規(guī)則    389
12.2.5  神經(jīng)網(wǎng)絡(luò)方法    390
12.2.6  Web數(shù)據(jù)挖掘    390
12.2.7  特征分析    390
12.2.8  偏差分析    391
12.3  大數(shù)據(jù)思維    391
12.3.1  信度與效度思維    391
12.3.2  分類思維    391
12.3.3  漏斗思維    392
12.3.4  邏輯樹思維    392
12.3.5  時(shí)間序列思維    393
12.3.6  指數(shù)化思維    393
12.3.7  循環(huán)／閉環(huán)思維    394
第13章  銀行業(yè)大數(shù)據(jù)和人工智能    395
13.1  四大行的進(jìn)展    396
13.1.1  建設(shè)銀行    396
13.1.2  工商銀行    396
13.1.3  農(nóng)業(yè)銀行    398
13.1.4  中國(guó)銀行    398
13.2  其他銀行    399
13.2.1  廣發(fā)銀行    399
13.2.2  江蘇銀行    400
13.3  金融宏觀大數(shù)據(jù)分析    404
13.4  小結(jié)    407
13.4.1  大數(shù)據(jù)給銀行帶來的機(jī)遇與挑戰(zhàn)    407
13.4.2  銀行大數(shù)據(jù)體系建設(shè)的思考    409
第14章  醫(yī)療大數(shù)據(jù)和人工智能    412
14.1  醫(yī)療大數(shù)據(jù)的特點(diǎn)    412
14.2  醫(yī)療大數(shù)據(jù)處理模型    413
14.3  醫(yī)療大數(shù)據(jù)的AI應(yīng)用    416
14.3.1  智能輔助診療    416
14.3.2  影像數(shù)據(jù)分析與影像智能診斷    416
14.3.3  合理用藥    416
14.3.4  遠(yuǎn)程監(jiān)控    417
14.3.5  精準(zhǔn)醫(yī)療    417
14.3.6  成本與療效分析    417
14.3.7  績(jī)效管理    417
14.3.8  醫(yī)院控費(fèi)    417
14.3.9  醫(yī)療質(zhì)量分析    418
14.4  人工智能的醫(yī)療應(yīng)用場(chǎng)景    418
14.5  人工智能要當(dāng)“醫(yī)生”    420
14.6  醫(yī)院大數(shù)據(jù)    421
14.7  機(jī)器學(xué)習(xí)在醫(yī)療行業(yè)中的應(yīng)用實(shí)例分析    422
第15章  公安大數(shù)據(jù)和人工智能    424
15.1  公安大數(shù)據(jù)的特點(diǎn)    424
15.2  建設(shè)流程    425
15.3  公安大數(shù)據(jù)管理平臺(tái)    426
15.3.1  公安大數(shù)據(jù)建模    427
15.3.2  公安大數(shù)據(jù)匯集    428
15.3.3  公安大數(shù)據(jù)服務(wù)    428
15.4  公安大數(shù)據(jù)挖掘分析    428
15.5  公安大數(shù)據(jù)AI應(yīng)用    429
15.6  小結(jié)    430
第16章  工農(nóng)業(yè)大數(shù)據(jù)和人工智能    431
16.1  中國(guó)制造2025    432
16.2  工業(yè)大數(shù)據(jù)    433
16.2.1  工業(yè)大數(shù)據(jù)面臨三大制約因素    433
16.2.2  工業(yè)大數(shù)據(jù)應(yīng)用的四大發(fā)展趨勢(shì)    434
16.2.3  發(fā)展工業(yè)大數(shù)據(jù)    434
16.3  AI 制造    435
16.4  農(nóng)業(yè)大數(shù)據(jù)    435
16.4.1  發(fā)展現(xiàn)狀    435
16.4.2  農(nóng)業(yè)大數(shù)據(jù)目標(biāo)    435
16.4.3  農(nóng)業(yè)大數(shù)據(jù)建設(shè)任務(wù)    436
16.4.4  農(nóng)產(chǎn)品質(zhì)量安全追溯    437
附錄 A  國(guó)內(nèi)人工智能企業(yè)名單    438
附錄 B  大數(shù)據(jù)和人工智能網(wǎng)上資料    441
附錄 C  本書中采用的人工智能中英文術(shù)語    444
附錄 D  術(shù)語列表    446