機(jī)器學(xué)習(xí)大數(shù)據(jù)平臺(tái)的構(gòu)建、任務(wù)實(shí)現(xiàn)與數(shù)據(jù)治理：使用Azure、DevOps、MLOps

定　價(jià)：￥98.00

作　者：	[美] 弗拉德·里斯庫(kù)蒂亞（Vlad Riscutia）著葉偉民、劉華、余靈譯
出版社：	清華大學(xué)出版社
叢編項(xiàng)：
標(biāo)　簽：	暫缺

購(gòu)買這本書(shū)可以去

當(dāng)當(dāng)網(wǎng) (￥93.10)

ISBN：	9787302657637	出版時(shí)間：	2024-04-01	包裝：	平裝-鎖線膠訂
開(kāi)本：	16開(kāi)	頁(yè)數(shù)：		字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　主要內(nèi)容● 數(shù)據(jù)字典和數(shù)據(jù)治理● 數(shù)據(jù)質(zhì)量管控、合規(guī)和分發(fā)● 構(gòu)建自動(dòng)化管道以提高可靠性● 數(shù)據(jù)攝取、存儲(chǔ)和分發(fā)● 支持生產(chǎn)環(huán)境中的數(shù)據(jù)建模、分析和機(jī)器學(xué)習(xí)

作者簡(jiǎn)介

　　Vlad Riscutia是微軟的軟件架構(gòu)師。

圖書(shū)目錄

第1 章簡(jiǎn)介 1
1.1 什么是數(shù)據(jù)工程 2
1.2 本書(shū)讀者對(duì)象 3
1.3 什么是數(shù)據(jù)平臺(tái) 3
1.3.1 數(shù)據(jù)平臺(tái)的構(gòu)成 4
1.3.2 基礎(chǔ)設(shè)施即代碼，無(wú)代碼基礎(chǔ)設(shè)施 6
1.4 使用云構(gòu)建 7
1.4.1 IaaS、PaaS 和SaaS 7
1.4.2 網(wǎng)絡(luò)、存儲(chǔ)和計(jì)算 7
1.4.3 如何使用Azure 8
1.4.4 與Azure 交互 8
1.5 實(shí)現(xiàn)Azure 數(shù)據(jù)平臺(tái) 11
1.6 本章小結(jié) 13
第Ⅰ部分基礎(chǔ)設(shè)施
第2 章存儲(chǔ) 17
2.1 在數(shù)據(jù)平臺(tái)中存儲(chǔ)數(shù)據(jù) 18
2.1.1 跨多個(gè)數(shù)據(jù)織物存儲(chǔ)數(shù)據(jù) 19
2.1.2 SSOT 20
2.2 Azure Data Explorer簡(jiǎn)介 22
2.2.1 部署Azure Data Explorer集群 23
2.2.2 使用Azure Data Explorer 26
2.2.3 解決查詢限制問(wèn)題 29
2.3 Azure Data Lake Storage簡(jiǎn)介 30
2.3.1 創(chuàng)建Azure Data Lake Storage 賬戶 30
2.3.2 使用Azure Data Lake Storage 31
2.3.3 集成Azure Data Explorer 32
2.4 數(shù)據(jù)攝取 34
2.4.1 數(shù)據(jù)攝取頻率 34
2.4.2 加載類型 36
2.4.3 數(shù)據(jù)重建和重新加載 38
2.5 本章小結(jié) 41
第3 章 DevOps 43
3.1 什么是DevOps 44
3.2 Azure DevOps 簡(jiǎn)介 47
3.3 部署基礎(chǔ)設(shè)施 50
3.3.1 導(dǎo)出Azure Resource Manager 模板 51
3.3.2 創(chuàng)建Azure DevOps 服務(wù)連接 54
3.3.3 部署Azure Resource Manager 模板 56
3.3.4 理解Azure Pipelines 60
3.4 部署Azure Data Explorer對(duì)象和分析 61
3.4.1 使用Azure DevOps 市場(chǎng)擴(kuò)展 63
3.4.2 將所有內(nèi)容都存儲(chǔ)在Git并自動(dòng)部署所有內(nèi)容 67
3.5 本章小結(jié) 68
第4 章編排 69
4.1 導(dǎo)入Bing COVID-19 開(kāi)放數(shù)據(jù)集 70
4.2 Azure Data Factory 簡(jiǎn)介 72
4.2.1 設(shè)置數(shù)據(jù)源 73
4.2.2 設(shè)置數(shù)據(jù)接收器 75
4.2.3 設(shè)置管道 79
4.2.4 設(shè)置觸發(fā)器 82
4.2.5 使用Azure Data Factory進(jìn)行編排 84
4.3 Azure Data Factory 的DevOps 84
4.3.1 從Git 部署Azure Data Factory 87
4.3.2 設(shè)置訪問(wèn)控制 88
4.3.3 部署生產(chǎn)環(huán)境的Azure Data Factory 90
4.3.4 小結(jié) 92
4.4 使用Azure Monitor 進(jìn)行監(jiān)控 93
4.5 本章小結(jié) 95
第Ⅱ部分具體的工作任務(wù)
第5 章數(shù)據(jù)處理 99
5.1 數(shù)據(jù)建模技術(shù) 100
5.1.1 規(guī)范化和反規(guī)范化 100
5.1.2 數(shù)據(jù)倉(cāng)庫(kù) 103
5.1.3 半結(jié)構(gòu)化數(shù)據(jù) 104
5.1.4 小結(jié) 107
5.2 身份鑰匙環(huán) 108
5.2.1 構(gòu)建身份鑰匙環(huán) 109
5.2.2 理解鑰匙環(huán) 111
5.3 時(shí)間線 113
5.3.1 構(gòu)建時(shí)間線視圖 113
5.3.2 使用時(shí)間線 115
5.4 應(yīng)用DevOps 以保證數(shù)據(jù)處理能夠按計(jì)劃可靠地運(yùn)行 116
5.4.1 使用Git 追蹤和處理函數(shù) 116
5.4.2 使用Azure Data Factory構(gòu)建鑰匙環(huán) 117
5.4.3 擴(kuò)展規(guī)模 123
5.5 本章小結(jié) 127
第6 章數(shù)據(jù)分析 129
6.1 開(kāi)發(fā)環(huán)境和生產(chǎn)環(huán)境分離下如何訪問(wèn)數(shù)據(jù) 130
6.1.1 對(duì)生產(chǎn)數(shù)據(jù)處理后再部分復(fù)制到開(kāi)發(fā)環(huán)境 132
6.1.2 將生產(chǎn)數(shù)據(jù)完全復(fù)制到開(kāi)發(fā)環(huán)境 133
6.1.3 在開(kāi)發(fā)環(huán)境中提供生產(chǎn)數(shù)據(jù)的只讀視圖 133
6.1.4 小結(jié) 135
6.2 設(shè)計(jì)數(shù)據(jù)分析的工作流程 136
6.2.1 原型 138
6.2.2 開(kāi)發(fā)和用戶驗(yàn)收測(cè)試 139
6.2.3 生產(chǎn)環(huán)境 141
6.2.4 小結(jié) 143
6.3 讓數(shù)據(jù)科學(xué)家能夠自助移動(dòng)數(shù)據(jù) 144
6.3.1 基本原則和相關(guān)背景 145
6.3.2 數(shù)據(jù)合約 145
6.3.3 管道驗(yàn)證 146
6.3.4 事后分析 150
6.3.5 小結(jié) 151
6.4 本章小結(jié) 151
第7 章機(jī)器學(xué)習(xí) 153
7.1 訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)模型 154
7.1.1 使用scikit-learn訓(xùn)練模型 155
7.1.2 高消費(fèi)者模型實(shí)現(xiàn) 156
7.2 引入Azure Machine Learning 158
7.2.1 創(chuàng)建工作區(qū) 158
7.2.2 創(chuàng)建Azure Machine Learning 計(jì)算目標(biāo) 159
7.2.3 設(shè)置Azure Machine Learning 存儲(chǔ) 160
7.2.4 在云中運(yùn)行機(jī)器學(xué)習(xí) 162
7.2.5 小結(jié) 167
7.3 MLOps 167
7.3.1 從Git 部署 168
7.3.2 存儲(chǔ)管道ID 171
7.3.3 小結(jié) 172
7.4 機(jī)器學(xué)習(xí)的編排 172
7.4.1 連接Azure Data Factory與Azure Machine Learning 173
7.4.2 機(jī)器學(xué)習(xí)編排 175
7.4.3 小結(jié) 178
7.5 本章小結(jié) 179
第Ⅲ部分數(shù)據(jù)治理
第8 章元數(shù)據(jù) 183
8.1 理解大數(shù)據(jù)平臺(tái)中元數(shù)據(jù)的需求 184
8.2 介紹Azure Purview 186
8.3 維護(hù)數(shù)據(jù)字典 190
8.3.1 設(shè)置掃描 190
8.3.2 瀏覽數(shù)據(jù)字典 194
8.3.3 小結(jié) 195
8.4 管理數(shù)據(jù)術(shù)語(yǔ)表 196
8.4.1 添加新的術(shù)語(yǔ) 196
8.4.2 審查術(shù)語(yǔ) 198
8.4.3 自定義模板和批量
導(dǎo)入 198
8.4.4 小結(jié) 200
8.5 了解Azure Purview 的高級(jí)功能 200
8.5.1 追蹤數(shù)據(jù)血緣 200
8.5.2 分類規(guī)則 201
8.5.3 REST API 203
8.5.4 小結(jié) 204
8.6 本章小結(jié) 204
第9 章數(shù)據(jù)質(zhì)量 207
9.1 數(shù)據(jù)測(cè)試概述 207
9.1.1 可用性測(cè)試 208
9.1.2 正確性測(cè)試 209
9.1.3 完整性測(cè)試 210
9.1.4 異常檢測(cè)測(cè)試 212
9.1.5 小結(jié) 214
9.2 使用Azure Data Factory進(jìn)行數(shù)據(jù)質(zhì)量檢查 214
9.2.1 使用Azure Data Factory進(jìn)行測(cè)試 215
9.2.2 執(zhí)行測(cè)試 218
9.2.3 創(chuàng)建和使用模板 219
9.2.4 小結(jié) 221
9.3 擴(kuò)展數(shù)據(jù)測(cè)試 221
9.3.1 支持多個(gè)數(shù)據(jù)平臺(tái) 221
9.3.2 按計(jì)劃運(yùn)行測(cè)試和觸發(fā)運(yùn)行測(cè)試 223
9.3.3 編寫(xiě)測(cè)試 224
9.3.4 存儲(chǔ)測(cè)試定義和結(jié)果 228
9.4 本章小結(jié) 231
第10 章合規(guī) 233
10.1 數(shù)據(jù)分類 234
10.1.1 特征數(shù)據(jù) 234
10.1.2 遙測(cè)數(shù)據(jù) 235
10.1.3 用戶數(shù)據(jù) 235
10.1.4 用戶擁有的數(shù)據(jù) 236
10.1.5 業(yè)務(wù)數(shù)據(jù) 236
10.1.6 小結(jié) 236
10.2 將敏感數(shù)據(jù)變得不那么敏感 237
10.2.1 聚合 238
10.2.2 匿名化 239
10.2.3 偽匿名化 242
10.2.4 數(shù)據(jù)掩碼 246
10.2.5 小結(jié) 246
10.3 訪問(wèn)控制模型 247
10.3.1 安全組 248
10.3.2 保護(hù)Azure Data Explorer 250
10.3.3 小結(jié) 255
10.4 GDPR 和其他考慮因素 256
10.4.1 數(shù)據(jù)處理 256
10.4.2 數(shù)據(jù)主體請(qǐng)求 256
10.4.3 其他考慮因素 259
10.5 本章小結(jié) 259
第11 章數(shù)據(jù)分發(fā) 261
11.1 數(shù)據(jù)分發(fā)概述 262
11.2 構(gòu)建數(shù)據(jù)API 264
11.2.1 Azure Cosmos DB簡(jiǎn)介 266
11.2.2 填充Cosmos DB集合 269
11.2.3 檢索數(shù)據(jù) 271
11.2.4 小結(jié) 274
11.3 機(jī)器學(xué)習(xí)模型如何對(duì)外提供服務(wù) 274
11.4 共享數(shù)據(jù)進(jìn)行批量復(fù)制 274
11.4.1 分離計(jì)算資源 275
11.4.2 Azure Data Share簡(jiǎn)介 277
11.4.3 小結(jié) 282
11.5 數(shù)據(jù)共享的最佳實(shí)踐 282
11.6 本章小結(jié) 284
附錄A Azure 服務(wù) 285
附錄B KQL 快速參考 287
附錄C 運(yùn)行代碼示例 289