大數(shù)據(jù)湖最佳實(shí)踐

前言 1

第1 章 數(shù)據(jù)湖概述 7

數(shù)據(jù)湖的成熟度 9

數(shù)據(jù)水洼  11

數(shù)據(jù)池  12

創(chuàng)建成功的數(shù)據(jù)湖  12

適合的平臺(tái) 13

適合的數(shù)據(jù) 14

適合的界面 16

數(shù)據(jù)沼澤  18

成功實(shí)施數(shù)據(jù)湖的路線圖  20

建立數(shù)據(jù)湖 20

規(guī)劃數(shù)據(jù)湖 21

構(gòu)建自助服務(wù)的數(shù)據(jù)湖  23

構(gòu)建數(shù)據(jù)湖  28

云上數(shù)據(jù)湖 29

邏輯數(shù)據(jù)湖 29

小結(jié)  34

第2 章 歷史背景 35

數(shù)據(jù)自助服務(wù)驅(qū)動(dòng)——數(shù)據(jù)庫的誕生  36

分析必要性驅(qū)動(dòng)——數(shù)據(jù)倉庫的誕生  39

數(shù)據(jù)倉庫生態(tài)系統(tǒng)  40

存儲(chǔ)和查詢數(shù)據(jù)  41

加載數(shù)據(jù)——數(shù)據(jù)集成工具  47

組織和管理數(shù)據(jù)  51

消費(fèi)數(shù)據(jù)  57

小結(jié)  58

第3 章 大數(shù)據(jù)和數(shù)據(jù)科學(xué)概述 59

Hadoop 引領(lǐng)大數(shù)據(jù)的歷史性轉(zhuǎn)變  60

Hadoop 文件系統(tǒng)  60

MapReduce 作業(yè)中計(jì)算和存儲(chǔ)如何交互  61

Schema on Read  63

Hadoop 項(xiàng)目  64

數(shù)據(jù)科學(xué)  65

你的分析機(jī)構(gòu)應(yīng)該關(guān)注什么？  67

機(jī)器學(xué)習(xí)  71

可解釋性  72

變更管理  73

小結(jié)  74

第4 章 建立數(shù)據(jù)湖 75

為什么是Hadoop 75

防止數(shù)據(jù)水洼擴(kuò)散  78

利用大數(shù)據(jù)的優(yōu)勢  79

以數(shù)據(jù)科學(xué)為先導(dǎo)  80

策略1: 遷移已有功能  83

策略2: 為新項(xiàng)目建立數(shù)據(jù)湖  85

策略3: 建立數(shù)據(jù)治理中心  85

哪種策略最適合你？  86

小結(jié)  88

第5 章 從數(shù)據(jù)池/ 大數(shù)據(jù)倉庫到數(shù)據(jù)湖 89

數(shù)據(jù)倉庫的基本功能  90

用于分析的維度模型  91

整合不同源的數(shù)據(jù)  92

使用緩慢變化維保存歷史記錄  93

數(shù)據(jù)倉庫作為歷史庫的局限性  93

遷移至數(shù)據(jù)池  94

數(shù)據(jù)池中保存歷史數(shù)據(jù)  94

在數(shù)據(jù)池中使用緩慢變化維  96

數(shù)據(jù)池演化為數(shù)據(jù)湖——加載數(shù)據(jù)倉庫中未包含的數(shù)據(jù)  98

原始數(shù)據(jù)  98

外部數(shù)據(jù)  99

IoT 與其他流式數(shù)據(jù)  102

實(shí)時(shí)數(shù)據(jù)湖  103

Lambda 架構(gòu)  105

數(shù)據(jù)轉(zhuǎn)換  106

目標(biāo)系統(tǒng)  108

數(shù)據(jù)倉庫  109

業(yè)務(wù)數(shù)據(jù)存儲(chǔ)  109

實(shí)時(shí)應(yīng)用和數(shù)據(jù)產(chǎn)品  110

小結(jié)  111

第6 章 自助服務(wù)優(yōu)化  112

自助服務(wù)起源  113

業(yè)務(wù)分析師  115

發(fā)現(xiàn)和理解數(shù)據(jù)——企業(yè)數(shù)據(jù)歸檔  116

建立信任  119

數(shù)據(jù)預(yù)置  126

為分析準(zhǔn)備數(shù)據(jù)  128

數(shù)據(jù)湖數(shù)據(jù)整理  129

用Hadoop 來準(zhǔn)備數(shù)據(jù)  129

數(shù)據(jù)預(yù)處理的常見案例  130

分析和可視化  133

自助式商業(yè)智能的新世界  133

新的分析工作流  134

門衛(wèi)向店主的角色轉(zhuǎn)變  136

管理自助服務(wù)  137

小結(jié)  137

第7 章 數(shù)據(jù)湖架構(gòu)  139

規(guī)劃數(shù)據(jù)湖  139

原始區(qū)  141

產(chǎn)品區(qū)  142

工作區(qū)  144

敏感區(qū)  145

多數(shù)據(jù)湖  146

保持各數(shù)據(jù)湖獨(dú)立的優(yōu)勢  147

合并多數(shù)據(jù)湖的優(yōu)勢  147

云上數(shù)據(jù)湖  148

虛擬數(shù)據(jù)湖  151

數(shù)據(jù)聯(lián)邦  151

大數(shù)據(jù)虛擬化  152

消除冗余  154

小結(jié)  156

第8 章 數(shù)據(jù)湖元數(shù)據(jù)  157

組織數(shù)據(jù)  157

技術(shù)元數(shù)據(jù) 159

業(yè)務(wù)元數(shù)據(jù) 164

打標(biāo)  166

自動(dòng)編目  167

邏輯數(shù)據(jù)管理  169

敏感數(shù)據(jù)管理和訪問控制  169

數(shù)據(jù)質(zhì)量  170

連接分散的數(shù)據(jù)  172

建立血緣關(guān)系  174

數(shù)據(jù)預(yù)置  176

創(chuàng)建目錄的工具  176

工具對比  177

數(shù)據(jù)洋  178

小結(jié)  179

第9 章 數(shù)據(jù)訪問控制  180

授權(quán)與訪問控制  181

基于標(biāo)簽的控制策略  182

數(shù)據(jù)脫敏  186

數(shù)據(jù)主權(quán)與法規(guī)  189

自助服務(wù)訪問管理  191

預(yù)置數(shù)據(jù)  196

小結(jié)  204

第10 章 行業(yè)案例  205

金融服務(wù)大數(shù)據(jù)  206

消費(fèi)者、數(shù)字化和數(shù)據(jù)正在改變我們所熟知的金融行業(yè)  206

拯救銀行  208

新數(shù)據(jù)提供新機(jī)遇  212

使用數(shù)據(jù)湖的關(guān)鍵過程  215

數(shù)據(jù)湖為金融服務(wù)領(lǐng)域帶來的價(jià)值  218

保險(xiǎn)行業(yè)中的數(shù)據(jù)湖  220

智慧城市  222

醫(yī)療大數(shù)據(jù)  224

作者介紹  227

封面介紹  227