尋路大數據：海量數據與大規(guī)模分析

定　價：￥59.00

作　者：	（美）Michael Manoochehri（邁克爾·馬諾切里）著；戴志偉，許楊毅，鄢博，陳冠誠譯
出版社：	電子工業(yè)出版社
叢編項：
標　簽：	計算機/網絡數據倉庫與數據挖掘數據庫

購買這本書可以去

ISBN：	9787121244728	出版時間：	2014-11-01	包裝：	平裝
開本：	16開	頁數：	244	字數：

內容簡介

　　這是一個數據爆發(fā)的時代，更是一個數據技術爆發(fā)的時代，各行各業(yè)都在因此進行深刻的變革。如何從眾多的數據技術中選擇正確的工具、如何使用這些工具從海量數據中挖掘出有價值的東西，無疑是非常具有挑戰(zhàn)性的問題。《尋路大數據：海量數據與大規(guī)模分析》作者結合自己在Google 大數據平臺工作的豐富經驗，闡述了數據技術的方方面面。從數據收集、共享到數據存儲，從分布式數據平臺、分析型數據庫到數據可視化，從數據工作流構建到大規(guī)模數據分析，作者不僅進行了全面而深入的介紹，更覆蓋了目前流行的各種數據技術與工具，同時對技術選型提出了指導性的建議。最后，作者對數據挑戰(zhàn)的非技術因素進行了深刻的分析，并對數據技術的發(fā)展趨勢進行了展望，引人深思?！秾ぢ反髷祿汉Ａ繑祿c大規(guī)模分析》對企業(yè)管理者、技術經理、數據分析師、數據應用開發(fā)人員和相關從業(yè)者都有很好的參考價值。決策者可以從中看到技術趨勢，把握時代發(fā)展脈搏；數據分析人員可以看到經驗的總結和工具的應用；其他從業(yè)者可以從中了解數據技術所涉及的各個方面。

作者簡介

　　作者Michael Manoochehri 是個企業(yè)家、作家和樂觀主義者。憑借自己與企業(yè)、研究機構和非營利性機構多年的合作經驗，他力圖讓可擴展數據分析變得更加廉價和易獲取。Michael 是Google 云平臺開發(fā)者關系組的成員之一，關注云計算和數據開發(fā)者產品，例如Google BigQuery。此外，Michael 是技術博客ProgrammableWeb.com的作者之一，曾在烏干達農村地區(qū)研究移動電話的使用，擁有UC Berkeley 信息學院的信息管理與系統(tǒng)文學碩士學位。譯者陳冠誠，并行實驗室創(chuàng)建者。在導師Prof. Per Stenstr＆ouml;m指導下完成碩士畢業(yè)設計“關于并行程序中鎖競爭的性能分析”。2011年加入IBM中國研究院系統(tǒng)組，從事云計算系統(tǒng)架構、海量數據處理等相關研究工作。

圖書目錄

第1 部分大數據時代指引 1
第1 章數據成功四原則 3
1．1 當數據成為一件“大”事 3
1．2 數據和單臺服務器 4
1．3 大數據的權衡 5
1．3．1 構建可（限）擴展的解決方案 6
1．3．2 構建可（在互聯(lián)網上）共享數據的系統(tǒng) 7
1．3．3 構建解決方案，而非基礎設施 8
1．3．4 關注從數據中解放價值 8
1．4 大數據流水線剖析 9
1．5 終極數據庫 10
1．6 總結 10
第2 部分收集和共享海量數據 13
第2 章托管和共享TB 級原始數據 15
2．1 文件之殤 16
2．1．1 共享大量文件的挑戰(zhàn) 16
2．2 存儲：基礎設施即服務 17
2．2．1 網絡很慢 18
2．3 選擇合適的數據格式 18
2．3．1 XML ：數據，描述你自己 20
2．3．2 JSON ：程序員的選擇 21
2．4 字符編碼 22
2．4．1 文件轉換 24
XXII 目錄
2．5 移動中的數據：數據序列化格式 25
2．5．1 Apache Thrift 和Protocol Buffers 26
2．6 總結 27
第3 章構建基于NoSQL 的Web 應用采集眾包數據 29
3．1 關系型數據庫：命令及控制 30
3．1．1 關系數據庫的ACID 測試 32
3．2 當關系型數據庫遇上互聯(lián)網 33
3．2．1 CAP 原理與BASE 34
3．3 非關系型數據庫的模式 36
3．3．1 鍵- 值數據庫 36
3．3．2 文檔存儲 38
3．4 為寫入性能優(yōu)化：Redis 40
3．5 在多個Redis 實例上分片 43
3．5．1 使用Twemproxy 自動分區(qū) 44
3．5．2 Redis 的替代選項 46
3．6 NewSQL ：Codd 歸來 46
3．7 總結 47
第4 章解決數據孤島問題的策略 49
4．1 堆滿術語的倉庫 49
4．1．1 實踐中的問題 51
4．1．2 數據合規(guī)與安全規(guī)劃 52
4．1．3 走進數據倉庫 53
4．1．4 數據倉庫的口訣：抽取、轉換和加載 54
4．2 Hadoop ：數據倉庫中的大象 55
4．3 數據孤島也可能是個優(yōu)點 55
4．3．1 專注于數據問題，而不是技術 56
4．3．2 鼓勵員工提出他們自己的問題 57
4．3．3 投資溝通數據孤島的技術 57
4．4 融合：數據孤島的終結 58
目錄XXIII
4．4．1 Luhn 的商業(yè)智能系統(tǒng)是否能成為現(xiàn)實 59
4．5 總結 59
第3 部分數據探究 61
第5 章使用Hadoop、Hive 和Shark 探索大規(guī)模數據集 63
5．1 什么是數據倉庫 64
5．2 Apache Hive ：在Hadoop 上進行交互式查詢 66
5．2．1 Hive 用例 66
5．2．2 Hive 實戰(zhàn) 67
5．2．3 在Hive 中使用其他數據源 71
5．3 Shark ：以內存的速度進行查詢 72
5．4 云中的數據倉庫 73
5．5 總結 74
第6 章使用Google BigQuery 構建數據信息中心 77
6．1 分析型數據庫 78
6．2 Dremel ：均貧富 79
6．2．1 Dremel 與MapReduce 的不同之處 80
6．3 BigQuery ：數據分析即服務 81
6．3．1 BigQuery 的查詢語言 82
6．4 建造自己的大數據信息面板 83
6．4．1 授權訪問BigQuery API 84
6．4．2 運行查詢并獲取結果 87
6．4．3 緩存查詢結果 88
6．4．4 添加可視化圖形 89
6．5 分析型查詢引擎的未來 91
6．6 總結 91
第7 章探索大數據的可視化策略 93
7．1 警世良言：將數據翻譯成故事 94
7．2 人類尺度 VS 機器尺度 97
XXIV 目錄
7．2．1 交互性 97
7．3 開發(fā)交互式數據應用 98
7．3．1 使用R 和ggplot2 實現(xiàn)交互式可視化 98
7．3．2 matplotlib： Python 的2D 圖形庫 100
7．3．3 D3．js ：用于Web 的交互式可視化庫 100
7．4 總結 104
第4 部分構建數據流水線 107
第8 章整合：MapReduce 數據流水線 109
8．1 數據流水線是什么 109
8．1．1 正確的工具 110
8．2 使用Hadoop Streaming 搭建數據流水線 111
8．2．1 MapReduce 和數據轉換 111
8．2．2 最簡單的流水線：stdin 到stdout 113
8．3 單步MapReduce 變換 115
8．3．1 從原始NVSS 數據中抽取相關信息：map 階段 116
8．3．2 合計每月出生數：reducer 階段 117
8．3．3 在本地測試MapReduce 流水線 118
8．3．4 在Hadoop 集群上運行我們的MapReduce 作業(yè) 119
8．4 降低復雜性：Hadoop 上Python 的MapReduce 框架 120
8．4．1 使用mrjob 重寫Hadoop Streaming 示例 121
8．4．2 建造一個多步流水線 122
8．4．3 在Elastic MapReduce 上運行mrjob 腳本 124
8．4．4 其他基于Python 的MapReduce 框架 125
8．5 總結 125
第9 章使用Pig 和Cascading 構建數據轉換工作流 127
9．1 大規(guī)模數據工作流實戰(zhàn) 128
9．2 多步MapReduce 轉換真復雜 128
9．2．1 Apache Pig ：拒絕復雜 129
目錄XXV
9．2．2 使用交互式Grunt shell 運行Pig 130
9．2．3 過濾和優(yōu)化數據工作流 132
9．2．4 以批處理模式運行Pig 腳本 132
9．3 Cascading ：構建健壯的數據工作流應用 133
9．3．1 以source 和sink 的方式思考 134
9．3．2 構建Cascading 應用 135
9．3．3 創(chuàng)建一個Cascade ：一個簡單的JOIN 例子 136
9．3．4 在Hadoop 集群上部署Cascading 應用 138
9．4 何時選擇Pig 或Cascading 139
9．5 總結 140
第5 部分基于大規(guī)模數據集的機器學習 141
第10 章使用Mahout 構建數據分類系統(tǒng) 143
10．1 機器能否預測未來 144
10．2 機器學習的挑戰(zhàn) 144
10．2．1 貝葉斯分類 146
10．2．2 聚類 146
10．2．3 推薦引擎 148
10．3 Apache Mahout ：可伸縮的機器學習工具 148
10．3．1 使用Mahout 進行文本分類 149
10．4 MLbase ：分布式機器學習框架 152
10．5 總結 152
第6 部分基于大規(guī)模數據集的統(tǒng)計分析 155
第11 章使用R 語言處理大數據集 157
11．1 統(tǒng)計學為什么性感 158
11．1．1 R 處理大型數據集的局限性 159
11．1．2 R 的數據幀和矩陣 161
XXVI 目錄
11．2 處理大數據集的策略 162
11．2．1 大矩陣處理：bigmemory 和biganalytics 162
11．2．2 ff：使用大于內存的數據幀 164
11．2．3 biglm ：大規(guī)模數據集的線性回歸 165
11．2．4 RHadoop：使用R 訪問Apache Hadoop 166
11．3 總結 168
第12 章使用Python 和Pandas 構建分析工作流 171
12．1 數據樂園中自在的蟒蛇――Python 172
12．1．1 為統(tǒng)計性計算選擇一門語言 172
12．1．2 擴展現(xiàn)有代碼 173
12．1．3 工具和測試 174
12．2 用于數據處理的Python 庫 174
12．2．1 NumPy 175
12．2．2 SciPy ：Python 的科學計算庫 176
12．2．3 數據分析庫Pandas 178
12．3 構建更復雜的工作流 182
12．3．1 處理損壞或丟失的記錄 184
12．4 iPython ：科學計算工具鏈的最后一環(huán) 185
12．4．1 在集群上并行執(zhí)行iPython 186
12．5 總結 190
第7 部分展望未來 191
第13 章何時選擇自制、購買或外包 193
13．1 功能重合的解決方案 193
13．2 理解你的數據問題 195
13．3 自制還是購買問題的參考手冊 197
13．3．1 你已經對哪些技術有所投入 197
13．3．2 從小處著手 198
13．3．3 規(guī)劃時考慮可擴展性 198
目錄XXVII
13．4 私人數據中心 199
13．5 了解開源的成本 201
13．6 一切皆服務 202
13．7 總結 202
第14 章未來：數據科技的幾個趨勢 205
14．1 Hadoop ：攪局者與被攪局者 206
14．2 一切皆在云中 208
14．3 數據科學家的興衰 209
14．4 融合：終極數據庫 212
14．5 文化融合 213
14．6 總結 214