高可用性的HDFS：Hadoop分布式文件系統(tǒng)深度實踐

定　價：￥59.00

作　者：	文艾，王磊著
出版社：	清華大學出版社
叢編項：
標　簽：	程序設(shè)計

購買這本書可以去

ISBN：	9787302282587	出版時間：	2012-05-01	包裝：	平裝
開本：	16開	頁數(shù)：	371	字數(shù)：

內(nèi)容簡介

　　《高可用性的hdfs—hadoop分布式文件系統(tǒng)深度實踐》專注于hadoop分布式文件系統(tǒng)（hdfs）的主流ha解決方案，內(nèi)容包括：hdfs元數(shù)據(jù)解析、hadoop元數(shù)據(jù)備份方案、hadoopbackup node方案、avatarnode解決方案以及最新的ha解決方案cloudrea ha namenode等。其中有關(guān)backupnode方案及avatarnode方案的內(nèi)容是本書重點，尤其是對avatarnode方案從運行機制到異常處理方案的步驟進行了詳盡介紹，同時還總結(jié)了各種異常情況下avatarnode的各種處理方案。《高可用性的hdfs—hadoop分布式文件系統(tǒng)深度實踐》從代碼入手并結(jié)合情景分析、案例解說對hdfs的元數(shù)據(jù)以及主流的hdfsha解決方案的運行機制進行了深入剖析，力求使讀者在解決問題時做到心中有數(shù)，不僅知其然還知其所以然。本書光盤包含本書部分操作的視頻教程以及所有源代碼、腳本等開發(fā)文件?！陡呖捎眯缘膆dfs—hadoop分布式文件系統(tǒng)深度實踐》讀者主要為云計算相關(guān)領(lǐng)域的研發(fā)人員、云計算系統(tǒng)管理維護人員，也適合作為高校研究生和高年級本科生的專業(yè)課輔助教材。

作者簡介

　　文艾，解放軍理工大學講師，7年Linux分布式系統(tǒng)開發(fā)經(jīng)驗，完成科研項目10余項，發(fā)表學術(shù)論文9篇，獲得部級科技進步獎3項。自2008年關(guān)注云計算方向以來，參與完成了《云計算》教材編寫，負責首屆全國高校教師暑期云計算培訓班實驗課程教學，與國內(nèi)外知名企業(yè)合作，完成多項云計算科研項目及培訓任務(wù)，其中《面向3G視頻監(jiān)控的云存儲系統(tǒng)》在2009年中國首屆云計算大會上作了大會演示。對GFS、HDFS、MooseFS等云存儲系統(tǒng)的運行原理和實現(xiàn)機制進行過深入研究，此外感興趣的方向還包括分布式智能視頻處理，目前的主要研究方向為云計算高可用性及云存儲系統(tǒng)。王磊，南京云創(chuàng)存儲科技有限公司云計算工程師，專注于分布式平臺下任務(wù)調(diào)度和可靠性。發(fā)表多篇分布式環(huán)境下任務(wù)調(diào)度和可靠性論文。深度分析Hadoop源代碼，熟悉運行機制和原理，掌握HDFS具體流程細節(jié)，深入理解分布式計算理論及Hadoop的運行機制和原理，熟悉HDFS、MapReduce和Hbase的具體實現(xiàn)方式。在HDFS、MapReduce的數(shù)據(jù)一致性方面和故障恢復(fù)上也有深入研究，并提供高效自動恢復(fù)方案。參與開發(fā)了多個與Hadoop相關(guān)的大型項目和產(chǎn)品，熱衷于改進Hadoop代碼以及研究如何提高Hadoop的可靠性。

圖書目錄

第1章 HDFS HA及解決方案
1.1 HDFS系統(tǒng)架構(gòu)
1.2 HA定義
1.3 HDFS HA原因分析及應(yīng)對措施
1.3.1 可靠性
1.3.2 可維護性
1.4 現(xiàn)有HDFS HA解決方案
1.4.1 Hadoop的元數(shù)據(jù)備份方案
1.4.2 Hadoop的SecondaryNameNode方案
1.4.3 Hadoop的Checkpoint ode方案
1.4.4 Hadoop的BackupNode方案
1.4.5 DRDB方案
1.4.6 FaceBook的AvatarNode方案
1.5 方案優(yōu)缺點比較
第2章 HDFS元數(shù)據(jù)解析
2.1 概述
2.2 內(nèi)存元數(shù)據(jù)結(jié)構(gòu)
2.2.1 INode
2.2.2 Block
2.2.3 BlockInfo和DatanodeDescriptor
2.2.4 小結(jié)
2.2.5 代碼分析——元數(shù)據(jù)結(jié)構(gòu)
2.3 磁盤元數(shù)據(jù)文件
2.4 Format情景分析
2.5 元數(shù)據(jù)應(yīng)用場景分析
第3章 Hadoop的元數(shù)據(jù)備份方案
3.1 運行機制分析 4
3.1.1 NameNode啟動加載元數(shù)據(jù)情景分析
3.1.2 元數(shù)據(jù)更新及日志寫入情景分析
3.1.3 Checkpoint過程情景分析
3.1.4 元數(shù)據(jù)可靠性機制
3.1.5 元數(shù)據(jù)一致性機制
3.2 使用說明
第4章 Hadoop的Backup Node方案
4.1 Backup Node概述
4.1.1 系統(tǒng)架構(gòu)
4.1.2 使用原則
4.1.3 優(yōu)缺點
4.2 運行機制分析
4.2.1 啟動流程
4.2.2 元數(shù)據(jù)操作情景分析
4.2.3 日志池（journal spool）機制
4.2.4 故障切換機制
4.3 實驗方案說明
4.4 構(gòu)建實驗環(huán)境
4.4.1 網(wǎng)絡(luò)拓撲
4.4.2 系統(tǒng)安裝及配置
4.4.3 安裝JDK
4.4.4 虛擬機集群架設(shè)
4.4.5 NameNode安裝及配置
4.4.6 Backup Node安裝及配置
4.4.7 Data Node安裝及配置
4.4.8 Clients安裝及配置
4.5 異常解決方案
4.5.1 異常情況分析
4.5.2 NameNode配置
4.5.3 Backup Node配置
4.5.4 Data Node配置
4.5.5 NameNode宕機切換實驗
4.5.6 NameNode宕機讀寫測試第5章 AvatarNode運行機制
5.1 方案說明
5.1.1 系統(tǒng)架構(gòu)
5.1.2 思路分析
5.1.3 性能數(shù)據(jù)
5.2 元數(shù)據(jù)分析
5.2.1 類FSNamesystem
5.2.2 類FSDirectory
5.2.3 AvatarNode的磁盤元數(shù)據(jù)文件
5.3 AvatarNode Primary啟動過程
5.4 AvatarNode Standby啟動過程
5.4.1 AvatarNode的構(gòu)造方法
5.4.2 Standby線程的run()方法
5.4.3 Ingest線程的run()方法
5.4.4 Ingest線程的ingestFSEdits ()方法
5.4.5 Standby線程的doCheckpoint()方法
5.5 用戶操作情景分析
5.5.1 創(chuàng)建目錄情景分析
5.5.2 創(chuàng)建文件情景分析
5.6 AvatarNode Standby故障切換過程
5.7 元數(shù)據(jù)一致性保證機制
5.7.1 元數(shù)據(jù)目錄樹信息
5.7.2 Data Node與Block數(shù)據(jù)塊映射信息
5.8 Block更新同步問題
5.8.1 問題描述
5.8.2 結(jié)論
5.8.3 源碼分析
第6章 AvatarNode使用
6.1 方案說明
6.1.1 網(wǎng)絡(luò)拓撲
6.1.2 操作系統(tǒng)安裝及配置
6.2 使用Avatar打補丁版本
6.2.1 Hadoop源碼聯(lián)機Build
6.2.2 Hadoop源碼本地Build
6.2.3 NFS服務(wù)器構(gòu)建
6.2.4 Avatar分發(fā)與部署
6.2.5 Primary（namenode0）節(jié)點配置
6.2.7 Data Node節(jié)點配置
6.2.8 Client節(jié)點配置
6.2.9 創(chuàng)建目錄
6.2.10 掛載NFS
6.2.11 啟動Ucarp
6.2.12 格式化
6.2.13 系統(tǒng)啟動
6.2.14 檢查
6.2.15 NameNode失效切換寫文件實驗
6.2.16 NameNode失效切換讀文件實驗
6.3 Avatar FaceBook版本的使用
6.3.1 Hadoop FaceBook版本安裝
6.3.2 節(jié)點配置
6.3.3 啟動HDFS
6.3.4 NameNode失效切換
第7章 AvatarNode異常解決方案
7.1 測試環(huán)境
7.2 Primary失效
7.2.1 解決方案
7.2.2 寫操作實驗步驟
7.2.3 改進寫操作機制
7.2.4 讀操作實驗步驟
7.2.5 小結(jié)
7.3 Standby失效
7.4 NFS失效（數(shù)據(jù)未損壞）
7.4.1 解決方案
7.4.2 寫操作實驗步驟
7.4.3 讀操作實驗步驟
7.4.4 小結(jié) 322
7.5 NFS失效（數(shù)據(jù)已損壞）
7.5.1 解決方案
7.5.2 寫操作實驗步驟
7.5.3 讀操作實驗步驟
7.5.4 小結(jié)
7.6 Primary先失效，NFS后失效（數(shù)據(jù)未損壞）
7.6.1 解決方案
7.6.2 寫操作實驗步驟
7.6.3 讀操作實驗步驟
7.6.4 小結(jié)
7.7 Primary先失效（數(shù)據(jù)未損壞），NFS后失效（數(shù)據(jù)損壞）
7.7.1 解決方案
7.7.2 寫操作實驗步驟
7.7.3 讀操作實驗步驟
7.7.4 小結(jié)
7.8 NFS先失效（數(shù)據(jù)未損壞），Primary后失效
7.8.1 解決方案
7.8.2 寫操作實驗步驟
7.8.3 讀操作實驗步驟
7.8.4 小結(jié)
7.9 NFS先失效（數(shù)據(jù)損壞），Primary后失效（數(shù)據(jù)損壞）
7.9.1 解決方案
7.9.2 寫操作實驗步驟
7.9.3 讀操作實驗步驟
7.9.4 小結(jié)
7.10 實驗結(jié)論
第8章 Cloudera HA NameNode使用
8.1 HA NameNode說明
8.2 CDH4B1版本HDFS集群配置
8.2.1 虛擬機安裝
8.2.2 nn1配置
8.2.3 dn1~dn3配置
8.2.4 HDFS集群構(gòu)建
8.3 HA NameNode配置
8.3.1 nn1配置
8.3.2 其他節(jié)點配置
8.4 HA NameNode使用
8.4.1 啟動HA HDFS集群
8.4.2 第1次failover
8.4.3 模擬寫操作
8.4.4 模擬Active Name Node失效，第2次failover
8.3.5 模擬新的Standby NameNode加入
8.5 小結(jié)