大數據基礎

項目1 大數據概述
任務1 初識大數據
1．1．1 大數據的基本特征
1．1．2 大數據的影響
1．1．3 大數據處理的基本流程
1．1．4 大數據與云計算、物聯網的關系
任務2 認識Hadoop生態(tài)系統(tǒng)
1．2．1 Hadoop生態(tài)系統(tǒng)
1．2．2 Hadoop行業(yè)應用案例
項目小結
課后練習
項目2 Linux操作系統(tǒng)的安裝及常用命令
任務1 安裝及配置Linux虛擬機
2．1．1 創(chuàng)建Linux虛擬機
2．1．2 搭建FTP遠程連接虛擬機
2．1．3 在虛擬機上安裝軟件
任務2 Linux系統(tǒng)常用命令
2．2．1 熟練使用文件目錄類命令
2．2．2 熟練使用vim編輯器
項目小結
課后練習
項目3 Hadoop集群部署
任務1 Hadoop安裝與配置
3．1．1 創(chuàng)建hadoop用戶
3．1．2 安裝SSH，配置SSH無密碼登錄
3．1．3 安裝Java環(huán)境
3．1．4 單機模式安裝
3．1．5 偽分布模式安裝
任務2 Hadoop的啟動和測試
任務3 Hadoop偽分布模式實例
項目小結
課后練習
項目4 HDFS基礎操作
任務1 認識HDFS
4．1．1 HDFS工作原理
4．1．2 HDFS常用命令
任務2 上傳文件到HDFS目錄
4．2．1 HDFS中新建目錄
4．2．2 3：傳和下載文件
4．2．3 查看文件內容
4．2．4 刪除文件或目錄
任務3 編寫HDFS程序
4．3．1 讀取HDFS文件
4．3．2 向HDFS中寫入文件
4．3．3 判斷文件是否存在
項目小結
課后練習
項目5 HBase數據庫的安裝與應用
任務1 認識HBase
5．1．1 HBase簡介
5．1．2 HBase基本概念
5．1．3 HBase體系架構
任務2 HBase開發(fā)環(huán)境安裝與配置
5．2．1 單機模式安裝與配置
5．2．2 偽分布模式安裝與配置
任務3 使用HBase Shell管理分布式數據庫
5．3．1 HBase Shell命令簡介
5．3．2 HBase Shell的使用
任務4 HBase編程
5．4．1 開發(fā)HBase應用程序
5．4．2 HBase編程實現數據存儲管理
項目小結
課后練習
項目6 MapReduce應用開發(fā)
任務1 認識MapReduce編程模型
6．1．1 MapReduce概念
6．1．2 MapReduce編程模型
6．1．3 MapReduce數據類型
任務2 使用Eclipse創(chuàng)建MapReduce工程
6．2．1 下栽安裝Hadoop-Eclipse-Plugin插件
6．2．2 配置MapReduce環(huán)境
6．2．3 在Eclipse中操作HDFS中的文件
任務3 MapReduce實現英語單詞統(tǒng)計
任務4 MapReduce實現氣象數據分析
項目小結
課后練習
項目7 Hive數據倉庫
任務1 認識Hive
7．1．1 Hive簡介
7．1．2 Hive架構設計
7．1．3 Hive與傳統(tǒng)關系數據庫的對比
任務2 Hive安裝與配置
任務3 Hive Shell操作
7．3．1 Hive的數據類型
7．3．2 Hive基本操作
任務4 Hive交易數據統(tǒng)計實戰(zhàn)
項目小結
課后練習
項目8 Flume和Sqoop的安裝與使用
任務1 認識F1ume
8．1．1 Flome相關概念
8．1．2 Flume架構
8．1．3 Flume常用的類型
8．1．4 F1ume常用操作命令
任務2 Flume環(huán)境搭建
8．2．1 Flume安裝與配置
8．2．2 Flume采集日志信息到HDFS
任務3 安裝Sqoop
任務4 使用Sqoop實現數據遷移
8．4．1 Sqoop命令介紹
8．4．2 使用Sqoop將數據從MySQL導入HDFS
8．4．3 使用Sqoop將數據從HDFS導出MySQL
8．4．4 使用Sqoop將數據從MySQL導入Hive
項目小結
課后練習
項目9 數據可視化技術
任務1 數據可視化簡介
9．1．1 數據可視化概述
9．1．2 數據可視化常用工具
任務2 使用ECharts繪制圖表
9．2．1 ECharts圖表制作示例
9．2．2 繪制未來一周氣溫變化圖
9．2．3 繪制網站訪問南丁格爾圖
項目小結
課后練習
參考文獻