Spark大數據實時分析實戰(zhàn)

項目一 初識Spark技術
任務1．1 數據處理系統
1．1．1 數據存儲技術
1．1．2 數據分析技術
1．1．3 批數據和實時數據
1．1．4 數據價值挖掘
任務1．2 實時數據處理
1．2．1 實時數據的價值
1．2．2 實時數據處理技術
1．2．3 Spark實時數據處理
項目二 Spark集群的構建與安裝
任務2．1 Spark集群搭建
2．1．1 平臺選擇
2．1．2 軟件選擇
2．1．3 Spark集群構建流程
任務2．2 Spark集群規(guī)劃
2．2．1 Spark集群節(jié)點劃分
2．2．2 軟件要求
2．2．3 網絡拓撲結構規(guī)劃
任務2．3 Spark安裝準備
2．3．1 JDK安裝
2．3．2 節(jié)點間的配置
2．3．3 Spark安裝包下載
任務2．4 Spark集群搭建
2．4．1 配置Master節(jié)點
2．4．2 配置Worker節(jié)點
2．4．3 分發(fā)安裝包
2．4．4 啟動集群
任務2．5 驗證Spark
2．5．1 驗證Spark進程
2．5．2 驗證WEBUI界面
2．5．3 驗證集群功能
任務2．6 Spark客戶端搭建
2．6．1 客戶端介紹
2．6．2 客戶端搭建及使用
項目三 Spark基于Yarn搭建
任務3．1 基于Yarn構建介紹
3．1．1 基于Yarn搭建環(huán)境配置
3．1．2 Hadoop集群
3．1．3 啟動Hadoop集群
3．1．4 驗證Hadoop集群節(jié)點
任務3．2 基于Yam搭建
3．2．1 節(jié)點劃分配置
3．2．2 配置Spark on Yarn
3．2．3 驗證Spark on Yarn
項目四 日志服務器搭建
任務4．1 日志服務器配置
4．1．1 HDFS配置
4．1．2 Spark配置
4．1．3 啟動日志服務器
4．1．4 查看日志
任務4．2 驗證日志服務器
4．2．1 Spark-Shell介紹
4．2．2 查看運行日志
4．2．3 啟動日志服務器
4．2．4 查看日志
……
項目五 Kafka集群的構建與安裝
項目六 Kafka集群測試