Spark大數(shù)據(jù)實(shí)時分析實(shí)戰(zhàn)

項目一 初識Spark技術(shù)
任務(wù)1．1 數(shù)據(jù)處理系統(tǒng)
1．1．1 數(shù)據(jù)存儲技術(shù)
1．1．2 數(shù)據(jù)分析技術(shù)
1．1．3 批數(shù)據(jù)和實(shí)時數(shù)據(jù)
1．1．4 數(shù)據(jù)價值挖掘
任務(wù)1．2 實(shí)時數(shù)據(jù)處理
1．2．1 實(shí)時數(shù)據(jù)的價值
1．2．2 實(shí)時數(shù)據(jù)處理技術(shù)
1．2．3 Spark實(shí)時數(shù)據(jù)處理
項目二 Spark集群的構(gòu)建與安裝
任務(wù)2．1 Spark集群搭建
2．1．1 平臺選擇
2．1．2 軟件選擇
2．1．3 Spark集群構(gòu)建流程
任務(wù)2．2 Spark集群規(guī)劃
2．2．1 Spark集群節(jié)點(diǎn)劃分
2．2．2 軟件要求
2．2．3 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)規(guī)劃
任務(wù)2．3 Spark安裝準(zhǔn)備
2．3．1 JDK安裝
2．3．2 節(jié)點(diǎn)間的配置
2．3．3 Spark安裝包下載
任務(wù)2．4 Spark集群搭建
2．4．1 配置Master節(jié)點(diǎn)
2．4．2 配置Worker節(jié)點(diǎn)
2．4．3 分發(fā)安裝包
2．4．4 啟動集群
任務(wù)2．5 驗證Spark
2．5．1 驗證Spark進(jìn)程
2．5．2 驗證WEBUI界面
2．5．3 驗證集群功能
任務(wù)2．6 Spark客戶端搭建
2．6．1 客戶端介紹
2．6．2 客戶端搭建及使用
項目三 Spark基于Yarn搭建
任務(wù)3．1 基于Yarn構(gòu)建介紹
3．1．1 基于Yarn搭建環(huán)境配置
3．1．2 Hadoop集群
3．1．3 啟動Hadoop集群
3．1．4 驗證Hadoop集群節(jié)點(diǎn)
任務(wù)3．2 基于Yam搭建
3．2．1 節(jié)點(diǎn)劃分配置
3．2．2 配置Spark on Yarn
3．2．3 驗證Spark on Yarn
項目四 日志服務(wù)器搭建
任務(wù)4．1 日志服務(wù)器配置
4．1．1 HDFS配置
4．1．2 Spark配置
4．1．3 啟動日志服務(wù)器
4．1．4 查看日志
任務(wù)4．2 驗證日志服務(wù)器
4．2．1 Spark-Shell介紹
4．2．2 查看運(yùn)行日志
4．2．3 啟動日志服務(wù)器
4．2．4 查看日志
……
項目五 Kafka集群的構(gòu)建與安裝
項目六 Kafka集群測試