大數據平臺異常檢測分析系統(tǒng)的若干關鍵技術研究

第1章 緒論 1
1．1 大數據平臺異常檢測分析研究的背景與意義 1
1．2 大數據平臺異常檢測分析技術的國內外相關研究進展 3
1．2．1 大數據平臺異常檢測分析技術的國內外研究現(xiàn)狀 3
1．2．2 大數據平臺異常檢測分析系統(tǒng)的國內外研究現(xiàn)狀 5
1．3 本書的主要貢獻 7
1．4 本書的組織結構 8
1．5 本章小結 11
第2章 大數據平臺異常檢測分析的相關基礎 12
2．1 引言 12
2．2 日志 12
2．3 日志預處理 13
2．4 異常檢測 14
2．4．1 異常檢測的定義 14
2．4．2 幾類常見的異常檢測算法 14
2．5 入侵檢測Snort系統(tǒng) 16
2．6 Web用戶行為模式挖掘 17
2．7 本章小結 19
第3章 基于數據流二重概念漂移檢測的增量學習 20
3．1 引言 20
3．2 二重概念漂移檢測機制 20
3．3 基于數據屬性的二重概念漂移檢測機制 21
3．4 基于分類性能的二重概念漂移檢測機制 22
3．5 基于增量SVM與二重檢測的概念漂移數據流分類模型TDD-ISVM 23
3．6 TDD-ISVM算法的時間復雜度分析 25
3．7 實驗設計與結果分析 26
3．7．1 實驗數據集 26
3．7．2 實驗結果與分析 26
3．8 本章小結 29
第4章 分布式日志的最大頻繁序列模式挖掘算法 31
4．1 引言 31
4．2 序列模式挖掘相關工作 32
4．3 動機與背景 33
4．3．1 使用分布式計算框架的動機與背景 33
4．3．2 使用PrefixSpan算法挖掘序列模式的動機與背景 34
4．3．3 改進PrefixSpan算法提取局部最大頻繁序列的動機與背景 34
4．3．4 改進PrefixSpan算法提取全局最大頻繁序列的動機與背景 35
4．4 分布式日志最大頻繁序列模式挖掘算法描述 35
4．4．1 基于Spark的分布式計算框架 35
4．4．2 算法總體描述 36
4．4．3 算法第一階段：各節(jié)點提取局部最大頻繁序列 37
4．4．4 算法第二階段：各節(jié)點集成，提取全局最大頻繁序列 37
4．5 實驗設計與結果分析 38
4．5．1 實驗數據集 38
4．5．2 實驗結果與分析 38
4．6 本章小結 41
第5章 基于最大頻繁模式的動態(tài)規(guī)則庫構建算法 42
5．1 引言 42
5．2 動態(tài)Web用戶訪問序列數據庫DWASD的構建 43
5．3 基于DWASD的分布式PrefixSpan算法 44
5．3．1 PrefixSpan算法改進描述 44
5．3．2 算法的時間復雜度分析 46
5．4 實驗設計與結果分析 46
5．4．1 實驗數據集 46
5．4．2 實驗結果與分析 46
5．5 本章小結 48
第6章 基于Web會話流的分布式實時異常定位算法 49
6．1 引言 49
6．2 基于Web會話流的實時異常定位框架 50
6．3 基于混合生物基因序列比對的異常定位AL_HBGSA算法 50
6．3．1 基本概念 51
6．3．2 AL_HBGSA序列比對算法 51
6．3．3 AL_HBGSA算法的時間復雜度分析 54
6．4 實驗設計與結果分析 54
6．4．1 實驗數據集 54
6．4．2 實驗結果與分析 55
6．5 本章小結 59
第7章 基于最大信息系數的在線異常檢測算法 60
7．1 引言 60
7．2 相關基礎 60
7．2．1 用戶活躍度 60
7．2．2 最大信息系數 61
7．3 基于最大信息系數的在線異常檢測算法介紹 62
7．4 算法的時間復雜度分析 64
7．5 實驗設計與結果分析 64
7．5．1 實驗數據集 64
7．5．2 實驗結果與分析 65
7．6 本章小結 68
第8章 基于聚類分析的離線異常檢測算法 69
8．1 引言 69
8．2 基本聚類算法 69
8．2．1 K-means聚類算法 69
8．2．2 Canopy聚類算法 70
8．2．3 CMBK聚類算法 71
8．3 基于改進聚類分析的離線異常檢測算法 72
8．3．1 異常指數 72
8．3．2 CMBK4AD離線異常檢測算法 73
8．4 算法的時間復雜度分析 73
8．5 實驗設計與結果分析 73
8．5．1 實驗數據集 74
8．5．2 實驗結果與分析 74
8．6 本章小結 76
第9章 基于相鄰請求的動態(tài)時間閾值會話識別算法 77
9．1 引言 77
9．2 相關基礎 78
9．2．1 頁面訪問時間閾值 78
9．2．2 用戶訪問時間閾值 78
9．2．3 設置頁面時間閾值 79
9．3 DAITS算法 79
9．4 實驗設計與結果分析 81
9．4．1 實驗數據集 81
9．4．2 實驗結果與分析 81
9．5 本章小結 82
第10章 基于會話特征相似性模糊聚類的SFAD異常檢測算法 83
10．1 引言 83
10．2 基本工作 85
10．2．1 會話特征中網絡權重的計算 85
10．2．2 會話特征相似性的計算 85
10．2．3 會話數據集的模糊聚類方法 86
10．3 會話特征相似性模糊聚類的異常檢測算法 87
10．3．1 會話的數據結構及生成 87
10．3．2 建立用戶相似性矩陣 88
10．3．3 檢測和定位異常用戶 88
10．4 實驗設計與結果分析 89
10．4．1 數據集描述 89
10．4．2 實驗結果與分析 90
10．5 本章小結 93
第11章 基于貝葉斯粒子群的異常檢測算法 94
11．1 引言 94
11．2 基于樸素貝葉斯分類的異常檢測模型ADM-NBC 95
11．2．1 用戶會話特征提取 95
11．2．2 ADM-NBC的構建 96
11．3 基于ADM-NBC的WNB-PSO算法 97
11．3．1 加權樸素貝葉斯分類算法 97
11．3．2 粒子群優(yōu)化算法 97
11．3．3 改進的粒子群優(yōu)化算法 99
11．3．4 WNB-PSO算法描述 99
11．4 實驗設計與結果分析 101
11．4．1 實驗數據集 101
11．4．2 實驗結果與分析 101
11．5 本章小結 104
第12章 平臺異常時的推測式任務調度策略 105
12．1 引言 105
12．2 多用戶作業(yè)調度器 105
12．2．1 公平調度器 105
12．2．2 計算能力調度器 107
12．3 推測執(zhí)行調度算法 109
12．3．1 Hadoop-Original推測執(zhí)行調度算法 110
12．3．2 LATE推測執(zhí)行調度算法 110
12．3．3 基于備份任務完成時間的推測執(zhí)行調度策略 111
12．3．4 Mantri系統(tǒng)推測執(zhí)行調度策略 112
12．4 本章小結 112
第13章 基于實時負載的推測式任務調度算法 113
13．1 引言 113
13．1．1 Hadoop-Original推測式任務調度算法的不足 113
13．1．2 LATE推測式任務調度算法的不足 113
13．2 推測式任務調度算法改進 114
13．2．1 基于混合進度比的任務進度估算方法 114
13．2．2 慢任務判定方法 115
13．2．3 慢節(jié)點判定方法 116
13．3 節(jié)點負載分級模型 117
13．4 基于實時負載的推測式任務調度算法流程 119
13．5 實驗設計與結果分析 120
13．5．1 實驗平臺及部署 120
13．5．2 測試作業(yè)選擇及評估方式 121
13．5．3 實驗方案 122
13．5．4 實驗結果與分析 122
13．6 本章小結 126
第14章 大數據Lambda架構與微服務架構技術選型 127
14．1 引言 127
14．2 大數據技術Lambda架構 127
14．2．1 Hadoop技術基礎 127
14．2．2 Spark技術生態(tài)體系 129
14．2．3 基于Flume+Kafka的大數據收集組件 130
14．2．4 基于Spark的大數據處理組件 131
14．2．5 基于HBase的大數據存儲與管理組件 131
14．2．6 基于MLlib的大數據分析及挖掘組件 131
14．2．7 基于Spark Streaming的大數據流處理組件 132
14．3 微服務架構的有關組件技術選型 132
14．3．1 微服務架構 132
14．3．2 Spring Boot 133
14．3．3 MyBatis 133
14．3．4 Spring Cloud 134
14．4 本章小結 135
第15章 大數據平臺異常檢測分析系統(tǒng)的結構化分析 136
15．1 引言 136
15．2 問題與場景描述 136
15．3 初步需求分析 137
15．4 系統(tǒng)數據流 137
15．4．1 頂層數據流 137
15．4．2 第一層數據流 138
15．4．3 第二層數據流 138
15．4．4 第三層數據流 139
15．5 功能需求 139
15．6 非功能需求 140
15．7 本章小結 140
第16章 基于融合架構的RADA系統(tǒng)概要設計 141
16．1 引言 141
16．1．1 RADA系統(tǒng)邏輯架構的初步構建 141
16．1．2 RADA系統(tǒng)物理架構的初步構建 141
16．2 RADA系統(tǒng)邏輯架構設計 142
16．2．1 基于微服務架構的RADA系統(tǒng)邏輯架構設計 143
16．2．2 基于Lambda架構的RADA系統(tǒng)邏輯架構設計 143
16．2．3 基于微服務架構和Lambda架構的RADA系統(tǒng)技術架構設計 143
16．3 運行部署環(huán)境 144
16．3．1 系統(tǒng)運行網絡環(huán)境 144
16．3．2 系統(tǒng)運行硬件環(huán)境 145
16．3．3 系統(tǒng)運行軟件環(huán)境 145
16．4 日志預處理子系統(tǒng)概要設計 145
16．4．1 上傳離線日志 146
16．4．2 處理離線日志 147
16．4．3 獲取實時日志 148
16．4．4 處理實時日志 148
16．4．5 日志規(guī)范化 149
16．4．6 處理規(guī)范化日志 150
16．4．7 添加日志模板 151
16．4．8 處理日志模板 152
16．5 監(jiān)控告警子系統(tǒng)概要設計 153
16．5．1 設置告警方式 154
16．5．2 離線異常檢測 154
16．5．3 實時異常檢測 156
16．5．4 查詢異常信息 156
16．5．5 更新規(guī)則庫 156
16．6 數據庫設計 158
16．6．1 數據庫實體關系分析 158
16．6．2 數據字典 159
16．7 本章小結 162
第17章 RADA系統(tǒng)的詳細設計與實現(xiàn)方法 163
17．1 引言 163
17．2 RADA系統(tǒng)架構的實現(xiàn)機制 163
17．2．1 RADA系統(tǒng)中微服務架構的實現(xiàn) 163
17．2．2 RADA系統(tǒng)中Lambda架構的實現(xiàn) 164
17．3 日志預處理的詳細設計 164
17．3．1 控制層設計 164
17．3．2 服務層設計 166
17．3．3 持久化層設計 168
17．4 監(jiān)控告警模塊的詳細設計 169
17．4．1 控制層設計 169
17．4．2 服務層設計 170
17．4．3 持久層設計 171
17．5 核心用例的實現(xiàn) 172
17．5．1 上傳離線日志 172
17．5．2 離線日志規(guī)范化處理 173
17．5．3 離線異常檢測 174
17．5．4 獲取實時日志 177
17．5．5 實時日志規(guī)范化處理 178
17．5．6 實時異常檢測 178
17．6 本章小結 179
第18章 總結與展望 180
18．1 總結 180
18．2 展望 181
附錄A 182
參考文獻 185