日志管理與分析權(quán)威指南

譯者序
作者簡(jiǎn)介
序言
前言
第1章　木材、樹木、森林 1
1.1　概述 1
1.2　日志數(shù)據(jù)基礎(chǔ) 2
1.2.1　什么是日志數(shù)據(jù) 2
1.2.2　日志數(shù)據(jù)是如何傳輸和收集的 3
1.2.3　什么是日志消息 5
1.2.4　日志生態(tài)系統(tǒng) 6
1.3　看看接下來(lái)的事情 12
1.4　被低估的日志 13
1.5　日志會(huì)很有用 14
1.5.1　資源管理 14
1.5.2　入侵檢測(cè) 14
1.5.3　故障排除 17
1.5.4　取證 17
1.5.5　無(wú)聊的審計(jì)，有趣的發(fā)現(xiàn) 18
1.6　人、過(guò)程和技術(shù) 19
1.7　安全信息和事件管理（SIEM） 19
1.8　小結(jié) 22
參考文獻(xiàn) 22
第2章　日志是什么 23
2.1　概述 23
2.2　日志的概念 25
2.2.1　日志格式和類型 27
2.2.2　日志語(yǔ)法 32
2.2.3　日志內(nèi)容 35
2.3　良好日志記錄的標(biāo)準(zhǔn) 36
2.4　小結(jié) 38
參考文獻(xiàn) 38
第3章　日志數(shù)據(jù)來(lái)源 39
3.1　概述 39
3.2　日志來(lái)源 39
3.2.1　syslog 40
3.2.2　SNMP 45
3.2.3　Windows事件日志 48
3.3　日志來(lái)源分類 50
3.3.1　安全相關(guān)主機(jī)日志 50
3.3.2　安全相關(guān)的網(wǎng)絡(luò)日志 52
3.3.3　安全主機(jī)日志 52
3.4　小結(jié) 54
第4章　日志存儲(chǔ)技術(shù) 55
4.1　概述 55
4.2　日志留存策略 55
4.3　日志存儲(chǔ)格式 57
4.3.1　基于文本的日志文件 57
4.3.2　二進(jìn)制文件 59
4.3.3　壓縮文件 59
4.4　日志文件的數(shù)據(jù)庫(kù)存儲(chǔ) 60
4.4.1　優(yōu)點(diǎn) 61
4.4.2　缺點(diǎn) 61
4.4.3　定義數(shù)據(jù)庫(kù)存儲(chǔ)目標(biāo) 61
4.5　Hadoop日志存儲(chǔ) 63
4.5.1　優(yōu)點(diǎn) 63
4.5.2　缺點(diǎn) 64
4.6　云和Hadoop 64
4.6.1　Amazon Elastic MapReduce入門 64
4.6.2　瀏覽Amazon 64
4.6.3　上傳日志到Amazon簡(jiǎn)單存儲(chǔ)服務(wù)（S3） 65
4.6.4　創(chuàng)建一個(gè)Pig腳本分析Apache訪問(wèn)日志 67
4.6.5　在Amazon Elastic MapReduce (EMR)中處理日志數(shù)據(jù) 68
4.7　日志數(shù)據(jù)檢索和存檔 70
4.7.1　在線存儲(chǔ) 70
4.7.2　近線存儲(chǔ) 70
4.7.3　離線存儲(chǔ) 70
4.8　小結(jié) 70
參考文獻(xiàn) 71
第5章　syslog-ng案例研究 72
5.1　概述 72
5.2　獲取syslog-ng 72
5.3　什么是syslog-ng 73
5.4　部署示例 74
5.5　syslog-ng故障排除 77
5.6　小結(jié) 79
參考文獻(xiàn) 79
第6章　隱蔽日志 80
6.1　概述 80
6.2　完全隱藏日志設(shè)置 82
6.2.1　隱藏日志生成 82
6.2.2　隱藏日志采集 82
6.2.3　IDS日志源 83
6.2.4　日志收集服務(wù)器 83
6.2.5　“偽”服務(wù)器或“蜜罐” 85
6.3　在“蜜罐”中的日志記錄 85
6.3.1　蜜罐網(wǎng)絡(luò)的隱蔽shell擊鍵記錄器 86
6.3.2　蜜罐網(wǎng)絡(luò)的Sebek2案例研究 87
6.4　隱蔽日志通道簡(jiǎn)述 88
6.5　小結(jié) 89
參考文獻(xiàn) 89
第7章　分析日志的目標(biāo)、規(guī)劃和準(zhǔn)備 90
7.1　概述 90
7.2　目標(biāo) 90
7.2.1　過(guò)去的問(wèn)題 91
7.2.2　未來(lái)的問(wèn)題 92
7.3　規(guī)劃 92
7.3.1　準(zhǔn)確性 92
7.3.2　完整性 93
7.3.3　可信性 93
7.3.4　保管 94
7.3.5　清理 94
7.3.6　規(guī)范化 94
7.3.7　時(shí)間的挑戰(zhàn) 95
7.4　準(zhǔn)備 96
7.4.1　分解日志消息 96
7.4.2　解析 96
7.4.3　數(shù)據(jù)精簡(jiǎn) 96
7.5　小結(jié) 98
第8章　簡(jiǎn)單分析技術(shù) 99
8.1　概述 99
8.2　一行接一行：絕望之路 100
8.3　簡(jiǎn)單日志查看器 101
8.3.1　實(shí)時(shí)審核 101
8.3.2　歷史日志審核 102
8.3.3　簡(jiǎn)單日志操縱 103
8.4　人工日志審核的局限性 105
8.5　對(duì)分析結(jié)果做出響應(yīng) 105
8.5.1　根據(jù)關(guān)鍵日志采取行動(dòng) 106
8.5.2　根據(jù)非關(guān)鍵日志的摘要采取行動(dòng) 107
8.5.3　開發(fā)行動(dòng)計(jì)劃 109
8.5.4　自動(dòng)化的行動(dòng) 109
8.6　示例 110
8.6.1　事故響應(yīng)的場(chǎng)景 110
8.6.2　例行日志審核 110
8.7　小結(jié) 111
參考文獻(xiàn) 111
第9章　過(guò)濾、規(guī)范化和關(guān)聯(lián) 112
9.1　概述 112
9.2　過(guò)濾 114
9.3　規(guī)范化 115
9.3.1　IP地址驗(yàn)證 116
9.3.2　Snort 116
9.3.3　Windows Snare 117
9.3.4　通用Cisco IOS消息 117
9.3.5　正則表達(dá)式性能考慮因素 118
9.4　關(guān)聯(lián) 119
9.4.1　微觀關(guān)聯(lián) 121
9.4.2　宏觀關(guān)聯(lián) 122
9.4.3　使用環(huán)境中的數(shù)據(jù) 125
9.4.4　簡(jiǎn)單事件關(guān)聯(lián)器 126
9.4.5　狀態(tài)型規(guī)則示例 127
9.4.6　構(gòu)建自己的規(guī)則引擎 132
9.5　常見搜索模式 139
9.6　未來(lái) 140
9.7　小結(jié) 140
參考文獻(xiàn) 140
第10章　統(tǒng)計(jì)分析 141
10.1　概述 141
10.2　頻率 141
10.3　基線 142
10.3.1　閾值 145
10.3.2　異常檢測(cè) 145
10.3.3　開窗 145
10.4　機(jī)器學(xué)習(xí) 146
10.4.1　kNN算法 146
10.4.2　將kNN算法應(yīng)用到日志 146
10.5　結(jié)合統(tǒng)計(jì)分析和基于規(guī)則的關(guān)聯(lián) 147
10.6　小結(jié) 148
參考文獻(xiàn) 148
第11章　日志數(shù)據(jù)挖掘 149
11.1　概述 149
11.2　數(shù)據(jù)挖掘簡(jiǎn)介 150
11.3　日志數(shù)據(jù)挖掘簡(jiǎn)介 153
11.4　日志數(shù)據(jù)挖掘需求 155
11.5　挖掘什么 155
11.6　深入感興趣的領(lǐng)域 157
11.7　小結(jié) 158
參考文獻(xiàn) 158
第12章　報(bào)告和總結(jié) 159
12.1　概述 159
12.2　定義最佳報(bào)告 160
12.3　身份認(rèn)證和授權(quán)報(bào)告 160
12.4　變更報(bào)告 161
12.5　網(wǎng)絡(luò)活動(dòng)報(bào)告 163
12.6　資源訪問(wèn)報(bào)告 164
12.7　惡意軟件活動(dòng)報(bào)告 165
12.8　關(guān)鍵錯(cuò)誤和故障報(bào)告 166
12.9　小結(jié) 167
第13章　日志數(shù)據(jù)可視化 168
13.1　概述 168
13.2　視覺關(guān)聯(lián) 168
13.3　實(shí)時(shí)可視化 169
13.4　樹圖 169
13.5　日志數(shù)據(jù)合成 170
13.6　傳統(tǒng)日志數(shù)據(jù)圖表 175
13.7　小結(jié) 176
參考文獻(xiàn) 176
第14章　日志法則和日志錯(cuò)誤 177
14.1　概述 177
14.2　日志法則 177
14.2.1　法則1——收集法則 178
14.2.2　法則2——留存法則 178
14.2.3　法則3——監(jiān)控法則 178
14.2.4　法則4——可用性法則 179
14.2.5　法則5——安全性法則 179
14.2.6　法則6——不斷變化法則 179
14.3　日志錯(cuò)誤 179
14.3.1　完全沒有日志 180
14.3.2　不查看日志數(shù)據(jù) 181
14.3.3　保存時(shí)間太短 182
14.3.4　在收集之前排定優(yōu)先順序 183
14.3.5　忽略應(yīng)用程序日志 184
14.3.6　只搜索已知的不良條目 184
14.4　小結(jié) 185
參考文獻(xiàn) 185
第15章　日志分析和收集工具 186
15.1　概述 186
15.2　外包、構(gòu)建或者購(gòu)買 186
15.2.1　構(gòu)建一個(gè)解決方案 187
15.2.2　購(gòu)買 187
15.2.3　外包 188
15.2.4　問(wèn)題 189
15.3　日志分析基本工具 189
15.3.1　grep 189
15.3.2　awk 191
15.3.3　Microsoft日志解析器 192
15.3.4　其他可以考慮的基本工具 193
15.3.5　基本工具在日志分析中的作用 194
15.4　用于集中化日志分析的實(shí)用工具 195
15.4.1　syslog 195
15.4.2　Rsyslog 196
15.4.3　Snare 197
15.5　日志分析專業(yè)工具 197
15.5.1　OSSEC 198
15.5.2　OSSIM 200
15.5.3　其他值得考慮的分析工具 201
15.6　商業(yè)化日志工具 202
15.6.1　Splunk 202
15.6.2　NetIQ Sentinel 203
15.6.3　IBM q1Labs 203
15.6.4　Loggly 204
15.7　小結(jié) 204
參考文獻(xiàn) 204
第16章　日志管理規(guī)程 205
16.1　概述 205
16.2　假設(shè)、需求和預(yù)防措施 206
16.2.1　需求 206
16.2.2　預(yù)防措施 207
16.3　常見角色和職責(zé) 207
16.4　PCI和日志數(shù)據(jù) 208
16.4.1　關(guān)鍵需求10 208
16.4.2　與日志記錄相關(guān)的其他需求 211
16.5　日志記錄策略 213
16.6　審核、響應(yīng)、升級(jí)規(guī)程 初始基線 217
16.6.3　人工構(gòu)建初始基線 219
16.6.4　主要工作流程：每天日志審核 220
16.6.5　異常調(diào)查與分析 222
16.6.6　事故響應(yīng)和升級(jí) 225
16.7　日志審核的驗(yàn)證 225
16.7.1　日志記錄的證據(jù) 226
16.7.2　日志審核的證據(jù) 226
16.7.3　異常處理的證據(jù) 226
16.8　日志簿——異常調(diào)查的證據(jù) 227
16.8.1　日志簿推薦格式 227
16.8.2　日志簿條目示例 228
16.9　PCI依從性證據(jù)包 230
16.10　管理報(bào)告 230
16.11　定期運(yùn)營(yíng)任務(wù) 231
16.11.1　每日任務(wù) 231
16.11.2　每周任務(wù) 232
16.11.3　每月任務(wù) 232
16.11.4　季度任務(wù) 233
16.11.5　年度任務(wù) 233
16.12　其他資源 233
16.13　小結(jié) 233
參考文獻(xiàn) 234
第17章　對(duì)日志系統(tǒng)的攻擊 235
17.1　概述 235
17.2　各類攻擊 235
17.2.1　攻擊什么 236
17.2.2　對(duì)機(jī)密性的攻擊 236
17.2.3　對(duì)完整性的攻擊 241
17.2.4　對(duì)可用性的攻擊 245
17.3　小結(jié) 252
參考文獻(xiàn) 252
第18章　供程序員使用的日志 253
18.1　概述 253
18.2　角色與職責(zé) 253
18.3　程序員所用的日志記錄 254
18.3.1　日志應(yīng)該記錄哪些信息 255
18.3.2　程序員使用的日志記錄API 256
18.3.3　日志輪轉(zhuǎn) 257
18.3.4　不好的日志消息 259
18.3.5　日志消息格式 259
18.4　安全考慮因素 261
18.5　性能考慮因素 262
18.6　小結(jié) 263
參考文獻(xiàn) 263
第19章　日志和依從性 264
19.1　概述 264
19.2　PCI DSS 265
19.3　ISO 2700X系列 269
19.4　HIPAA 271
19.5　FISMA 276
19.6　小結(jié) 281
第20章　規(guī)劃自己的日志分析系統(tǒng) 282
20.1　概述 282
20.2　規(guī)劃 282
20.2.1　角色和職責(zé) 283
20.2.2　資源 284
20.2.3　目標(biāo) 284
20.2.4　選擇日志記錄的系統(tǒng)和設(shè)備 285
20.3　軟件選擇 285
20.3.1　開源軟件 285
20.3.2　商業(yè)化軟件 286
20.4　策略定義 287
20.4.1　日志記錄策略 287
20.4.2　日志文件輪轉(zhuǎn) 288
20.4.3　日志數(shù)據(jù)收集 288
20.4.4　留存/存儲(chǔ) 288
20.4.5　響應(yīng) 289
20.5　架構(gòu) 289
20.5.1　基本模型 289
20.5.2　日志服務(wù)器和日志收集器 290
20.5.3　日志服務(wù)器和具備長(zhǎng)期存儲(chǔ)的日志收集器 290
20.5.4　分布式部署 290
20.6　擴(kuò)展 291
20.7　小結(jié) 291