日志管理與分析

第1章 走近日志\t001
1．1 什么是日志\t002
1．1．1 日志的概念\t002
1．1．2 日志生態(tài)系統(tǒng)\t002
1．1．3 日志的作用\t003
1．2 日志數(shù)據(jù)\t004
1．2．1 日志環(huán)境與日志類型\t005
1．2．2 日志語(yǔ)法\t006
1．2．3 日志管理規(guī)范\t009
1．2．4 日志使用誤區(qū)\t009
1．3 云日志\t010
1．4 日志使用場(chǎng)景\t011
1．4．1 運(yùn)維監(jiān)控\t011
1．4．2 安全審計(jì)\t012
1．4．3 業(yè)務(wù)分析\t013
1．4．4 物聯(lián)網(wǎng)\t015
1．5 日志未來(lái)展望\t016
第2章 日志管理\t017
2．1 概述\t018
2．2 日志管理相關(guān)法律\t018
2．3 日志管理要求\t019
2．4 日志管理中存在的問題\t019
2．5 日志管理的好處\t020
2．6 日志歸檔\t024
第3章 日志管理與分析系統(tǒng)\t025
3．1 日志管理與分析系統(tǒng)的基本功能\t026
3．1．1 日志采集\t026
3．1．2 數(shù)據(jù)清洗\t027
3．1．3 日志存儲(chǔ)\t027
3．1．4 日志告警\t027
3．1．5 日志分析\t028
3．1．6 日志可視化\t028
3．1．7 日志智能分析\t028
3．1．8 用戶與權(quán)限管理\t029
3．1．9 系統(tǒng)管理\t029
3．2 日志管理與分析系統(tǒng)技術(shù)選型\t030
3．2．1 日志分析的基本工具\(yùn)t030
3．2．2 開源+自研\(zhòng)t032
3．2．3 商業(yè)產(chǎn)品\t032
3．3 小結(jié)\t035
第4章 日志采集\t036
4．1 日志采集方式\t037
4．1．1 Agent采集\t037
4．1．2 Syslog\t038
4．1．3 抓包\t039
4．1．4 接口采集\t039
4．1．5 業(yè)務(wù)埋點(diǎn)采集\t040
4．1．6 Docker日志采集\t040
4．2 日志采集常見問題\t041
4．2．1 事件合并\t042
4．2．2 高并發(fā)日志采集\t043
4．2．3 深層次目錄采集\t043
4．2．4 大量小文件日志采集\t044
4．2．5 其他日志采集問題\t044
4．3 小結(jié)\t045
第5章 字段解析\t046
5．1 字段的概念\t047
5．2 通用字段\t048
5．2．1 時(shí)間戳\t048
5．2．2 日志來(lái)源\t048
5．2．3 執(zhí)行結(jié)果\t049
5．2．4 日志優(yōu)先級(jí)\t049
5．3 字段抽取\t049
5．3．1 日志語(yǔ)法\t050
5．3．2 字段抽取方法\t050
5．3．3 常用日志類型的字段抽取\t052
5．4 schema on write與schema on read\t054
5．5 字段解析常見問題\t055
5．5．1 字段存在別名\t055
5．5．2 多個(gè)時(shí)間戳\t055
5．5．3 特殊字符\t055
5．5．4 封裝成標(biāo)準(zhǔn)日志\t056
5．5．5 類型轉(zhuǎn)換\t056
5．5．6 敏感信息替換\t056
5．5．7 HEX轉(zhuǎn)換\t057
5．6 小結(jié)\t057
第6章 日志存儲(chǔ)\t058
6．1 概述\t059
6．2 日志存儲(chǔ)形式\t059
6．2．1 普通文本\t059
6．2．2 二進(jìn)制文本\t060
6．2．3 壓縮文本\t063
6．2．4 加密文本\t064
6．3 日志存儲(chǔ)方式\t064
6．3．1 數(shù)據(jù)庫(kù)存儲(chǔ)\t064
6．3．2 分布式存儲(chǔ)\t067
6．3．3 文件檢索系統(tǒng)存儲(chǔ)\t069
6．3．4 云存儲(chǔ)\t071
6．4 日志物理存儲(chǔ)\t073
6．5 日志留存策略\t073
6．5．1 空間策略維度\t074
6．5．2 時(shí)間策略維度\t074
6．5．3 起始位移策略維度\t074
6．6 日志搜索引擎\t074
6．6．1 日志搜索概述\t075
6．6．2 實(shí)時(shí)搜索引擎\t075
6．7 小結(jié)\t077
第7章 日志分析\t078
7．1 概述\t079
7．2 日志分析現(xiàn)狀\t079
7．2．1 對(duì)日志的必要性認(rèn)識(shí)不足\t079
7．2．2 缺乏日志分析專業(yè)人才\t079
7．2．3 日志體量大且分散，問題定位難\t080
7．2．4 數(shù)據(jù)外泄\t080
7．2．5 忽略日志本身的價(jià)值\t080
7．3 日志分析解決方案\t080
7．3．1 數(shù)據(jù)集中管理\t080
7．3．2 日志分析維度\t081
7．4 常用分析方法\t082
7．4．1 基線\t082
7．4．2 聚類\t083
7．4．3 閾值\t083
7．4．4 異常檢測(cè)\t083
7．4．5 機(jī)器學(xué)習(xí)\t084
7．5 日志分析案例\t085
7．5．1 Linux系統(tǒng)日志分析案例\t085
7．5．2 運(yùn)營(yíng)分析案例\t086
7．5．3 交易監(jiān)控案例\t088
7．5．4 VPN異常用戶行為監(jiān)控案例\t088
7．5．5 高效運(yùn)維案例\t089
7．6 SPL簡(jiǎn)介\t090
7．7 小結(jié)\t092
第8章 日志告警\t093
8．1 概述\t094
8．2 監(jiān)控設(shè)置\t094
8．3 告警監(jiān)控分類\t098
8．3．1 命中數(shù)統(tǒng)計(jì)類型的告警監(jiān)控\t098
8．3．2 字段統(tǒng)計(jì)類型的告警監(jiān)控\t099
8．3．3 連續(xù)統(tǒng)計(jì)類型的告警監(jiān)控\t100
8．3．4 基線對(duì)比類型的告警監(jiān)控\t100
8．3．5 自定義統(tǒng)計(jì)類型的告警監(jiān)控\t101
8．3．6 智能告警\t102
8．4 告警方式\t102
8．4．1 告警發(fā)送方式\t102
8．4．2 告警抑制和恢復(fù)\t105
8．4．3 告警的插件化管理\t105
8．5 小結(jié)\t105
第9章 日志可視化\t106
9．1 概述\t107
9．2 可視化分析\t107
9．2．1 初識(shí)可視化\t107
9．2．2 圖表與數(shù)據(jù)\t109
9．3 圖表詳解\t110
9．3．1 序列類圖表\t110
9．3．2 維度類圖表\t116
9．3．3 關(guān)系類圖表\t119
9．3．4 復(fù)合類圖表\t123
9．3．5 地圖類圖表\t125
9．3．6 其他圖表\t127
9．4 日志可視化案例\t134
9．4．1 MySQL性能日志可視化\t134
9．4．2 金融業(yè)務(wù)日志可視化\t138
9．5 小結(jié)\t140
第10章 日志平臺(tái)兼容性與擴(kuò)展性\t142
10．1 RESTful API\t143
10．1．1 RESTful API概述\t143
10．1．2 常見日志管理API類型\t144
10．1．3 API設(shè)計(jì)案例\t145
10．2 日志App\t147
10．2．1 日志App 概述\t147
10．2．2 日志App的作用和特點(diǎn)\t147
10．2．3 常見日志App類型\t148
10．2．4 典型日志App案例\t151
10．2．5 日志App的發(fā)展\t155
第11章 智能運(yùn)維\t157
11．1 概述\t158
11．2 異常檢測(cè)\t159
11．2．1 單指標(biāo)異常檢測(cè)\t160
11．2．2 多指標(biāo)異常檢測(cè)\t166
11．3 根因分析\t167
11．3．1 相關(guān)性分析\t168
11．3．2 事件關(guān)聯(lián)關(guān)系挖掘\t170
11．4 日志分析\t170
11．4．1 日志預(yù)處理\t171
11．4．2 日志模式識(shí)別\t172
11．4．3 日志異常檢測(cè)\t172
11．5 告警收斂\t173
11．6 趨勢(shì)預(yù)測(cè)\t175
11．7 智能運(yùn)維面臨的挑戰(zhàn)\t176
第12章 SIEM\t177
12．1 概述\t178
12．2 信息安全建設(shè)中存在的問題\t179
12．3 日志分析在SIEM中的作用\t179
12．4 日志分析與安全設(shè)備分析的異同\t180
12．5 SIEM功能架構(gòu)\t181
12．6 SIEM適用場(chǎng)景\t182
12．7 用戶行為分析\t191
12．8 小結(jié)\t198
參考文獻(xiàn)\t199