大數(shù)據(jù)搜索與挖掘及可視化管理方案（第3版）

定　價：￥49.00

作　者：	高凱編
出版社：	清華大學出版社
叢編項：
標　簽：	>計算機/網(wǎng)絡(luò) >數(shù)據(jù)倉庫與數(shù)據(jù)挖掘 >數(shù)據(jù)庫

購買這本書可以去

ISBN：	9787302473787	出版時間：	2017-09-01	包裝：	平裝
開本：	16開	頁數(shù)：	340	字數(shù)：

內(nèi)容簡介

　　對大數(shù)據(jù)的搜索、挖掘、可視化以及集群管理，在當今的“互聯(lián)網(wǎng)+”時代是很有必要的。本書的分布式大數(shù)據(jù)搜索、日志挖掘、可視化、集群監(jiān)控與管理等方案是基于Elastic Stack 5而提出的，它能有效應(yīng)對海量大數(shù)據(jù)所帶來的分布式數(shù)據(jù)存儲與處理、全文檢索、日志挖掘、可視化、集群管理與性能監(jiān)控等問題。構(gòu)建在全文檢索開源軟件Lucene之上的Elasticsearch，不僅能對海量規(guī)模的數(shù)據(jù)完成分布式索引與檢索，還能提供數(shù)據(jù)聚合分析；Logstash能有效處理來源于各種數(shù)據(jù)源的日志信息；Kibana是為Elasticsearch提供數(shù)據(jù)分析的Web接口，可使用它對數(shù)據(jù)進行高效的搜索、可視化、分析等操作；XPack監(jiān)控組件可通過Kibana監(jiān)控集群的狀態(tài)；Beats是采集系統(tǒng)監(jiān)控數(shù)據(jù)的代理。了解基于Elastic Stack 5的各相關(guān)組件并掌握它們的基本使用方法和技巧，對于大數(shù)據(jù)搜索與挖掘及管理是很有必要的。和第1版、第2版相比，本書力求反映基于Elastic Stack 5架構(gòu)的*新成果，內(nèi)容新穎，強調(diào)實踐。本書可為高等學校相關(guān)專業(yè)（如計算機科學與技術(shù)、軟件工程、物聯(lián)網(wǎng)、信息管理與信息系統(tǒng)、數(shù)據(jù)科學與大數(shù)據(jù)技術(shù)）學生的學習和科研工作提供幫助，同時對于從事大數(shù)據(jù)搜索與挖掘、日志分析、信息可視化、集群管理與性能監(jiān)控的工程技術(shù)人員和希望了解網(wǎng)絡(luò)信息檢索技術(shù)的人員也具有較高的參考價值和工程應(yīng)用價值。

作者簡介

　　高凱，本書主編。教授，博士畢業(yè)于上海交通大學計算機應(yīng)用技術(shù)專業(yè)，省級重點學科“計算機軟件與理論”中“信息檢索與云計算”方向?qū)W術(shù)帶頭人，研究生導(dǎo)師，中國計算機學會高級會員，中國計算機學會計算機應(yīng)用專委會常委，International Journal of Computer Applications in Technology副主編；主要研究方向為大數(shù)據(jù)搜索與挖掘、自然語言處理、網(wǎng)絡(luò)信息檢索、社會計算等；近幾年出版了《信息檢索與智能處理》、《大數(shù)據(jù)搜索與挖掘》、《網(wǎng)絡(luò)信息檢索技術(shù)及搜索引擎系統(tǒng)開發(fā)》等學術(shù)專著及多部規(guī)劃教材；在Expert Systems With Applications、International Journal on Intelligent Information and Database System、International Journal on Modelling， Identification and Control、《中文信息學報》、《電子學報》、《小型微型計算機系統(tǒng)》等學術(shù)期刊以及在PAKDD等國際學術(shù)會議上發(fā)表學術(shù)論文五十余篇；主持及參與國家自然科學基金課題、省級科技支撐計劃課題、省級自然科學基金課題等多項，申請計算機軟件著作權(quán)登記十余項。

圖書目錄

第1章概述1
1.1Elasticsearch概述3
1.1.1Elasticsearch的安裝與簡單配置4
1.1.2Elasticsearch API的簡單使用方式7
1.2Logstash7
1.3Kibana8
1.4其他8
1.5擴展知識與閱讀9
1.6本章小結(jié)10
第2章文檔索引及管理11
2.1文檔索引概述11
2.2Head: Elasticsearch的數(shù)據(jù)管理工具13
2.3建立索引16
2.4通過映像mappings配置索引20
2.4.1在索引中使用映像21
2.4.2管理/配置映像22
2.4.3獲取映像信息22
2.4.4刪除映像24
2.5管理索引文件24
2.5.1打開、關(guān)閉、檢測、刪除索引文件24
2.5.2清空索引緩存25
2.5.3刷新索引數(shù)據(jù)25
2.5.4優(yōu)化索引數(shù)據(jù)26
2.5.5Flush操作26[1][2][1][3]2.6設(shè)置中文分析器26
2.7對文檔的其他操作29
2.7.1獲取指定的文檔信息29
2.7.2刪除文檔中的信息31
2.7.3數(shù)據(jù)更新31
2.7.4基于POST方式批量獲取文檔34
2.8實例36
2.9擴展知識與閱讀40
2.10本章小結(jié)41
第3章信息檢索與聚合42
3.1實驗數(shù)據(jù)集描述43
3.2基本檢索44
3.2.1檢索方式44
3.2.2query查詢45
3.2.3from / size查詢45
3.2.4查詢結(jié)果排序46
3.2.5高亮搜索詞48
3.2.6查詢模板50
3.3檢索進階50
3.3.1全文檢索51
3.3.2詞項檢索54
3.3.3復(fù)合查詢58
3.3.4跨度查詢60
3.3.5特殊查詢63
3.3.6腳本script64
3.4聚合67
3.4.1metrics aggregations68
3.4.2bucket aggregations72
3.4.3pipeline aggregations81
3.4.4matrix aggregations85
3.5實例87
3.6擴展知識與閱讀92
3.7本章小結(jié)93
第4章面向Java的Elasticsearch Client部分功能實現(xiàn)94
4.1Elasticsearch節(jié)點實例化94
4.1.1通過Maven添加Elasticsearch依賴94
4.1.2初始化TransportClient96
4.2索引數(shù)據(jù)98
4.2.1準備JSON數(shù)據(jù)98
4.2.2索引JSON數(shù)據(jù)100
4.3對索引文檔的操作101
4.3.1獲取索引文檔數(shù)據(jù)101
4.3.2刪除索引文檔104
4.3.3更新索引文檔105
4.3.4批量操作索引文件105
4.4信息檢索107
4.4.1概述107
4.4.2MultiSearch109
4.4.3Search template110
4.4.4Query DSL概述110
4.4.5matchAllQuery111
4.4.6全文檢索的部分方法112
4.4.7詞項檢索的部分方法115
4.4.8復(fù)合查詢的部分方法119
4.4.9跨度查詢的部分方法121
4.4.10特殊查詢124
4.5聚合126
4.5.1Metrics聚合126
4.5.2Bucket聚合130
4.6對檢索結(jié)果的進一步處理134
4.6.1控制每頁的顯示數(shù)量及顯示排序依據(jù)134
4.6.2基于scroll的檢索結(jié)果及其分頁135
4.7實例137
4.7.1在Elasticsearch中建立索引137
4.7.2連接Elasticsearch138
4.7.3信息采集與索引構(gòu)建139
4.7.4搜索模塊的實現(xiàn)141
4.7.5推薦模塊的實現(xiàn)142
4.7.6聚合模塊的實現(xiàn)143
4.8擴展知識與閱讀145
4.9本章小結(jié)145
第5章Elasticsearch配置與集群管理146
5.1Elasticsearch部分基本配置及其說明146
5.2索引和查詢效率的優(yōu)化149
5.3監(jiān)控集群狀態(tài)150
5.4控制索引分片與副本分配152
5.5集群管理154
5.6擴展知識與閱讀155
5.7本章小結(jié)156
第6章基于Logstash的日志處理157
6.1概述158
6.2Input: 處理輸入的日志數(shù)據(jù)160
6.2.1處理基于file方式輸入的日志信息161
6.2.2處理基于generator產(chǎn)生的日志信息162
6.2.3處理基于log4j的日志信息163
6.2.4處理基于redis的日志信息165
6.2.5處理基于stdin方式輸入的信息168
6.2.6處理基于TCP傳輸?shù)娜罩緮?shù)據(jù)169
6.2.7處理基于UDP傳輸?shù)娜罩緮?shù)據(jù)173
6.3codecs: 格式化日志數(shù)據(jù)174
6.3.1JSON格式175
6.3.2rubydebug格式177
6.3.3plain格式177
6.4基于filter的日志處理與轉(zhuǎn)換178
6.4.1JSON filter178
6.4.2grok filter180
6.4.3kv filter182
6.5output: 輸出日志數(shù)據(jù)184
6.5.1將處理后的日志輸出到Elasticsearch中185
6.5.2將處理后的日志輸出至文件中186
6.5.3將處理后的部分日志輸出到csv格式的文件中187
6.5.4將處理后的日志輸出到redis中189
6.5.5將處理后的部分日志通過UDP協(xié)議輸出190
6.5.6將處理后的部分日志通過TCP協(xié)議輸出192
6.5.7將收集到的日志信息傳輸?shù)阶远x的HTTP接口中195
6.6擴展知識與閱讀196
6.7本章小結(jié)197
第7章基于Kibana的數(shù)據(jù)分析可視化198
7.1Kibana概述199
7.2安裝Kibana199
7.3使用Management管理配置200
7.3.1添加index pattern200
7.3.2高級設(shè)置202
7.3.3管理已保存的檢索、可視化和儀表板205
7.4使用Discover執(zhí)行查詢206
7.4.1設(shè)置時間過濾器206
7.4.2在index pattern中執(zhí)行搜索207
7.4.3字段過濾208
7.4.4查看文檔數(shù)據(jù)210
7.5使用Visualize創(chuàng)建統(tǒng)計圖表211
7.6使用Dashboard創(chuàng)建動態(tài)儀表板214
7.6.1創(chuàng)建新的動態(tài)儀表板215
7.6.2打開已保存的動態(tài)儀表板215
7.6.3分享動態(tài)儀表板216
7.7使用Timelion創(chuàng)建時間線216
7.8使用Dev Tools執(zhí)行命令行218
7.8.1在Console中執(zhí)行命令218
7.8.2Console的快捷鍵220
7.8.3Console的配置221
7.9網(wǎng)站性能監(jiān)控可視化應(yīng)用的設(shè)計與實現(xiàn)221
7.9.1概述222
7.9.2使用Visualize實現(xiàn)可視化222
7.9.3使用Dashboard整合可視化結(jié)果225
7.10擴展知識與閱讀227
7.11本章小結(jié)227
第8章基于XPack的系統(tǒng)運行監(jiān)控229
8.1XPack概述229
8.2安裝XPack230
8.3Security插件與安全性231
8.3.1身份驗證機制與用戶管理231
8.3.2匿名訪問233
8.3.3基于域的用戶認證234
8.3.4基于角色的訪問權(quán)限配置236
8.3.5IP過濾238
8.3.6帶有身份認證的TransportClient240
8.3.7帶有身份認證的RESTful命令243
8.4使用Monitoring監(jiān)控系統(tǒng)運行狀態(tài)243
8.4.1系統(tǒng)運行狀態(tài)監(jiān)控243
8.4.2配置Monitoring247
8.4.3搭建獨立的Monitoring集群248
8.5Alerting插件與異常事件警報250
8.5.1通過RESTful方式設(shè)置監(jiān)視器250
8.5.2通過Java程序設(shè)置監(jiān)視器254
8.6Reporting與報告生成256
8.6.1在程序中生成報告256
8.6.2通過監(jiān)視器自動生成報告257
8.7使用Graph探索數(shù)據(jù)關(guān)聯(lián)259
8.8擴展知識與閱讀261
8.9本章小結(jié)261
第9章基于Beats的數(shù)據(jù)解析傳輸262
9.1基于Packetbeat的網(wǎng)絡(luò)數(shù)據(jù)包傳輸263
9.1.1概述263
9.1.2安裝263
9.1.3配置264
9.1.4加載索引模板266
9.1.5啟動和關(guān)閉267
9.1.6使用Kibana進行展示268
9.2基于Filebeat的日志傳輸269
9.2.1概述269
9.2.2安裝和配置269
9.2.3啟動和關(guān)閉272
9.2.4使用Kibana進行展示272
9.3基于Metricbeat的系統(tǒng)指標數(shù)據(jù)傳輸273
9.3.1概述273
9.3.2安裝和配置274
9.3.3啟動和關(guān)閉275
9.3.4使用Kibana進行展示276
9.4基于Winlogbeat的Windows事件日志數(shù)據(jù)傳輸277
9.4.1概述277
9.4.2安裝278
9.4.3配置279
9.4.4啟動和關(guān)閉282
9.4.5使用Kibana進行展示283
9.5擴展知識與閱讀284
9.6本章小結(jié)285
第10章網(wǎng)絡(luò)信息檢索與分析實踐1286
10.1信息采集286
10.2基于Python的信息檢索及Web端設(shè)計291
10.2.1安裝Python及Django291
10.2.2安裝Elasticsearch的Python插件292
10.2.3Web頁面設(shè)計293
10.3基于Logstash的日志處理296
10.3.1安裝和配置Nginx297
10.3.2設(shè)計面向日志文件的pattern297
10.3.3在Logstash中進行相關(guān)配置298
10.4基于Kibana的日志分析結(jié)果可視化設(shè)計與實現(xiàn)299
10.4.1圖表1: 狀態(tài)碼走勢分析300
10.4.2圖表2: 查詢詞分析302
10.4.3圖表3: 分析各狀態(tài)碼隨時間的變遷302
10.4.4集成圖表304
10.5擴展知識與閱讀304
10.6本章小結(jié)305
第11章網(wǎng)絡(luò)信息檢索與分析實踐2306
11.1面向動態(tài)網(wǎng)站的信息采集307
11.1.1軟件準備307
11.1.2瀏覽器驅(qū)動程序準備307
11.1.3創(chuàng)建索引和映像308
11.1.4導(dǎo)入依賴309
11.1.5數(shù)據(jù)采集310
11.2基于Spring MVC的信息檢索及Web程序設(shè)計317
11.2.1創(chuàng)建和配置Spring MVC項目317
11.2.2前端頁面設(shè)計319
11.2.3后端控制器類324
11.3基于Logstash的日志處理329
11.4基于Beats的數(shù)據(jù)傳輸330
11.5基于Kibana的數(shù)據(jù)可視化331
11.5.1可視化索引文件中的信息331
11.5.2對Logstash、Beats的可視化展示333
11.6基于XPack的系統(tǒng)監(jiān)控335
11.7擴展知識與閱讀337
11.8本章小結(jié)337
參考文獻339