大數據搜索與挖掘及可視化管理方案 ——Elastic Stack 5:Elasticsearch、Logstash、Kibana、X-Pack、Beats (第3版)

作者:高凱 主編 高莘 岳重陽 編

出版:清華大學出版社

年代:2017 更多圖書信息

電子紙書:¥31.85 定價: ¥49 紙質書最低¥41.3起,點此購買

圖書簡介

對大數據的搜索、挖掘、可視化以及集群管理,在當今的“互聯網+”時代是很有必要的。本書的分布式大數據搜索、日志挖掘、可視化、集群監控與管理等方案是基于Elastic Stack 5而提出的,它能有效應對海量大數據所帶來的分布式數據存儲與處理、全文檢索、日志挖掘、可視化、集群管理與性能監控等問題。構建在全文檢索開源軟件Lucene之上的Elasticsearch,不僅能對海量規模的數據完成分布式索引與檢索,還能提供數據聚合分析;Logstash能有效處理來源于各種數據源的日志信息;Kibana是為Elasticsearch提供數據分析的Web接口,可使用它對數據進行高效的搜索、可視化、分析等操作;XPack監控組件可通過Kibana監控集群的狀態;Beats是采集系統監控數據的代理。了解基于Elastic Stack 5的各相關組件并掌握它們的基本使用方法和技巧,對于大數據搜索與挖掘及管理是很有必要的。 和第1版、第2版相比,本書力求反映基于Elastic Stack 5架構的最新成果,內容新穎,強調實踐。本書可為高等學校相關專業(如計算機科學與技術、軟件工程、物聯網、信息管理與信息系統、數據科學與大數據技術)學生的學習和科研工作提供幫助,同時對于從事大數據搜索與挖掘、日志分析、信息可視化、集群管理與性能監控的工程技術人員和希望了解網絡信息檢索技術的人員也具有較高的參考價值和工程應用價值。

(展開)

編輯推薦

本書著重介紹關于Elastic Stack的基本知識,帶領讀者深入了解Elastic Stack的實際應用,通過對數據搜索、日志挖掘與結果可視化展示等相關功能的介紹和實戰,引導讀者掌握相關的大數據搜索、日志分析和可視化技術。本書還詳細介紹了X-Pack和Beats組件,展示了在Elastic Stack中的一些實踐。

(展開)

目錄

第1章概述1
1.1Elasticsearch概述3
1.1.1Elasticsearch的安裝與簡單配置4
1.1.2Elasticsearch API的簡單使用方式7
1.2Logstash7
1.3Kibana8
1.4其他8
1.5擴展知識與閱讀9
1.6本章小結10
第2章文檔索引及管理11
2.1文檔索引概述11
2.2Head: Elasticsearch的數據管理工具13
2.3建立索引16
2.4通過映像mappings配置索引20
2.4.1在索引中使用映像21
2.4.2管理/配置映像22
2.4.3獲取映像信息22
2.4.4刪除映像24
2.5管理索引文件24
2.5.1打開、關閉、檢測、刪除索引文件24
2.5.2清空索引緩存25
2.5.3刷新索引數據25
2.5.4優化索引數據26
2.5.5Flush操作26[1][2][1][3]2.6設置中文分析器26
2.7對文檔的其他操作29
2.7.1獲取指定的文檔信息29
2.7.2刪除文檔中的信息31
2.7.3數據更新31
2.7.4基于POST方式批量獲取文檔34
2.8實例36
2.9擴展知識與閱讀40
2.10本章小結41
第3章信息檢索與聚合42
3.1實驗數據集描述43
3.2基本檢索44
3.2.1檢索方式44
3.2.2query查詢45
3.2.3from / size查詢45
3.2.4查詢結果排序46
3.2.5高亮搜索詞48
3.2.6查詢模板50
3.3檢索進階50
3.3.1全文檢索51
3.3.2詞項檢索54
3.3.3復合查詢58
3.3.4跨度查詢60
3.3.5特殊查詢63
3.3.6腳本script64
3.4聚合67
3.4.1metrics aggregations68
3.4.2bucket aggregations72
3.4.3pipeline aggregations81
3.4.4matrix aggregations85
3.5實例87
3.6擴展知識與閱讀92
3.7本章小結93
第4章面向Java的Elasticsearch Client部分功能實現94
4.1Elasticsearch節點實例化94
4.1.1通過Maven添加Elasticsearch依賴94
4.1.2初始化TransportClient96
4.2索引數據98
4.2.1準備JSON數據98
4.2.2索引JSON數據100
4.3對索引文檔的操作101
4.3.1獲取索引文檔數據101
4.3.2刪除索引文檔104
4.3.3更新索引文檔105
4.3.4批量操作索引文件105
4.4信息檢索107
4.4.1概述107
4.4.2MultiSearch109
4.4.3Search template110
4.4.4Query DSL概述110
4.4.5matchAllQuery111
4.4.6全文檢索的部分方法112
4.4.7詞項檢索的部分方法115
4.4.8復合查詢的部分方法119
4.4.9跨度查詢的部分方法121
4.4.10特殊查詢124
4.5聚合126
4.5.1Metrics聚合126
4.5.2Bucket聚合130
4.6對檢索結果的進一步處理134
4.6.1控制每頁的顯示數量及顯示排序依據134
4.6.2基于scroll的檢索結果及其分頁135
4.7實例137
4.7.1在Elasticsearch中建立索引137
4.7.2連接Elasticsearch138
4.7.3信息采集與索引構建139
4.7.4搜索模塊的實現141
4.7.5推薦模塊的實現142
4.7.6聚合模塊的實現143
4.8擴展知識與閱讀145
4.9本章小結145
第5章Elasticsearch配置與集群管理146
5.1Elasticsearch部分基本配置及其說明146
5.2索引和查詢效率的優化149
5.3監控集群狀態150
5.4控制索引分片與副本分配152
5.5集群管理154
5.6擴展知識與閱讀155
5.7本章小結156
第6章基于Logstash的日志處理157
6.1概述158
6.2Input: 處理輸入的日志數據160
6.2.1處理基于file方式輸入的日志信息161
6.2.2處理基于generator產生的日志信息162
6.2.3處理基于log4j的日志信息163
6.2.4處理基于redis的日志信息165
6.2.5處理基于stdin方式輸入的信息168
6.2.6處理基于TCP傳輸的日志數據169
6.2.7處理基于UDP傳輸的日志數據173
6.3codecs: 格式化日志數據174
6.3.1JSON格式175
6.3.2rubydebug格式177
6.3.3plain格式177
6.4基于filter的日志處理與轉換178
6.4.1JSON filter178
6.4.2grok filter180
6.4.3kv filter182
6.5output: 輸出日志數據184
6.5.1將處理后的日志輸出到Elasticsearch中185
6.5.2將處理后的日志輸出至文件中186
6.5.3將處理后的部分日志輸出到csv格式的文件中187
6.5.4將處理后的日志輸出到redis中189
6.5.5將處理后的部分日志通過UDP協議輸出190
6.5.6將處理后的部分日志通過TCP協議輸出192
6.5.7將收集到的日志信息傳輸到自定義的HTTP接口中195
6.6擴展知識與閱讀196
6.7本章小結197
第7章基于Kibana的數據分析可視化198
7.1Kibana概述199
7.2安裝Kibana199
7.3使用Management管理配置200
7.3.1添加index pattern200
7.3.2高級設置202
7.3.3管理已保存的檢索、可視化和儀表板205
7.4使用Discover執行查詢206
7.4.1設置時間過濾器206
7.4.2在index pattern中執行搜索207
7.4.3字段過濾208
7.4.4查看文檔數據210
7.5使用Visualize創建統計圖表211
7.6使用Dashboard創建動態儀表板214
7.6.1創建新的動態儀表板215
7.6.2打開已保存的動態儀表板215
7.6.3分享動態儀表板216
7.7使用Timelion創建時間線216
7.8使用Dev Tools執行命令行218
7.8.1在Console中執行命令218
7.8.2Console的快捷鍵220
7.8.3Console的配置221
7.9網站性能監控可視化應用的設計與實現221
7.9.1概述222
7.9.2使用Visualize實現可視化222
7.9.3使用Dashboard整合可視化結果225
7.10擴展知識與閱讀227
7.11本章小結227
第8章基于XPack的系統運行監控229
8.1XPack概述229
8.2安裝XPack230
8.3Security插件與安全性231
8.3.1身份驗證機制與用戶管理231
8.3.2匿名訪問233
8.3.3基于域的用戶認證234
8.3.4基于角色的訪問權限配置236
8.3.5IP過濾238
8.3.6帶有身份認證的TransportClient240
8.3.7帶有身份認證的RESTful命令243
8.4使用Monitoring監控系統運行狀態243
8.4.1系統運行狀態監控243
8.4.2配置Monitoring247
8.4.3搭建獨立的Monitoring集群248
8.5Alerting插件與異常事件警報250
8.5.1通過RESTful方式設置監視器250
8.5.2通過Java程序設置監視器254
8.6Reporting與報告生成256
8.6.1在程序中生成報告256
8.6.2通過監視器自動生成報告257
8.7使用Graph探索數據關聯259
8.8擴展知識與閱讀261
8.9本章小結261
第9章基于Beats的數據解析傳輸262
9.1基于Packetbeat的網絡數據包傳輸263
9.1.1概述263
9.1.2安裝263
9.1.3配置264
9.1.4加載索引模板266
9.1.5啟動和關閉267
9.1.6使用Kibana進行展示268
9.2基于Filebeat的日志傳輸269
9.2.1概述269
9.2.2安裝和配置269
9.2.3啟動和關閉272
9.2.4使用Kibana進行展示272
9.3基于Metricbeat的系統指標數據傳輸273
9.3.1概述273
9.3.2安裝和配置274
9.3.3啟動和關閉275
9.3.4使用Kibana進行展示276
9.4基于Winlogbeat的Windows事件日志數據傳輸277
9.4.1概述277
9.4.2安裝278
9.4.3配置279
9.4.4啟動和關閉282
9.4.5使用Kibana進行展示283
9.5擴展知識與閱讀284
9.6本章小結285
第10章網絡信息檢索與分析實踐1286
10.1信息采集286
10.2基于Python的信息檢索及Web端設計291
10.2.1安裝Python及Django291
10.2.2安裝Elasticsearch的Python插件292
10.2.3Web頁面設計293
10.3基于Logstash的日志處理296
10.3.1安裝和配置Nginx297
10.3.2設計面向日志文件的pattern297
10.3.3在Logstash中進行相關配置298
10.4基于Kibana的日志分析結果可視化設計與實現299
10.4.1圖表1: 狀態碼走勢分析300
10.4.2圖表2: 查詢詞分析302
10.4.3圖表3: 分析各狀態碼隨時間的變遷302
10.4.4集成圖表304
10.5擴展知識與閱讀304
10.6本章小結305
第11章網絡信息檢索與分析實踐2306
11.1面向動態網站的信息采集307
11.1.1軟件準備307
11.1.2瀏覽器驅動程序準備307
11.1.3創建索引和映像308
11.1.4導入依賴309
11.1.5數據采集310
11.2基于Spring MVC的信息檢索及Web程序設計317
11.2.1創建和配置Spring MVC項目317
11.2.2前端頁面設計319
11.2.3后端控制器類324
11.3基于Logstash的日志處理329
11.4基于Beats的數據傳輸330
11.5基于Kibana的數據可視化331
11.5.1可視化索引文件中的信息331
11.5.2對Logstash、Beats的可視化展示333
11.6基于XPack的系統監控335
11.7擴展知識與閱讀337
11.8本章小結337
參考文獻339
(展開)

書頁展示

更多圖書信息
數據來源于網絡,如有問題,請反饋至此郵箱:[email protected]

作者:高凱 主編 高莘 岳重陽 編
出版:清華大學出版社

ISBN:9787302473787

出版日期:2017-09-01

清華大學出版社

清華大學出版社

清華大學出版社成立于1980年6月,是由教育部主管、清華大學主辦的綜合出版單位。植根于“清華”這座久負盛名的高等學府,秉承清華人“自強不息,厚德載物”的人文精神,清華大學出版社在短短二十多年的時間里,迅速成長起來。作為來自一流大學的出版單位,清華大學出版社始終堅持弘揚科技文化產業、服務科教興國戰略的出版方向,把出版高等學校教學用書和科技圖書作為主要任務,并為促進學術交流、繁榮出版事業設立了多項出版基金,逐漸形成了以出版高水平的教材和學術專著為主的鮮明特色,在教育出版領域樹立了強勢品牌。目前,清華版教材已在全國一百多所院校得到廣泛使用。高品質、多層次的計算機圖書是清華大學出版社的一大品牌支柱。20世紀80年代末,在席卷全球的信息化浪潮中,清華大學出版社快速切入計算機圖書市場,逐漸成為并一直保持這一市場的領先地位,為發展中國計算機教育做出了巨大貢獻。

(展開)

作者信息

高凱 主編 高莘 岳重陽 編

高凱,本書主編。教授,博士畢業于上海交通大學計算機應用技術專業,省級重點學科“計算機軟件與理論”中“信息檢索與云計算”方向學術帶頭人,研究生導師,中國計算機學會高級會員,中國計算機學會計算機應用專委會常委,International Journal of Computer Applications in Technology副主編;主要研究方向為大數據搜索與挖掘、自然語言處理、網絡信息檢索、社會計算等;近幾年出版了《信息檢索與智能處理》、《大數據搜索與挖掘》、《網絡信息檢索技術及搜索引擎系統開發》等學術專著及多部規劃教材;在Expert Systems With Applications、International Journal on Intelligent Information and Database System、International Journal on Modelling, Identification and Control、《中文信息學報》、《電子學報》、《小型微型計算機系統》等學術期刊以及在PAKDD等國際學術會議上發表學術論文五十余篇;主持及參與國家自然科學基金課題、省級科技支撐計劃課題、省級自然科學基金課題等多項,申請計算機軟件著作權登記十余項。

(展開)

使用移動設備
掃描二維碼下載客戶端

注:目前僅提供安卓客戶端下載

Copyright ?2020  BookAsk 書問  |  京ICP證160134號   |  

京公網安備 11010802026432號

  |  出版物經營許可證新出發京零字第海150168號   |  營業執照:91110108318038279C   |  網站地圖   |  關于我們   |  合作伙伴   |  商務合作   |  友情鏈接
深蓝海域投注 山东11选5专家推荐 黑龙江11选5技巧31日 pk10开奖官网 昆明按摩休闲中心 华东15选5 广东*快乐十分开奖 2020年七乐彩开奖结果 理财平台排行榜 重庆快乐十分苹果版本 广西快乐双彩开奖号码和结果 吉林11选5 体育彩票比分过关怎么算奖 河南11选5技巧 快乐十分前三直奖金 天津快乐十分开奖图 打麻将技巧口诀