01ELK安装及核心概念
简述ELK是ElasticSearch、Logstach、Kibana三大开源框架首字母的缩写,ElasticSearch,简称ES,es是一个开源的高可扩展性的分布式全文搜索引擎,他几乎可以实时的存并且可以扩展到上百台服务器,可以处理大数据时代的数据,es也可以使用java开发搜索功能,但是他的目的是通过简单的Restful来达到目的全文搜索、高亮的目的。LogStach是ELK的中央数据流引擎
简述
ELK是ElasticSearch、Logstach、Kibana三大开源框架首字母的缩写,
ElasticSearch,简称ES,es是一个开源的高可扩展性的分布式全文搜索引擎,他几乎可以实时的存并且可以扩展到上百台服务器,可以处理大数据时代的数据,es也可以使用java开发搜索功能,但是他的目的是通过简单的Restful来达到目的全文搜索、高亮的目的。
LogStach是ELK的中央数据流引擎,用于不同的目标收集不同格式的数据,经过过滤后支持输出不同的目的地址。
Kibana可以将elasticsearch的数据同通过友好的页面展示出来,提供实时的分析功能。用来搜索、查看交互存储在elasticsearch索引中的数据,他让海量数据更容易理解,操作简单,基于浏览器数据的用户界面可以快速创建仪表盘,
ElasticSearch安装
注意:Elasticsearch对JDK的要求最起码要1.8以上,且与Kibba和Logstach的安装版本要一致
官网:elasticsearch官网
解压即用,修改运行内存配置参数:
启动测试:
启动bin目录下的.bat文件
可视化界面(es-head)安装
github下载地址:es-head
需要在elasticsearch.yml文件中添加配置解决跨域问题,否则无法访问不同的端口。
启动运行可视化界面
Kibana安装
官网:Kibana官网
解压后启动.bat文件,注意要与elasticsearch的版本保持一致。
修改国际化配置文件改为中文
访问地址测试
elasticsearch是面向文档的,Mysql数据库和Elasticsearch客观对比,一切都是以Jsonx形式。
Mysql | ElasticSearch |
---|---|
数据库 | 索引 |
表 | type |
行 | documents |
字段 | Fields |
elasticsearc集群可以包含多个索引(数据库),每个索引可以包含多个类型(表),每个类型可以包含多个字段(列).
倒排索引
elasticsearch使用的是一种称为倒排索引 |的结构,一个elasticsearch的索引包含了多个Lunce索引采用Lucene倒排索作为底层。这种结构适用于快速的全文搜索,一个索引由文档中所有不重复的列表构成,对于每一个词,都有一个包含它的文档列表。 例如,现在有两个文档,每个文档包含如下内容:
# 文档1包含的内容
Study every day, good good up to forever To
# 文档2包含的内容
forever, study every day,good good up
为为创建倒排索引,我们首先要将每个文档拆分成独立的词(或称为词条或者tokens) ,然后创建一一个包含所有不重 复的词条的排序列表,然后列出每个词条出现在哪个文档
term | doc_1 | doc_2 |
---|---|---|
study | 有 | 无 |
To | 无 | 无 |
every | 有 | 有 |
forever | 有 | 有 |
day | 有 | 有 |
study | 无 | 有 |
good | 有 | 有 |
every | 有 | 有 |
to | 有 | 无 |
up | 有 | 有 |
现在,我们试图搜索 to forever,只需要查看包含每个词条的文档
term | doc_1 | doc_2 |
---|---|---|
to | 有 | 无 |
forever | 有 | 有 |
两个文档都匹配,但是第一个文档比第二个匹配程度更高。所以返回的是第一个文档。
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)