ELK(ElasticSearch, Logstash, Kibana)-Toy模板网

这篇具有很好参考价值的文章主要介绍了ELK(ElasticSearch, Logstash, Kibana)。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、ELK介绍

ELK简介
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。主要负责将日志索引并存储起来，方便业务方检索查询。

Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。是一个日志收集、过滤、转发的中间件，主要负责将各条业务线的各类日志统一收集、过滤后，转发给 Elasticsearch 进行下一步处理。

Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

二、elasticsearch实战

1.elasticsearch简介

Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:

1.分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。
2.实时分析的分布式搜索引擎。
3.可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。

2.elasticsearch安装与配置

server2/3/4安装软件

软件下载：https://elasticsearch.cn/download/
官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.6/index.html

安装软件：
rpm -ivh jdk-8u171-linux-x64.rpm
rpm -ivh elasticsearch-7.6.1-x86_64.rpm //7.6版本自带jdk

设置服务自启：
systemctl daemon-reload
systemctl enable elasticsearch

在下载软件后，修改配置文件：

vim /etc/elasticsearch/elasticsearch.yml 
 17 cluster.name: my-es                                //集群名称
 23 node.name: server2                                //主机名,需要解析
 33 path.data: /var/lib/elasticsearch                    //数据目录
 37 path.logs: /var/log/elasticsearch                    //日志目录
 43 #bootstrap.memory_lock: true                        //锁定内存，内存小时千万不要开（我这里不开了）
 55 network.host: 172.25.254.2                            //主机IP
 59 http.port: 9200                                        //http服务端口
 68 discovery.seed_hosts: ["server2", "server3", "server4"]            //集群中包含的节点
 72 cluster.initial_master_nodes: ["server2", "server3", "server4"]        //集群中的master节点（在启动这个集群的时候要找一个引导节点 derver2、3、4都可以成为引导节点）

上述在server2上已经做出下载及相应配置，此时要在server 3、4上做相同的配置，我们直接复制相关文件过去即可：

[root@server2 ~]# scp elasticsearch-7.6.1-x86_64.rpm server3:~
[root@server2 ~]# scp elasticsearch-7.6.1-x86_64.rpm server4:~
然后修改相应参数即可。

 systemctl enable --now elasticsearch  ## 设置服务自启

ELK(ElasticSearch, Logstash, Kibana)

cat /var/log/elasticsearch/my-es.log

由下图可知，9300端口是节点之间用来通信的端口，ES集群之间是通过9300进行通讯。
并且他会在三个节点中选一个当master（当然每个节点都有成为master的可能，他会自行选举），现在是分布式的节点，down一个，其他三个还都能用。
ELK(ElasticSearch, Logstash, Kibana)
此时三台机器的elasticsearch.service均已启动，现在我们需要一个图形来管理这个集群，当然用命令行也可以去控制，并且官方也给出了文档，（https://www.elastic.co/guide/en/elasticsearch/referen文章来源地址https://www.toymoban.com/news/detail-407970.html