Filebeat+Kafka+ELK日志采集(五)——Elasticsearch

这篇具有很好参考价值的文章主要介绍了Filebeat+Kafka+ELK日志采集(五)——Elasticsearch。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、下载、安装、配置、启动:

1、下载

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.3.2-linux-x86_64.tar.gz

2、解压:

tar -zxvf elasticsearch-8.3.2-linux-x86_64

3、配置
启动Elasticsearch,进入/bin目录下./elasticsearch,不出意外的外会报以下错误:

报错1:能打开的文件或进程数太低。

max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

解决方法:
修改/etc/security/limits.conf 配置文件,添加配置如下:

hard nofile 655360
soft nofile 131072
hard nproc 4096
soft nproc 2048
# nofile - 打开文件的最大数目
# noproc - 进程的最大数目
# soft 指的是当前系统生效的设置值
# hard 表明系统中所能设定的最大值

报错2:

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决方法:
修改/etc/sysctl.conf 配置文件,添加配置如下:

vm.max_map_count=655360
# 缺省配置下,单个jvm能开启的最大线程数为其一半
fs.file-max=655360
# 设置 系统所有进程一共可以打开的文件数量

修改完之后执行命令:sysctl -p

配置3:

根据自身主机内存大小设置es,修改/jvm.options配置文件,太大或太小都可能导致启动失败

-Xmx2g
-Xms2g

配置4:外网访问
修改elasticearsh.yml文件:

network.host: 0.0.0.0
# 设置为自己的ip或0.0.0.0

开放端口号,重启防火墙:

firewall-cmd --zone=public --add-port=9200/tcp --permanent
firewall-cmd --query-port=9200/tcp
systemctl restart firewalld.service

配置Kibana
同样下载解压缩Kibana,打开/config/kibana.yml设置连接ES信息:

elasticsearch.hosts: ["IP:9200"]
elasticsearch.username: name
elasticsearch.password: password

二、索引生命周期和索引模板

日志信息不可能永久的存储在ES中,所以需要对索引进行管理,按照采集的日志的保存时长定期删除,可通过程序定时任务每天检查到期的索引然后删除,也可以使用ES的索引生命周期对索引进行管理,使用索引生命周期需结合绑定索引模板搭配使用。

生命周期策略及索引模板的创建及使用参考文章:ElasticSearch——索引生命周期管理

2.1、创建索引生命周期策略

Filebeat+Kafka+ELK日志采集(五)——Elasticsearch
如上图所示,只启用了热阶段和删除阶段,索引建立30天之后删除。

2.2、创建索引模板

Filebeat+Kafka+ELK日志采集(五)——Elasticsearch
如上图所示,创建索引模板并关联生命周期策略,设置索引分片数量和副本数量。因为未启用热阶段的滚动更新,所以不用设置别名。
测试时可将热阶段到删除阶段过程缩短到几分钟,但生命周期策略刷新时间默认是10min,我们在测试的时候可以设置的短一些,如1min:

PUT _cluster/settings
{
  "transient": {
    "indices.lifecycle.poll_interval": "1min" 
  }
}

Filebeat+Kafka+ELK日志采集(五)——Elasticsearch
如图所示,新创建的索引根据索引模板关联上了生命周期策略,30天后进入删除阶段进行删除。文章来源地址https://www.toymoban.com/news/detail-454426.html

到了这里,关于Filebeat+Kafka+ELK日志采集(五)——Elasticsearch的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • EFLFK——ELK日志分析系统+kafka+filebeat架构

    node1节点 192.168.40.16 elasticsearch 2c/4G node2节点 192.168.40.17 elasticsearch 2c/4G Apache节点 192.168.40.170 logstash/Apache/kibana 2c/4G filebeat节点 192.168.40.20 filebeat 2c/4G https://blog.csdn.net/m0_57554344/article/details/132059066?spm=1001.2014.3001.5501 接上期elk部署我们这次加一个filebeat节点   //准备 3 台服务器做

    2024年02月14日
    浏览(35)
  • 基于Filebeat、Kafka搭建ELK日志分析平台详细步骤

    写在前头:公司一直没有搭建一个支持实时查询日志的平台,平常看日志都得去服务器下载,大大降低开发效率,前段时间有大佬同事搭建了一款日志平台,支持sit,uat等各个环境的日志实时查询,大大提高bug定位速度。因对其感兴趣特向大佬请教,学习记录下搭建流程。 选

    2024年02月06日
    浏览(49)
  • filebeat采集日志数据到kafka(一)(filebeat->kafka->logstash->es)

    一、filebeat安装 filebeat-kafka版本适配 1、安装包下载 https://www.elastic.co/cn/downloads/past-releases#filebeat 解压 2、新建yml配置文件,如test.yml 3、Filebeat启动和停止 启动:./filebeat -c test.yml 停止:kill -9 PID

    2024年02月16日
    浏览(87)
  • docker搭建Elk+Kafka+Filebeat分布式日志收集系统

    目录 一、介绍 二、集群环境 三、ES集群 四、Kibana  五、Logstash 六、Zookeeper 七、Kafka 八、Filebeat 八、Nginx (一)架构图  (二)组件介绍 1.Elasticsearch 是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎,基于

    2024年02月04日
    浏览(50)
  • k8s部署elk+filebeat;springCloud集成elk+filebeat+kafka+zipkin实现多个服务日志链路追踪聚合到es

    如今2023了,大多数javaweb架构都是springboot微服务,一个前端功能请求后台可能是多个不同的服务共同协做完成的。例如用户下单功能,js转发到后台 网关gateway服务 ,然后到 鉴权spring-sercurity服务 ,然后到 业务订单服务 ,然后到 支付服务 ,后续还有发货、客户标签等等服务

    2024年02月16日
    浏览(43)
  • ZooKeeper+Kafka+ELK+Filebeat集群搭建实现大批量日志收集和展示

    大致流程:将nginx 服务器(web-filebeat)的日志通过filebeat收集之后,存储到缓存服务器kafka,之后logstash到kafka服务器上取出相应日志,经过处理后写入到elasticsearch服务器并在kibana上展示。 一、集群环境准备 二、搭建zookeeper集群 前提条件:三台机器分别修改时区、关闭防火墙

    2024年02月04日
    浏览(45)
  • ElasticSearch+Kibana+Filebeat 采集日志内的json数据

    方式有很多,以下是我学习中自己写的。 要被采集的日志: 在ElasticSearch创建pipeline(管道): 在“Kibana-Stack Management-采集管道-创建管道” 或者 在“Kibana-开发工具-控制台”运行以下代码

    2024年02月08日
    浏览(37)
  • Kafka数据采集至Elasticsearch的Filebeat配置

    Filebeat是一种轻量级的开源日志数据采集器,用于将各种日志数据发送到Elasticsearch等目标存储系统。本文将介绍如何使用Filebeat配置将Kafka中的数据采集并发送至Elasticsearch。 在开始之前,请确保已经安装并配置了Filebeat、Kafka和Elasticsearch。以下是配置的步骤: 配置Filebeat 打开

    2024年02月08日
    浏览(42)
  • springboot整合ELK+kafka采集日志

    在分布式的项目中,各功能模块产生的日志比较分散,同时为满足性能要求,同一个微服务会集群化部署,当某一次业务报错后,如果不能确定产生的节点,那么只能逐个节点去查看日志文件;logback中RollingFileAppender,ConsoleAppender这类同步化记录器也降低系统性能,综上一些

    2024年02月15日
    浏览(42)
  • 基于Filebeat+Kafka+ELK实现Nginx日志收集并采用Elastalert2实现钉钉告警

           先准备3台Nginx服务器,用做后端服务器,(由于机器有限,也直接用这三台机器来部署ES集群),然后准备2台服务器做负载均衡器(Nginx实现负载均衡具体实现操作有机会在介绍),如果是简单学习测试,可以先使用3台Nginx服务器就可以,先告一段落。 3台Nginx服务

    2024年02月15日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包