ELK详解(十一)——Logstash收集日志不显示问题解决

这篇具有很好参考价值的文章主要介绍了ELK详解(十一)——Logstash收集日志不显示问题解决。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

今天继续给大家介绍Linux运维相关知识,本文主要内容是Logstash能够收集日志,过程不报错,但是在收集日志后没有在Elasticsearch上显示索引问题的解决。

一、错误描述

在进行Logstash配合Elasticsearch进行日志收集及展现的实战过程中,经常会遇到以下情况:
在Logstash日志收集过程中很顺利,也没有报错,但是在Elasticsearch上却找不到Logstash提交的日志。Logstash命令执行过程如下所示:
elk堆栈监测中没有logstash,自动化运维,ELK,自动化,Elasticsearch,Logstash,Linux
可以看出,在上图中,Logstash最后执行结果为Successfully,即成功执行,且执行过程中,并没有报错,说明我们的Logstash执行成功。但是,Elasticsearch上却找不到我们的Logstash收集的日志,如下所示:
elk堆栈监测中没有logstash,自动化运维,ELK,自动化,Elasticsearch,Logstash,Linux

二、错误原因

其实,出现这种情况,在排除了配置文件写错之外,出现的原因很有可能是Elasticsearch和Logstash的运行BUG。如果我们的实验是在Vmware虚拟机上进行的,由于Elasticsearch和Logstash在运行时比较消耗内存等硬件资源,因此在实验时可能会出现各种意外情况。
只要Logstash运行时不报错,在理论上就会出现在Elasticsearch中。

三、解决方案

出现这种现象,我们除了重启Elasticsearch,多试几次Logstash之外,一种比较简单的方案是可以减少日志读取的量。在实战中,我们可以先实验以下,使用含有少量日志的文件先进行传输,如果没有问题,再进行内容很多的日志文件传输,如果这时传输失败,就足以证明是Elasticsearch的故障,而不是我们实战配置的问题了。

四、写在最后

当然,这种错误的出现具有偶发性,并不是每次日志量过大时都会发生。今天写这篇文章,主要目的更多的是讲述一下之前我自己在配置Logstash+Elasticsearch实战中遇上的一些情况,希望对后人有所帮助!在之前的实验中,我也曾经进行了类似的实战,有多次出现这种情况,每次都是对某个日志文件收集失败,然后将该日志文件备份后,将日志文件中的大量数据换成简单的测试数据,则结果正常。
原创不易,转载请说明出处:https://blog.csdn.net/weixin_40228200文章来源地址https://www.toymoban.com/news/detail-606529.html

到了这里,关于ELK详解(十一)——Logstash收集日志不显示问题解决的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【ELK企业级日志分析系统】部署Filebeat+Kafka+Logstash+Elasticsearch+Kibana集群详解(EFLFK)

    参见安装与部署ELK详解 参见安装与部署EFLK详解 参见安装与部署Zookeeper集群详解 1.1.1 为什么需要消息队列(MQ) MQ(Message Queue)主要原因是由于 在高并发环境下,同步请求来不及处理,请求往往会发生阻塞 。比如大量的并发请求,访问数据库,导致行锁表锁,最后请求线程会

    2024年02月16日
    浏览(49)
  • logstash异常日志收集

    在使用logstash进行日志处理时,发现经常会出现某一个topic消费异常的报错。 Record is corrupt (stored crc = 2000910049, computed crc = 1912358942)} 在logstash出现这个报错后,相应的topic就会无法正常消费,kibana上也无法正常查询到相关时间点之后的日志,重启logstash后才会恢复异常。 fluent

    2023年04月17日
    浏览(35)
  • ELK-日志服务【logstash-安装与使用】

    目录 【1】安装logstash logstash input 插件的作用与使用方式 【2】input -- stdin插件:从标准输入读取数据,从标准输出中输出内容 【3】input -- file插件:从文件中读取数据 【4】input -- beat插件:从filebeat中读取数据,然后标准输出 【5】input -- kafka插件:从kafka中读取数据 logstash

    2024年02月16日
    浏览(40)
  • ELK集群 日志中心集群、kafka、logstash

    ES:用来日志存储 Logstash:用来日志的搜集,进行日志格式转换并且传送给别人(转发) Kibana:主要用于日志的展示和分析 kafka Filebeat:搜集文件数据 es-1 本地解析 vi /etc/hosts scp /etc/hosts es-2:/etc/hosts scp /etc/hosts es-3:/etc/hosts  yum -y install wget 安装配置jdk wget 8u191 scp -3 tar xf jdk-8u19

    2024年02月07日
    浏览(39)
  • ELK(Elasticsearch+Logstash+Kibana)日志分析系统

    目录 前言 一、ELK日志分析系统概述 1、三大组件工具介绍 1.1 Elasticsearch 1.1.1 Elasticsearch概念 1.1.2 关系型数据库和ElasticSearch中的对应关系 1.1.3 Elasticsearch提供的操作命令 1.2 Logstash 1.2.1 Logstash概念 1.2.2 Logstash的主要组件 1.2.3 Logstash主机分类 1.2.4 Logstash工作过程 1.3 Kiabana 2、

    2024年04月25日
    浏览(47)
  • Logstash Logback Encoder实现ELK日志归集

    搭建SpringCloud平台日志归集方案,主要使用Logstash Logback Encoder组件实现。 主要分为运维相关的配置和开发相关的配置,具体分类无需纠结,都了解一遍即可。 不足之处,各位大神指出,感谢~ Elasticsearch配置 新建Index Templates,Mapping参考值如下,具体参考值可参考 Logstash Logba

    2024年02月11日
    浏览(54)
  • 日志采集 logback集成logstash ELK springboot

    logstash依赖  给logback配置logstash的那台机器的ip和服务的端口  在logstash那台机器上配置  在安装了logstash的服务器里,找到logstash文件目录,执行./logstash -f logstash.conf即可启动logstash 以上配置即可实现 logback 到 logstash。 下面是升级配置 ===========================分割线===============

    2024年02月12日
    浏览(48)
  • ELK日志平台(elasticsearch+logstash+kibana)搭建

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 为了实现分布式日志数据统一收集,实现集中式查询和管理 故障排查 安全信息和事件管理 ELK 是三个开源项目的首字母缩写,这三个项目分别是: Elasticsearch 、 Logstash 和 Kibana 。 • Elasticsearch 是一个搜索

    2024年02月03日
    浏览(48)
  • elk(elasticsearch+logstash+kibana)搭建日志监控平台

    目录 elk架构原理 安装部署elasticsearch 什么是elasticsearch 创建elasticserch docker容器  安装部署kibana 什么是Kinana 创建Kibana docker容器         拉取镜像         创建配置文件:D:Programsdockerkibanakibana.yml          创建并运行kibana容器         验证登录kibana 安装部署logstash 什么

    2024年02月04日
    浏览(68)
  • ELK---日志收集系统

    1.要收集哪些日志? ①系统日志–为监控做准备 ②服务日志–数据库–MySQL–慢查询日志、错误日志、普通日志 ③业务日志–log4j( 必须要收集的是业务日志 ) 注:log4j—Java类的数据业务日志 (1)要有针对性的去收集 (2)调整日志级别 2.日志收集后,如何展示?(可视化

    2023年04月08日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包