logstash异常日志收集

这篇具有很好参考价值的文章主要介绍了logstash异常日志收集。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


前言

在使用logstash进行日志处理时,发现经常会出现某一个topic消费异常的报错。Record is corrupt (stored crc = 2000910049, computed crc = 1912358942)}
在logstash出现这个报错后,相应的topic就会无法正常消费,kibana上也无法正常查询到相关时间点之后的日志,重启logstash后才会恢复异常。


一、处理方式

日志采集流程:

fluent-bit ——> kafka ——> logstash ——> es ——> kibana

处理方案:

通过网上调研,没有找到相应的处理方法。但是发现通过手动重启logstash就可以恢复对应的日志采集。但是总不能一直看logstash日志看有没有报错吧。

于是,便通过已有的方式采集logstash容器日志并通过日志告警插件进行告警。

二、详细配置

告警详情

如下:

[ERROR][logstash.inputs.kafka    ][main][cb3a80073c6ad1403c54fc6cdce0a1c7d4352eb8afa38e0ff9519c07e83e96ce] Unable to poll Kafka consumer {:kafka_error_message=>org.apache.kafka.common.KafkaException: Received exception when fetching the next record from {kafka-topic}-0. If needed, please seek past the record to continue consumption., :cause=>org.apache.kafka.common.KafkaException: Record batch for partition {kafka-topic}-0 at offset 9213518 is invalid, cause: Record is corrupt (stored crc = 1008539063, computed crc = 2600267767)}

fluent-bit配置

input配置如下:


[INPUT]
        Name           tail
        Tag            logstash_log
        Path           /var/log/containers/*logstash*.log
        Parser         logstash_parser
        Mem_Buf_Limit  10MB
 [FILTER]
        Name record_modifier
        Match logstash_log

output配置如下:

[OUTPUT]
        Name            kafka
        Match           logstash_log
        Brokers         kafka-headless.monitoring.svc.cluster.local:9092
        Timestamp_Key   logstash_local_time
        Tag_Key         logstash_log
        Include_Tag_Key On
        Topics          logstash_log

对应的parser配置如下:

[PARSER]
        Name   logstash_parser
        Format regex
        Regex  ^(.*) \[(?<logstash_local_time>[^\]]*)\]\[(?<level>[^\]]*)\]\[(?<org_log>[^\]]*)\]\[(?<main>[^\]]*)\]\[(?<key>[^\]]*)\] (?<messages>.+)$
        Time_Key logstash_local_time
        Time_Format %d/%b/%Y:%H:%M:%S %z

(fluent-bit本地debug调试可参考: fluent-bit本地dubug调试)

至此,已能事实监控到logstash采集异常,但是没有真正处理问题。


尝试方案

发现是由于消费kafka上特定topic异常,怀疑是topic消息增加太快,导致消费速度跟不上。所以尝试将topic增加为3分区(原先只有partition 0)并持续观察消费情况以及logstash异常情况。文章来源地址https://www.toymoban.com/news/detail-416237.html

到了这里,关于logstash异常日志收集的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于Elasticsearch+Logstash+Kibana+Filebeat的日志收集分析及可视化

    sudo rm /var/lib/dpkg/lock* sudo dpkg --configure -a apt update tail -f /var/log/car.log 海量的业务应用,也带来了海量的日志数据,给业务应用的运维带来了新的挑战。例如,我们常用的网约车应用,单个平台的日订单数量可以达到上亿条,产生各种类型的日志数据,像用户业务方面会产生交

    2024年01月21日
    浏览(53)
  • docker搭建最新ELFK分布式日志收集系统(elasticsearch+logstash+filebeats+kibana7.16.1)

    随着分布式项目的集群部署,日志的存储也分散开来,在日后出现问题进行日志定位时就会出现很困难,服务器很多会做负载均衡,这样最终请求所落在的服务器也随机起来,所以好的方式就是集中收集起来,不需要一台一台服务器去查,方便查看。 ELFK是Elasticsearch+Logstash+F

    2024年02月08日
    浏览(49)
  • 如何基于运维事件中心通过 logstash 进行日志关键字监控

    日常运维过程中,很多场景都需要对日志进行监测,以便第一时间发现应用/业务相关异常,这是一种比较常见的监控需求,所以也有很多方法可以实现告警。对于简单的告警可以通过一些传统的监控工具实现,但对于体量和业务是非常复杂的中大型企业来说,在

    2024年02月20日
    浏览(35)
  • Vue中如何进行分布式错误日志收集与监控

    随着前端界面的复杂化,前端错误日志的收集和监控也成为了一个重要的问题。在分布式应用中,需要跨多个前端应用和后端服务收集和监控错误日志。本文将介绍如何在 Vue 中使用 Sentry 进行分布式错误日志收集和监控。 Sentry 是一个开源的错误监控平台,它提供了跨平台的

    2024年02月09日
    浏览(42)
  • ELK-日志服务【logstash-安装与使用】

    目录 【1】安装logstash logstash input 插件的作用与使用方式 【2】input -- stdin插件:从标准输入读取数据,从标准输出中输出内容 【3】input -- file插件:从文件中读取数据 【4】input -- beat插件:从filebeat中读取数据,然后标准输出 【5】input -- kafka插件:从kafka中读取数据 logstash

    2024年02月16日
    浏览(38)
  • 使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统

            随着时间的积累,日志数据会越来越多,当您需要查看并分析庞杂的日志数据时,可通过Filebeat+Kafka+Logstash+Elasticsearch采集日志数据到Elasticsearch中,并通过Kibana进行可视化展示与分析。本文介绍具体的实现方法。 Kafka是一种分布式、高吞吐、可扩展的消息队列服务,

    2024年02月04日
    浏览(46)
  • 使用Logstash过滤插件Grok的内置正则实现日志数据格式化

    格式化之前的日志内容 一条nginx的日志内容,第一列是客户端IP,第二列是请求方式,第三列是请求的URL,第四列是请求的文件大小,第五列是响应时间,如果这条数据不进行格式化,我们是无法针对性的去匹配相应的日志内容,比如想统计出响应时间比较长的页面,我们就

    2024年02月02日
    浏览(38)
  • Kubernetes 集群的异常处理手段,包括集群自愈、集群监控、日志收集、集群规模扩容、节点问题处理、Pod问题定位、网络故障诊断、应用性能瓶颈分析、应用访问失效问题排查等方面知识

    作者:禅与计算机程序设计艺术 随着容器技术的普及和应用,容器集群已经成为云计算领域中一个重要的基础设施,用来提供快速、可扩展、高可用和弹性的服务。Kubernetes(简称K8s)是最具代表性的开源容器编排引擎之一,通过自动化部署、管理和调度容器ized application,极

    2024年02月07日
    浏览(41)
  • 使用logstash将项目的日志存储到Elasticsearch中(详细!新手避坑点!)

    1.环境准备 我这里默认你们这个logstash和Elasticsearch已经安装好了。 我使用的是logstash版本7.4.0 Elasticsearch版本7.4.0。 使用其他版本 注意版本一定要一致,版本不一致大概率会出现logstash启动报Failed to install template.异常 ,已经踩坑了。 logstash的配置文件: 接下来 以配置文件启

    2024年02月04日
    浏览(87)
  • 使用 Vector 在 Kubernetes 中收集日志

    多年来,我们一直在使用 Vector 在我们的 Kubernetes 平台中收集日志,并成功地将其应用于生产中以满足各种客户的需求,并且非常享受这种体验。因此,我想与更大的社区分享它,以便更多的 K8s 运营商可以看到潜力并考虑他们自己的设置的好处。 为此,我将首先简要回顾一

    2024年01月23日
    浏览(31)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包