logstash~logstash将本地文件中的日志作为input处理

这篇具有很好参考价值的文章主要介绍了logstash~logstash将本地文件中的日志作为input处理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、场景

测试环境中频繁操作产生日志例如打印刻录日志会比较浪费时间,想到将日志保存到本地文件汇总,然后使用logstash将本地文件作为input输入,即可在不实际操作的情况下对日志进行格式分析

二、解决方案

  1. 先将产生的日志保存到本地文件中,这里为了测试我使用的是stdin输入插件获取内容;使用file输出插件保存日志到本地文件
input{
    stdin{}
}
output{
    file{
    	path=>"/export/server/logstash-8.1.2/test.txt"
    	# 这句的作用是将文件作为json格式保存
    	codec=>"json"
	}
}

logstash~logstash将本地文件中的日志作为input处理,Elastic,logstash,elasticsearch
logstash~logstash将本地文件中的日志作为input处理,Elastic,logstash,elasticsearch
2. 本地获取到日志之后再次启动logstash,使用file输入插件将本地文件输入,使用stdout将日志输出,测试配置文件效果(启动logstash之后没有输出,在test.txt文件后加或删一个换行)

input{
    file{
    	path=>"/export/server/logstash-8.1.2/test.txt"
    	# 以json格式解析数据
		codec=>"json"
	}
}
output{
    stdout{}
}

logstash~logstash将本地文件中的日志作为input处理,Elastic,logstash,elasticsearch
3. 检查发现还有很多冗余字段例如host.namelog等,使用mutate过滤插件对字段进行处理(当logstash不加载本地文件时,对文件进行简单操作即可,例如增加或删除一个空行)

input{
    file{
    	path=>"/export/server/logstash-8.1.2/test.txt"
    	# 以json格式解析数据
		codec=>"json"
	}
}
filter{
    mutate {
        remove_field =>[
            "[log][file]",
            "[host][name]"
        ]
        replace =>{
            "[event][original]"=>"%{message}"
        }
    }
}
output{
    stdout{}
}

logstash~logstash将本地文件中的日志作为input处理,Elastic,logstash,elasticsearch文章来源地址https://www.toymoban.com/news/detail-537041.html

到了这里,关于logstash~logstash将本地文件中的日志作为input处理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Observability:如何把 Elastic Agent 采集的数据输入到 Logstash 并最终写入到 Elasticsearch

    在之前的文章 “安装独立的 Elastic Agents 并采集数据 - Elastic Stack 8.0”,我们详述了如何使用 No Fleet Server 来把数据写入到 Elasticsearch 中。在今天的文章中,我们来详述如下使用 Elastic Agents 在独立(standalone)模式下来采集数据并把数据最终通过 Logstash 来写入到 Elasticsearch 中去

    2024年02月11日
    浏览(51)
  • Vue运用之input本地上传文件,实现传参file:(binary)

    功能场景是,实现列表的【批量导入】的效果,在Excel里维护好信息,本地上传好文件,再点击【确认】触动接口,将flie信息传值后端接口。 input的type设置为file,支持格式设置为仅支持Excel类型 这段代码是一个HTML代码块,用于创建一个包含选择文件按钮和文件上传功能的按

    2024年02月04日
    浏览(41)
  • js触发input的打开文件选择器,将本地图片回显以及上传

    你可以通过以下 JavaScript 代码触发文件选择器:这里的场景不是通过 input 标签来触达的文件选择器, 这样对于 样式较为复杂 的上传可以在html结构上保持清爽愉快, 不用多添加一个input标签。 示例demo,理解思路 这里的file,可以将一切媒体的类型的文件可以上传,但是有些

    2024年01月23日
    浏览(47)
  • html form中的input有哪些类型?各是做什么处理使用的

    在HTML表单中,input元素有多种类型,主要包括以下几种: button:用于定义可点击的按钮。 checkbox:用于定义复选框,用户可以选择多个选项。 file:用于定义文件输入字段,用户可以从本地选择文件上传到服务器。 hidden:用于定义隐藏的输入字段,用户无法直接看到,但可以

    2024年01月24日
    浏览(37)
  • 客快物流大数据项目(一百零四):为什么选择Elastic Search作为存储服务

    文章目录 为什么选择Elastic Search作为存储服务 一、​​​​​​​​​​​​​​ElasticSearch简介

    2023年04月11日
    浏览(42)
  • spring cloud使用git作为配置中心,git开启了双因子认证,如何写本地配置文件

    spring cloud使用git作为配置中心,git开启了双因子认证,死活认证不成功!!!!! 报错 org.eclipse.jgit.api.errors.TransportException: https://git.qualink.com/zhaoxin15/sc-config.git: not authorized 或者就是 java.net.ConnectException: Connection refused: connect 如果你的git也开启了双因子认证,那么配置

    2024年02月11日
    浏览(44)
  • adb logcat 保存日志文件到本地

    指令 例如: 例如:adb logcat D:logcat.log 注意window中直接输入可能会出现log文件打开显示乱码问题; 请打开cmd检查 输入 chcp 如图 查看结果 如果不是65001 则 执行 chcp 65001 之后执行 例如: 保存tag标签的log到D:logcat.log 文件 项目执行后就可以在D盘打开logcat文件,里边就是需要的

    2024年02月03日
    浏览(48)
  • 【elk查日志 elastic(kibana)】

    每次查日志,我都需要别人帮我,时间长了总觉得不好意思,所以这次下定决心好好的梳理一下,怎么查日志。我们查日志的网页是叫elastic,平时同事也都是叫elk。 我直接在网上搜elastic,是搜不到这个页面的具体使用流程的,我们需要搜索kinaba才可以。 为什么会出现这种情

    2024年02月22日
    浏览(46)
  • Elastic 之网络设备日志收集

    如何收集网络设备日志?收集日志后如何对日志进行分析判断网络中是否存在隐患?笔者通过Elastic + rsyslog 实现。 Debian 11 Elastic 8.5 需要两台服务器,设备数量不多可以安装再一台服务器上。 一台安装Elasticsearch + Kibana 一台安装Logstansh + resyslog 使用Elastic自带JVM环境。 什么是

    2024年02月14日
    浏览(36)
  • elastic-job-ui在使用druid作为数据库连接池时作业维度报错

    我们项目中使用到了elastic-job,然后自己封装了个sdk,方便使用,里面的数据源配置是常用的druid+mysql的组合,在操作中,发现elastic-job-ui可视化控制台会报错无法使用。 深究其原因是因为,各个服务把定时任务注册到了zk中,包括数据库配置类的一些信息,但是elastic-job-ui源

    2024年02月10日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包