FileBeat安装配置

这篇具有很好参考价值的文章主要介绍了FileBeat安装配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Filebeat 是属于 Beats 家族的日志传送器——一组安装在主机上的轻量级传送器,用于将不同类型的数据传送到 ELK 堆栈中进行分析。每个节拍都专用于传送不同类型的信息——例如,Winlogbeat 传送 Windows 事件日志,Metricbeat 传送主机指标等等。Filebeat,顾名思义,提供日志文件。

在基于 ELK 的日志管道中,Filebeat 扮演日志代理的角色——安装在生成日志文件的机器上,跟踪它们,并将数据转发到 Logstash 进行更高级的处理,或直接转发到 Elasticsearch 中进行索引。因此,Filebeat 不是 Logstash 的替代品,但在大多数情况下可以而且应该串联使用。

一、filebeat 安装

1.配置yum源,进入到目录下,创建一个以 .repo 为结尾的文件

cd /etc/yum.repos.d
touch elastic.repo

2.将如下信息添加进去,保存并退出

[filebeat]
​
name=Elasticsearch repository for 8.x packages
​
baseurl=https://artifacts.elastic.co/packages/8.x/yum
​
gpgcheck=0
​
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
​
enabled=1
​
autorefresh=1
​
type=rpm-md

3.使用命令安装filebeat

yum -y install filebeat

4.修改filebeat配置

vi /etc/filebeat/filebeat.yml 

找到 Filebeat inputs位置,将type改为log,enabled改为true,paths部分则是需要收集日志的目录位置,使用通配符*进行文件筛选

FileBeat安装配置 

 找到outputs部分,可以看到这里有多种不同的输出系统,这里选择输出到 Logstash,配置host之后记得将其他的输出配置给注释掉,配置后保存并退出

FileBeat安装配置

 5.启动 FileBeat

# 找到filebeat执行文件目录下
cd /usr/share/filebeat/bin
# 指定配置文件来启动filebeat(日志文件在logs/下)
./filebeat -c /etc/filebeat/filebeat.yml &
# 检查是否启动成功
ps -aux | grep filebeat

FileBeat安装配置  

二、Logstash 配置

1.修改logstash配置文件,添加beats组件,然后保存并退出

input { 
    beats{
    host => "XXXX"   #如果是同一台机器,则无需此项
    port => "5044"
  }
}
​
output { #输出消费redis队列中的日志到ES
    elasticsearch {
        hosts => ["XXX:9200"]
        index => "redis-systemlog-%{+YYYY.MM.dd}"
        user => "elastic"
        password => "password"
    }
}

2.重启Logstash,这里我用的是docker进行创建,所以重启容器文章来源地址https://www.toymoban.com/news/detail-443103.html

docker restart logstash

到了这里,关于FileBeat安装配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • FileBeat安装配置

    Filebeat 是属于 Beats 家族的日志传送器——一组安装在主机上的轻量级传送器,用于将不同类型的数据传送到 ELK 堆栈中进行分析。每个节拍都专用于传送不同类型的信息——例如,Winlogbeat 传送 Windows 事件日志,Metricbeat 传送主机指标等等。Filebeat,顾名思义,提供日志文件。

    2024年02月04日
    浏览(24)
  • Filebeat 自动安装部署&一键配置实现

    Filebeat 是使用 Golang 实现的轻量型日志采集器,也是 Elasticsearch stack 里面的一员。 Filebeat本质上是一个 agent ,可以安装在各个节点上,根据配置读取对应位置的日志,并上报到相应的日志管理平台上去 平时接到将某一服务的日志接入到日志管理平台的需求 通常的做法都是:

    2023年04月08日
    浏览(22)
  • ELK安装、部署、调试(五)filebeat的安装与配置

    logstash 也可以收集日志,但是数据量大时太消耗系统新能。而filebeat是轻量级的,占用系统资源极少。 Filebeat 由两个主要组件组成:harvester 和 prospector。 采集器 harvester 的主要职责是读取单个文件的内容。读取每个文件,并将内容发送到 the output。 每个文件启动一个 harveste

    2024年02月10日
    浏览(29)
  • filebeat采集日志数据到kafka(一)(filebeat->kafka->logstash->es)

    一、filebeat安装 filebeat-kafka版本适配 1、安装包下载 https://www.elastic.co/cn/downloads/past-releases#filebeat 解压 2、新建yml配置文件,如test.yml 3、Filebeat启动和停止 启动:./filebeat -c test.yml 停止:kill -9 PID

    2024年02月16日
    浏览(64)
  • FileBeat-日志收集器

            在使用一个工具或者说一套组合工具之前要先对它和它的同类工具进行了解选出一个最适合自己的项目的工具然后进行使用,而我使用的就是filebeat 什么是FileBeat         Filebeat是一个开源的文本日志收集器,它是elastic公司Beats数据采集产品的一个子产品,采用

    2023年04月12日
    浏览(42)
  • 通过Filebeat进行日志监控

    对系统的日志监控,通用做法是使用ELK(Elasticsearch、Logstash、Kibana)进行监控和搜索日志,这里给出另一种方案:通过Filebeat接收日志到Kafka,监控平台接收Kafka,并通过WebSocket实时展示。 这种方案还可以增加Metricbeat监控机器指标。另外,监控平台可以选择其他方式展示日志

    2024年02月14日
    浏览(26)
  • ELK+FileBeat日志分析系统

    ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。 Elasticsearch是个开源分布式搜索引擎

    2024年02月08日
    浏览(33)
  • filebeat 日志切割后偏移量重置

    1. [root@master log]# cat test.log  111111111111 222222222222 333333333333 [root@master log]# stat test.log    File: ‘test.log’   Size: 39            Blocks: 8          IO Block: 4096   regular file Device: fd00h/64768d    Inode: 134304003   Links: 1 Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root) A

    2024年02月08日
    浏览(25)
  • filebeat->kafka>elk日志采集

    kafka常用命令 查看所有topic ./kafka-topics.sh --zookeeper 10.1.10.163:2181 --list 查看kafka中指定topic的详情 ./kafka-topics.sh --zookeeper 10.1.10.163:2181 --topic ai_jl_analytic --describe 查看消费者consumer的group列表 ./kafka-consumer-groups.sh --bootstrap-server 10.1.10.163:9092 --list 创建topic ./kafka-topics.sh --create --zooke

    2024年02月10日
    浏览(31)
  • filebeat kibana elasticsearch 日志监控

    解压三个压缩包 一、filebeat的安装部署 1、打开filebeat的配置文件 2、Filebeat inputs 处打开日志输入开关,设置要监控的路径  3、Outputs 输出中设置Elasticsearch output的输出地址 4、配置kibana 的地址 5、执行  ./filebeat setup -e 二、Elasticsearch 安装部署 1、修改配置文件  2、添加如下内

    2024年02月14日
    浏览(27)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包