ELK之Filebeat安装配置及日志抓取

这篇具有很好参考价值的文章主要介绍了ELK之Filebeat安装配置及日志抓取。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ELK之Filebeat安装配置及日志抓取,ELK,elk,filebeat,日志抓取,日志采集器,安装配置

一、Filebeat是什么

轻量型日志采集器
无论您是从安全设备、云、容器、主机还是 OT 进行数据收集,Filebeat 都将为您提供一种轻量型方法,用于转发和汇总日志与文件,让简单的事情不再繁杂。
Filebeat 随附可观测性和安全数据源模块,这些模块简化了常见格式的日志的收集、解析和可视化过程,只需一条命令即可。之所以能实现这一点,是因为它将自动默认路径(因操作系统而异)与 Elasticsearch 采集节点管道的定义和 Kibana 仪表板组合在一起。不仅如此,Filebeat 的一些模块还随附了预配置的 Machine Learning 作业。

Filebeat工作的流程图如下:
ELK之Filebeat安装配置及日志抓取,ELK,elk,filebeat,日志抓取,日志采集器,安装配置

二、Filebeat 下载&安装

2.1 下载&安装

Filebeat下载地址:https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.4-linux-x86_64.tar.gz
下载后,解压tar -zxvf filebeat-7.17.4-linux-x86_64.tar.gz

[root@nb002 tools]# ls
elasticsearch-7.17.4-x86_64.rpm   logstash-7.17.4-linux-x86_64.tar.gz
filebeat-7.17.4-linux-x86_64.tar.gz  kibana-7.17.4-linux-x86_64.tar.gz
[root@nb002 tools]# tar -zxvf filebeat-7.17.4-linux-x86_64.tar.gz 
filebeat-7.17.4-linux-x86_64/filebeat.reference.yml
filebeat-7.17.4-linux-x86_64/filebeat.yml
filebeat-7.17.4-linux-x86_64/LICENSE.txt
filebeat-7.17.4-linux-x86_64/.build_hash.txt
filebeat-7.17.4-linux-x86_64/module/
filebeat-7.17.4-linux-x86_64/module/activemq/
filebeat-7.17.4-linux-x86_64/module/activemq/audit/
filebeat-7.17.4-linux-x86_64/module/activemq/audit/config/
……………省略一堆balabala…………………
filebeat-7.17.4-linux-x86_64/kibana/7/visualization/number-of-kafka-stracktraces-by-class-ecs.json
filebeat-7.17.4-linux-x86_64/filebeat
filebeat-7.17.4-linux-x86_64/NOTICE.txt
filebeat-7.17.4-linux-x86_64/fields.yml

解压后,目录如下:

[root@nb002 filebeat-7.17.4]# ll
总用量 136408
-rw-r--r--  1 root root   3780088 519 00:46 fields.yml
-rwxr-xr-x  1 root root 133695232 519 00:51 filebeat
-rw-r--r--  1 root root    170451 519 00:46 filebeat.reference.yml
-rw-------  1 root root      8348 519 00:46 filebeat.yml
drwxr-xr-x  3 root root        15 519 00:46 kibana
-rw-r--r--  1 root root     13675 518 23:28 LICENSE.txt
drwxr-xr-x 76 root root      4096 519 00:46 module
drwxr-xr-x  2 root root      4096 519 00:46 modules.d
-rw-r--r--  1 root root   1987715 518 23:28 NOTICE.txt
-rw-r--r--  1 root root       814 519 00:51 README.md

2.2 service方式启动

vim /usr/lib/systemd/system/filebeat.service :也就是在/usr/lib/systemd/system/下新建filebeat.service输入以下内容:
注意ExecStart的路径哈。

[Unit]
Description=Filebeat sends log files to Logstash or directly to Elasticsearch
Wants=network-online.target
After=network-online.target

[Service]
ExecStart=/data/filebeat-7.17.4/filebeat -c /data/filebeat-7.17.4/filebeat.yml
Restart=always

[Install]
WantedBy=multi-user.target

启动方式为:文章来源地址https://www.toymoban.com/news/detail-788449.html

systemctl daemon-reload
systemctl start filebeat

三、Filebeat 实时读取一个日志文件,输出到屏幕

3.1 修改filebeat的配置文件filebeat.yml

filebeat.inputs:
- type: filestream
  id: nginx-access-log
  enabled: true
  paths:
  # 表示去/tmp下读取所有.log文件
    - /tmp/*.log

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
  
setup.template.settings:
  index.number_of_shards: 1
  
# output to console
output

到了这里,关于ELK之Filebeat安装配置及日志抓取的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • filebeat->kafka>elk日志采集

    kafka常用命令 查看所有topic ./kafka-topics.sh --zookeeper 10.1.10.163:2181 --list 查看kafka中指定topic的详情 ./kafka-topics.sh --zookeeper 10.1.10.163:2181 --topic ai_jl_analytic --describe 查看消费者consumer的group列表 ./kafka-consumer-groups.sh --bootstrap-server 10.1.10.163:9092 --list 创建topic ./kafka-topics.sh --create --zooke

    2024年02月10日
    浏览(37)
  • 【ELK企业级日志分析系统】部署Filebeat+ELK详解

    接上文安装与部署ELK详解 (1)在Filebeat节点上,安装Apache服务 (2)修改Apache服务的配置文件 (3)开启Apache服务 (4)浏览器访问,验证Apache服务 (1) 安装Filebeat (2)设置filebeat的主配置文件 (3)启动filebeat (4)在Logstash组件所在节点上,新建一个Logstash配置文件(CentOS 7-3) (

    2024年02月16日
    浏览(42)
  • Elk+Filebeat+Kafka实现日志收集

    1.实验组件 2.安装前准备 3.安装Zookeeper 1.安装Kafka 2.命令行测试  1.安装Filebeat 2.时间同步 3.配置filebeat 4.配置logstash 1.安装配置filebeat 2.配置logstash

    2024年02月05日
    浏览(45)
  • 【ELK 使用指南 1】ELK + Filebeat 分布式日志管理平台部署

    在运维中, 日志是非常重要的工具 ,用于记录系统、应用程序或设备的运行状态、事件和异常情况。 1)故障排除和问题诊断 日志是排查故障和诊断问题的关键信息源。 通过分析日志文件,可以查找和定位系统故障、错误和异常,帮助运维人员迅速找出问题的根本原因,并

    2024年02月07日
    浏览(47)
  • Filebeat+Kafka+ELK日志采集(五)——Elasticsearch

    1、下载 2、解压: 3、配置 启动Elasticsearch,进入/bin目录下 ./elasticsearch ,不出意外的外会报以下错误: 报错1:能打开的文件或进程数太低。 解决方法: 修改/etc/security/limits.conf 配置文件,添加配置如下: 报错2: 解决方法: 修改/etc/sysctl.conf 配置文件,添加配置如下: 修

    2024年02月05日
    浏览(54)
  • ELFK——ELK结合filebeat日志分析系统(2)

    目录   一、filebeat  二、ELFK 1.原理简介 2.在ELK基础上部署filebeat         Filebeat,轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat,并指定目录与日志格式,Filebeat 就能快速收集数据,并发送给 logstash 进行解析,或是直接发给 Elasticsearch 存储

    2024年02月13日
    浏览(36)
  • 部署ELK+Kafka+Filebeat日志收集分析系统

    ELK是三个软件的统称,即Elasticsearch、Logstash和Kibana三个开源软件的缩写。这三款软件都是开源软件,通常配合使用,并且都先后归于Elastic.co企业名下,故被简称为ELK协议栈。ELK主要用于部署在企业架构中,收集多台设备上多个服务的日志信息,并将其统一整合后提供给用户。

    2024年02月16日
    浏览(37)
  • EFLFK——ELK日志分析系统+kafka+filebeat架构

    node1节点 192.168.40.16 elasticsearch 2c/4G node2节点 192.168.40.17 elasticsearch 2c/4G Apache节点 192.168.40.170 logstash/Apache/kibana 2c/4G filebeat节点 192.168.40.20 filebeat 2c/4G https://blog.csdn.net/m0_57554344/article/details/132059066?spm=1001.2014.3001.5501 接上期elk部署我们这次加一个filebeat节点   //准备 3 台服务器做

    2024年02月14日
    浏览(35)
  • k8s部署elk+filebeat;springCloud集成elk+filebeat+kafka+zipkin实现多个服务日志链路追踪聚合到es

    如今2023了,大多数javaweb架构都是springboot微服务,一个前端功能请求后台可能是多个不同的服务共同协做完成的。例如用户下单功能,js转发到后台 网关gateway服务 ,然后到 鉴权spring-sercurity服务 ,然后到 业务订单服务 ,然后到 支付服务 ,后续还有发货、客户标签等等服务

    2024年02月16日
    浏览(43)
  • 基于Filebeat、Kafka搭建ELK日志分析平台详细步骤

    写在前头:公司一直没有搭建一个支持实时查询日志的平台,平常看日志都得去服务器下载,大大降低开发效率,前段时间有大佬同事搭建了一款日志平台,支持sit,uat等各个环境的日志实时查询,大大提高bug定位速度。因对其感兴趣特向大佬请教,学习记录下搭建流程。 选

    2024年02月06日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包