【ELFK】Filebeat+ELK 部署

这篇具有很好参考价值的文章主要介绍了【ELFK】Filebeat+ELK 部署。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Filebeat+ELK 部署

【ELFK】Filebeat+ELK 部署,elk

在 Filebeat 节点上操作

环境准备
Node1节点(2C/4G):node1/192.168.67.11        Elasticsearch  Kibana
Node2节点(2C/4G):node2/192.168.67.12        Elasticsearch
Apache节点:apache/192.168.67.10               Logstash  Apache
Filebeat节点:filebeat/192.168.67.13           Filebeat

systemctl stop firewalld
systemctl enable firewalld
setenforce 0

【ELFK】Filebeat+ELK 部署,elk

1)安装 Filebeat

#上传软件包 filebeat-6.2.4-linux-x86_64.tar.gz 到/opt目录

[root@filebeat opt]# rz -E
rz waiting to receive.
[root@filebeat opt]# ls
filebeat-6.6.1-x86_64.rpm  rh

【ELFK】Filebeat+ELK 部署,elk

解压
rpm -ivh filebeat-6.6.1-x86_64.rpm

rpm 默认会安装到/etc/ 目录下;tar安装的filebeat 文件要移动到/user/local/ 下 

【ELFK】Filebeat+ELK 部署,elk

2)设置 filebeat 的主配置文件
先备份再修改
cd /etc/filebeat/
cp filebeat.yml filebeat.yml.bak

【ELFK】Filebeat+ELK 部署,elk

修改filebeat.yml 配置文件
vim filebeat.yml

filebeat.prospectors:
#指定 log 类型,从日志文件中读取消息
- type: log
  #设置开机自启
  enabled: true
  paths:
    #指定监控的日志文件
    - /var/log/messages
    - /var/log/*.log
  #可以使用 fields 配置选项设置一些参数字段添加到 output 中
  fields:
    #添加服务器名称、类型和id
    service_name: filebeat
    log_type: log
    service_id: 192.168.67.13

--------------Elasticsearch output-------------------
(全部注释掉)

----------------Logstash output---------------------
output.logstash:
  hosts: ["192.168.67.10:5044"]      #指定 logstash 的 IP 和端口

1【ELFK】Filebeat+ELK 部署,elk
1【ELFK】Filebeat+ELK 部署,elk
1【ELFK】Filebeat+ELK 部署,elk
1【ELFK】Filebeat+ELK 部署,elk
1【ELFK】Filebeat+ELK 部署,elk

启动 filebeat
#启动filebeat服务
systemctl start filebeat.service 
#设置开机自启
systemctl enable filebeat.service 

【ELFK】Filebeat+ELK 部署,elk

报错:filebeat服务起不来

原因因为我用rpm安装后将filebeat文件移动到了/usr/local/下

【ELFK】Filebeat+ELK 部署,elk

查看日志:less /var/log/messages
                提示/etc/ 目录下没有filebeat文件

【ELFK】Filebeat+ELK 部署,elk

 解决:将filebeat文件移动回来后,启动成功

【ELFK】Filebeat+ELK 部署,elk 

#使用tar安装时用下面的命令启动filebeat

./filebeat -e -c filebeat.yml

4)在 Logstash 组件所在节点上新建一个 Logstash 配置文件
cd /etc/logstash/conf.d
vim /etc/logstash/conf.d/fb_logstash.conf

input {
  beats {
    #收集filebeat的5044端口数据
    port => "5044"
  }
}
output {
  elasticsearch {
    hosts => ["192.168.67.11:9200"]
    index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
  }
  stdout {
    codec => rubydebug
  }
}

【ELFK】Filebeat+ELK 部署,elk

启动 logstash
logstash -f fb_logstash.conf


#指定数据存放路径
logstash -f kafka.conf --path.data=/opt
#绝对路径启动
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/fb_logstash.conf

【ELFK】Filebeat+ELK 部署,elk

报错:

【ELFK】Filebeat+ELK 部署,elk

ps:

确保es服务启动

cd /usr/local/src/elasticsearch-head/
npm run start &

#查看es是否启动

jobs

【ELFK】Filebeat+ELK 部署,elk

5)浏览器访问
http://192.168.67.11:9100/

【ELFK】Filebeat+ELK 部署,elk

浏览器访问http://192.168.67.11:5601 登录 Kibana

http://192.168.67.11:5601

单击“Create Index Pattern”按钮添加索引“filebeat-*”,单击 “create” 按钮创建,单击 “Discover” 按钮可查看图表信息及日志信息。

【ELFK】Filebeat+ELK 部署,elk

【ELFK】Filebeat+ELK 部署,elk文章来源地址https://www.toymoban.com/news/detail-851936.html

到了这里,关于【ELFK】Filebeat+ELK 部署的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ELK集群部署---LogStash,Filebeat的部署

    1.  环境规划: 主机名 IP地址 角色 node1 192.168.56.111 ElasticSearch(master) Zookeeper Kafka node2 192.168.56.112 ElasticSearch(slave) Kibana Zookeeper Kafka node3 192.168.56.113 ElasticSearch(slave) Zookeeper Kafka node4 192.168.56.114 Logstash Filebeat

    2023年04月18日
    浏览(40)
  • 【ELK 使用指南 1】ELK + Filebeat 分布式日志管理平台部署

    在运维中, 日志是非常重要的工具 ,用于记录系统、应用程序或设备的运行状态、事件和异常情况。 1)故障排除和问题诊断 日志是排查故障和诊断问题的关键信息源。 通过分析日志文件,可以查找和定位系统故障、错误和异常,帮助运维人员迅速找出问题的根本原因,并

    2024年02月07日
    浏览(47)
  • 部署ELK+Kafka+Filebeat日志收集分析系统

    ELK是三个软件的统称,即Elasticsearch、Logstash和Kibana三个开源软件的缩写。这三款软件都是开源软件,通常配合使用,并且都先后归于Elastic.co企业名下,故被简称为ELK协议栈。ELK主要用于部署在企业架构中,收集多台设备上多个服务的日志信息,并将其统一整合后提供给用户。

    2024年02月16日
    浏览(37)
  • ELK安装、部署、调试(五)filebeat的安装与配置

    logstash 也可以收集日志,但是数据量大时太消耗系统新能。而filebeat是轻量级的,占用系统资源极少。 Filebeat 由两个主要组件组成:harvester 和 prospector。 采集器 harvester 的主要职责是读取单个文件的内容。读取每个文件,并将内容发送到 the output。 每个文件启动一个 harveste

    2024年02月10日
    浏览(40)
  • k8s部署elk+filebeat;springCloud集成elk+filebeat+kafka+zipkin实现多个服务日志链路追踪聚合到es

    如今2023了,大多数javaweb架构都是springboot微服务,一个前端功能请求后台可能是多个不同的服务共同协做完成的。例如用户下单功能,js转发到后台 网关gateway服务 ,然后到 鉴权spring-sercurity服务 ,然后到 业务订单服务 ,然后到 支付服务 ,后续还有发货、客户标签等等服务

    2024年02月16日
    浏览(43)
  • 【ELK 使用指南 3】Zookeeper、Kafka集群与Filebeat+Kafka+ELK架构(附部署实例)

    分布式应用管理框架 。 Zookeeper是个开源的,分布式的,为分布式框架提供协调服务的Apach项目。 主要用于解决分布式应用集群中 应用系统的一致性问题 。 作为 文件系统 ,用于注册各种分布式应用, 储存管理分布式应用的元信息 ; 作为 通知机制 ,如果节点或者服务本身的

    2024年02月08日
    浏览(57)
  • 分布式运用之Filebeat+Kafka+ELK 的服务部署

    Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic 的。 topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该 log 文件末端,

    2024年02月06日
    浏览(44)
  • Zookeeper、Kafka集群与Filebeat+Kafka+ELK架构、部署实例

    Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。 Zookeeper:一个领导者(Leader),多个跟随者(Follower)组成的集群。 Zookeeper集群中只要有半数以上节点存活,Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。 全局数据一致:每个Server保

    2024年02月08日
    浏览(48)
  • 私有部署ELK,搭建自己的日志中心(二)-- filebeat的介绍与安装

    在搭建ELK系统之前,你有必要去了解下,为何大家在agent端普遍青睐filebeat,而把logstash放置于更加靠后端。 轻量级的filebeat,作为agent角色,是安装在每台虚拟机上。 filebeat的学习分为两大部分: 安装(二进制或docker) 配置文件filebeat.yml 本文主要介绍docker安装方式,对于其

    2024年02月03日
    浏览(59)
  • 【分布式应用】Filebeat+ELK 部署、logstash filter四大过滤插件

    节点 IP 组件 Node1节点(2C/4G) node1/192.168.243.100 Elasticsearch Node2节点(2C/4G) node2/192.168.243.102 Elasticsearch Apache节点 apache/192.168.8243.103 Logstash Kibana Apache Filebeat节点 filebeat/192.168.243.104 Filebeat 1.1.1安装 Filebeat 1.1.2设置 filebeat 的主配置文件 1.1.3 在 Logstash 组件所在节点上新建一个 Lo

    2024年02月13日
    浏览(90)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包