部署Filebeat收集日志并转发到Elasticsearch-Toy模板网

这篇具有很好参考价值的文章主要介绍了部署Filebeat收集日志并转发到Elasticsearch。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Filebeat用于日志收集和传输，相比Logstash更加轻量级和易部署，对系统资源开销更小，如果对于日志不需要进行过滤分析的，可以直接使用filebeat。

拉取镜像：

docker pull elastic/filebeat:7.5.1

启动

docker run -d --name=filebeat elastic/filebeat:7.5.1

拷贝容器中的数据文件到宿主机

docker cp filebeat:/usr/share/filebeat /data/elk7/

chmod 777 -R /data/elk7/filebeat

chmod go-w /data/elk7/filebeat/filebeat.yml

修改配置文件中的elasticsearch地址

vim filebeat.yml

# 收集系统日志
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/messages

filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false

processors:
- add_cloud_metadata: ~
- add_docker_metadata: ~

output.elasticsearch:
  hosts: '120.48.54.67:9002'
  indices:
    - index: "filebeat-%{+yyyy.MM.dd}"

重新启动

先删除之前的容器

docker rm -f filebeat

重启容器

docker run -d  --name=filebeat --restart=always -v /data/elk7/filebeat:/usr/share/filebeat -v /var/log/messages:/var/log/messages  elastic/filebeat:7.5.1

访问elasticsearch head:

filebeat采集日志直接到es,docker k8s harbor gitlab,mongodb，ElasticSearch,日志收集性能监控工具,elasticsearch,搜索引擎,elk

访问kibana，创建索引：

filebeat采集日志直接到es,docker k8s harbor gitlab,mongodb，ElasticSearch,日志收集性能监控工具,elasticsearch,搜索引擎,elk

这样就可以实现动态收集日志的功能了，但是这样有一点风险，logstash采集本地log4j产生的日志，然后输入进es里，如果吞吐量太大的时候es可能会扛不住，所以最好需要一个高吞吐量的消息队列做一个缓冲，做削峰和异步处理，提升系统性能。推荐使用kafka消息队列。文章来源地址https://www.toymoban.com/news/detail-595263.html