Filebeat入门及使用-5 读取nginx日志,写入ES,并用kibana展示

这篇具有很好参考价值的文章主要介绍了Filebeat入门及使用-5 读取nginx日志,写入ES,并用kibana展示。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1 安装nginx,并找到nginx的日志目录,步骤3要使用

2 配置Filebeat的module,在Filebeat中,有大量的module,如mysql,kafka,redis,nginx等,可以简化我们的配置,方便使用。

查看Filebeat支持模块
命令:./filebeat modules list

启动Nginx模块
启动命令:./filebeat modules enable nginx
禁用命令:./filebeat modules disable nginx

3 配置modules.d/nginx.yml文件,指定access.log 和 error.log 的地址

- module: nginx
  # Access logs
  access:
    enabled: true
    var.paths: ["/usr/local/nginx/logs/access.log*"]

  # Error logs
  error:
    enabled: true
    var.paths: ["/usr/local/nginx/logs/error.log*"]

4 新建读取nginx的配置文件 a_nginx.yml

# 输入
filebeat.inputs:

# 增加标签
tags: ["nginx10"]

# 指定索引的分区数
setup.template.settings:
  index.number_of_shards: 1

# 使用 filebeat modules
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

# 设置kibana端点
setup.kibana:
  # kibana主机
  host: "127.0.0.1:5601"
  # 选项为:http或 https。默认值为http。
  protocol: "http"
  # 连接到Kibana的基本身份验证用户名。默认为Elasticsearch输出配置
  # username
  # 连接到Kibana的基本身份验证密码。默认为Elasticsearch输出配置
  # password
  # kibana路径
  # path:
# 启用kibana仪表板
setup.dashboards.enabled: true

# 输出到指定ES的配置
output.elasticsearch:
  hosts: ["127.0.0.1:9200"]

5 运行 ./filebeat -e -c a_nginx.yml

6 测试,访问nginx主页后,ES中效果如下
Filebeat入门及使用-5 读取nginx日志,写入ES,并用kibana展示

另外,有些低版本的ES,可能会报出以下错误,如下,需要安装相关的jar到ES目录中,方法到网上找.
Elasticsearch nodes:
sudo bin/elasticsearch-plugin install ingest-user-agent
sudo bin/elasticsearch-plugin install ingest-geoip文章来源地址https://www.toymoban.com/news/detail-411159.html

到了这里,关于Filebeat入门及使用-5 读取nginx日志,写入ES,并用kibana展示的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ELK实例----使用filebeat收集tomcat日志到ES并利用kibana展示

    节点名称 节点名称 ip地址 kibana kibana 10.0.0.100 elasticsearch elasticsearch 10.0.0.101 filebeat filebeat 10.0.0.102 elasticsearch、Kibana、metricbeat、filebeat版本要一致,如都是7.17.5版本 1.2.1 安装elasticsearch CPU 2C 内存4G或更多 1.2.2 安装 Kibana 1.2.3 安装metricbeat 1.2.3 安装filebeat 1.2.4 安装Nginx 1.2.5 安装t

    2024年02月09日
    浏览(53)
  • filebeat采集日志数据到kafka(一)(filebeat->kafka->logstash->es)

    一、filebeat安装 filebeat-kafka版本适配 1、安装包下载 https://www.elastic.co/cn/downloads/past-releases#filebeat 解压 2、新建yml配置文件,如test.yml 3、Filebeat启动和停止 启动:./filebeat -c test.yml 停止:kill -9 PID

    2024年02月16日
    浏览(89)
  • docker filebeat 将日志多级目录和多维json数据日志同步到es

    使用的时候先调试调试配置,调试成功在尝试写入es,如果es写入失败就是es账户.密码/白名单.和index未创建的问题,细节可以留言 setup.template.priority 模板优先级 调整这个可以配置一台机器多个filebeat 容器启动 多级目录日志和多维josn日志结构 以docker形式启动filebeat filebeat 配置 

    2024年01月17日
    浏览(35)
  • EFLK日志平台(filebeat-->kafka-->logstash-->es-->kiabana)

    ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。 1. es安装(单节点部署) 前提 安装 2.es web 查看 浏览器访问 http://esIP:9200 或者本地访问curl ‘http://localhost:9200/?pretty’ 安

    2024年02月10日
    浏览(37)
  • Nginx监控安装:Filebeat+ES+Grafana(全)

    ’ $remote_user’ ’ [$time_local]’ ’ “$request”’ ’ $status’ ’ $body_bytes_sent’ ’ “$http_referer”’ ’ “$http_user_agent”’ ’ “$http_x_forwarded_for”’ ’ $upstream_response_time’ ’ $upstream_addr’; access_log logs/access.log main; upstream gateway_pool { server 106.12.129.14:9200; } server { listen 80; #this

    2024年04月15日
    浏览(30)
  • 【微服务】日志搜集es+kibana+filebeat+redis+logstash(单机)

    日志搜集系统搭建 基于7.17.16版本 ps: 项目是toB的,日志量不大 7.17.16版本。8.x版本需要JDK11 java8 elastic 软件不能以root用户启动,需要创建用户 redis elasticsearch kibana logstash filebeat 下载tar包,解压即可 es部署 配置ES_JAVA_HOME 略 elasticsearch.yml 修改config/elasticsearch.yml中参数 系统参数

    2024年01月16日
    浏览(43)
  • filebeat 采集k8s 中nginx deployment 日志

    一、背景 在k8s集群中,已经部署了nginx应用,需要使用elk来收集日志。 注意:elk并没有放在k8s集群中,使用单独的服务器进行安装。不推荐elk放在k8s集群中! 其中filebeat,使用DaemonSet方式部署,这样就可以自动收集了。 操作系统:centos 7.6 k8s版本:1.18.1 ip地址:10.212.82.63 配

    2024年02月13日
    浏览(38)
  • 5、Elasticsearch7.6.1 filebeat介绍及收集kafka日志到es示例

    1、介绍lucene的功能以及建立索引、搜索单词、搜索词语和搜索句子四个示例实现 2、Elasticsearch7.6.1基本介绍、2种部署方式及验证、head插件安装、分词器安装及验证 3、Elasticsearch7.6.1信息搜索示例(索引操作、数据操作-添加、删除、导入等、数据搜索及分页) 4、Elasticsearch7

    2024年02月16日
    浏览(50)
  • Nginx监控安装:Filebeat+ES+Grafana,阿里创新发布《新高并发宝典》

    server_names_hash_bucket_size 128; large_client_header_buffers 4 32k; fastcgi_intercept_errors on; proxy_intercept_errors on; underscores_in_headers on; client_header_timeout 15s; client_body_timeout 15s; client_max_body_size 100m; client_body_buffer_size 2m; client_header_buffer_size 256k; #keepalive_timeout 0; keepalive_timeout 90s; keepalive_requests 2000

    2024年04月28日
    浏览(33)
  • python读取、写入以及删除es数据

    最近这段时间被es所困扰,庆幸最终学会了python操作es,怕以后忘记了,把代码放出来: 1.python读取es数据 2.python删除es数据: 3.python读取txt文档,再写入数据:

    2024年02月12日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包