Docker ELK 监控日志(附yml)

这篇具有很好参考价值的文章主要介绍了Docker ELK 监控日志(附yml)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一  安装docker-commpose

二  编写yml文件

2.1 docker配置文件

2.2 filebeat配置文件

2.3  kibana配置文件

三 运行启动

四  打开kibana


一  安装docker-commpose

可以看我之前的docker文章

二  编写yml文件

2.1 docker配置文件

使用的7.17.9版本 ,请保持保证版本一至,ES8.X以上版本需要验证,配置不相同,如需要可以需要添加验证

  •  创建es01 es02 filebeat  kibana 容器
version: '2.2'
services:
  es01:
    image: elasticsearch:7.17.9
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data01:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - elastic
    restart: always
  es02:
     image: elasticsearch:7.17.9
     container_name: es02
     environment:
       - node.name=es02
       - cluster.name=es-docker-cluster
       - discovery.seed_hosts=es01,es03
       - cluster.initial_master_nodes=es01,es02,es03
       - bootstrap.memory_lock=true
       - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
     ulimits:
       memlock:
         soft: -1
         hard: -1
     volumes:
       - data02:/usr/share/elasticsearch/data
     networks:
       - elastic
     restart: always

 
  kibana:
    depends_on:
      - es01
    container_name: kibana
    image: kibana:7.17.9
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /root/docker-elk/kibana.yml:/usr/share/kibana/config/kibana.yml
      - data02:/usr/share/kibana/data
    ports:
      - 5601:5601
    environment:
      - SERVER_NAME=kibana
#     - ELASTICSEARCH_HOSTS= '["http://es01:9200","http://es02:9200","http://es03:9200"]'
#     - xpack.monitoring.ui.container.elasticsearch.enabled:true
    networks:
      - elastic
    mem_limit: 2G
    restart: always

  filebeat:
#    depends_on:
#      - es01
#      - es02
#      - es03
    image: filebeat:7.17.9
    user: root
    container_name: filebeat
    volumes:
      - /var/log/audit/audit.log:/message.log
      - /root/docker-elk/filebeat.yml:/usr/share/filebeat/filebeat.yml
    networks:
      - elastic
 
    restart: always
volumes:
  data01:
    driver: local
  data02:
    driver: local

networks:
  elastic:
    driver: bridge

2.2 filebeat配置文件

filebeat.inputs:
- type: filestream
  id: my-audit-id
  paths:
    - /message.log  
##与docker文件中需要监控的日志对应
  tags: ["audia"]
  include_lines: ['key="ko"', 'type=CWD', 'type=PATH'] 
##只选择有type=CWD ...  的文件

output.elasticsearch:
  hosts: ["es01:9200","es02:9200"]
  indices:
    - index: "Audit-%{+yyy.MM.dd}"
      when.contains:
        tags: "audia"
#设置索引名称
setup.template.name: "audit-yingji"
##设置索引匹配模式
setup.template.pattern: "audit-yingji*"
##警用索引生命周期管理
setup.ilm.enabled: false
##覆盖已有的索引模板
setup.template.overwrite: false
setup.template.settings:
 index.number_of_shards:  2
 index.number_of_replicas:  1

2.3  kibana配置文件

#
# ** THIS IS AN AUTO-GENERATED FILE **
#

# Default Kibana configuration for docker target
server.host: "0.0.0.0"
server.shutdownTimeout: "5s"
elasticsearch.hosts: ["http://es01:9200"]
monitoring.ui.container.elasticsearch.enabled: true
#il8n.locale: "zh-CN"
i18n.locale: "zh-CN" ##设置中文

三 运行启动

docker—commpose up -d 
##我是启动后 es01 和 es02 一直重启  查看容器日志
docker logs es01

ES启动时出现异常报错:max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

#修改文件

vim /etc/sysctl.conf

#添加参数

...

vm.max_map_count = 262144

#重新加载/etc/sysctl.conf配置

sysctl -p 立即生效

四  打开kibana

Docker ELK 监控日志(附yml)

 文章来源地址https://www.toymoban.com/news/detail-450623.html

到了这里,关于Docker ELK 监控日志(附yml)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • docker compose 部署ELK 8.X及监控

    安装docker 安装docker-compose 相关版本: ES:8.5.0 kibana:8.5.0 logstash:8.5.0 数据存储映射路径配置777权限 es配置文件 数据存储映射路径配置777权限 logstash配置文件 日志文件配置 pipelines配置文件 配置logstash数据处理流程,依据实际项目需求配置,此处以input为kafka,output为es举例

    2024年02月07日
    浏览(38)
  • docker搭建Elk+Kafka+Filebeat分布式日志收集系统

    目录 一、介绍 二、集群环境 三、ES集群 四、Kibana  五、Logstash 六、Zookeeper 七、Kafka 八、Filebeat 八、Nginx (一)架构图  (二)组件介绍 1.Elasticsearch 是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎,基于

    2024年02月04日
    浏览(52)
  • docker安装canal1.1.5监控mysql的binlog日志并配置rocketmq进行数据同步到elasticsearch(超级大干货)

    1、直接拉取canal镜像 2、创建canal文件夹,用来存在容器挂载到宿主机的目录或文件(注:本实例在/home下操作) 3、先启动canal容器,把需要挂载的目录都copy出来,本例子只挂载了conf和logs目录(自己还想挂载啥东西就进去容器里面看看呗,docker exec -it canal /bin/bash)   4、第

    2024年02月07日
    浏览(48)
  • Loki+Grafana监控docker容器日志

    目标:最近开发人员时常需要查看各个环境项目中容器日志,而直接通过ssh终端使用docker logs命令查看日志不太安全,这会导致很多人员知道服务器的账户和密码,有没有一种可以收集所有容器日志的平台系统。那么这套系统就是Loki+Grafana组合。 重要提醒 :不要用于生产环境

    2024年02月12日
    浏览(44)
  • 使用 Docker Compose V2 快速搭建日志分析平台 ELK (Elasticsearch、Logstash 和 Kibana)

    ELK 是指 Elasticsearch、Logstash 和 Kibana 这三个开源软件的组合。 Elasticsearch 是一个分布式的搜索和分析引擎,用于日志的存储,搜索,分析,查询。 Logstash 是一个数据收集、转换和传输工具,用于收集过滤和转换数据,然后将其发送到 Elasticsearch 或其他目标存储中。 Kibana 是一个数

    2024年01月20日
    浏览(54)
  • docker filebeat 将日志多级目录和多维json数据日志同步到es

    使用的时候先调试调试配置,调试成功在尝试写入es,如果es写入失败就是es账户.密码/白名单.和index未创建的问题,细节可以留言 setup.template.priority 模板优先级 调整这个可以配置一台机器多个filebeat 容器启动 多级目录日志和多维josn日志结构 以docker形式启动filebeat filebeat 配置 

    2024年01月17日
    浏览(35)
  • Docker 搭建Loki+promtail+grafana日志监控

    经过一周的踩坑摸索,终于搭建了一套属于自己的日志监控系统,如有不到之处,还望各位不吝赐教。 来,上手开始!!! 1)新建配置文件  配置文件内容如下: 2)启动容器 创建文件并授权 启动 我这里设置了2G内存,各位按照实际情况分配 验证: 返回分别如下图:  

    2024年02月06日
    浏览(52)
  • 「快学Docker」监控和日志记录容器的健康和性能

    1. 容器健康状态监控 方法1:需要实时监测容器的运行状态,包括 CPU 使用率、内存占用、网络流量等指标。 方法2:使用容器编排工具(如 Docker Compose 或 Kubernetes)来设置容器的健康检查,确保异常容器能够被及时重新部署或替换。 方法3:利用 Docker 自带的健康检查机制或第

    2024年02月05日
    浏览(40)
  • 3节点ubuntu24.04服务器docker-compose方式部署高可用elk+kafka日志系统并接入nginx日志

    节点名称 IP 部署组件及版本 配置文件路径 机器CPU 机器内存 机器存储 Log-001 10.10.100.1 zookeeper:3.4.13 kafka:2.8.1 elasticsearch:7.7.0 logstash:7.7.0 kibana:7.7.0 zookeeper:/data/zookeeper kafka:/data/kafka elasticsearch:/data/es logstash:/data/logstash kibana:/data/kibana 2*1c/16cores 62g 50g 系统 800g 数据盘 Log-002 10.10.10

    2024年04月27日
    浏览(46)
  • ELK日志监控分析系统

    那么,ELK 到底是什么呢? “ELK”是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如 Elasticsearch 等“存储库”

    2024年02月15日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包