graylog日志部署与使用

这篇具有很好参考价值的文章主要介绍了graylog日志部署与使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

简介

graylog是一个简单易用、功能较全面的日志管理工具,graylog也采用Elasticsearch作为存储和索引以保障性能,MongoDB用来存储少量的自身配置信息,master-node模式具有很好的扩展性,UI上自带的基础查询与分析功能比较实用且高效,支持LDAP、权限控制并有丰富的日志类型和标准(如syslog,GELF)并支持基于日志的报警。

docker部署

docker-compose.yml:

version: "3"
services:

  mongo:
    image: mongo:4.2
    command: --bind_ip 0.0.0.0
    ports:
      - "27700:27017"
    volumes:
      - /data/gray_log_test/mongo_data:/data/db
      - 
  elasticsearch:
    image: secureimages/elasticsearch-oss:7.10.2-alpine-3.13.2
    environment:
      - http.host=0.0.0.0
      - transport.host=localhost
      - network.host=0.0.0.0
    ulimits:
      memlock:
        soft: -1
        hard: -1
    deploy:
      resources:
        limits:
          memory: 1g

  graylog:
    image: graylog/graylog:4.2
    user: root
    env_file:
      - docker.env
    entrypoint: /usr/bin/tini -- wait-for-it elasticsearch:9200 --  /docker-entrypoint.sh
    depends_on:
      - mongo
      - elasticsearch
    ports:
      - "9001:9000"
      - "12201:12201"
      - "12201:12201/udp"
    volumes:
      - /data/gray_log_test/graylog_data:/usr/share/graylog/data
      - ./graylog.conf:/usr/share/graylog/data/config/graylog.conf

docker.env:

GRAYLOG_PASSWORD_SECRET=xxxxxxx
GRAYLOG_ROOT_PASSWORD_SHA2=xxxxxxx

TZ=Asia/Shanghai
ROOT_TIMEZONE=Asia/Shanghai
GRAYLOG_TIMEZONE=Asia/Shanghai

graylog.conf

is_master = true
node_id_file = /usr/share/graylog/data/config/node-id
root_timezone = Asia/Shanghai
bin_dir = /usr/share/graylog/bin
data_dir = /usr/share/graylog/data
plugin_dir = /usr/share/graylog/plugin
http_bind_address = 0.0.0.0:9000
elasticsearch_hosts = http://elasticsearch:9200
elasticsearch_max_docs_per_index = 20000000
elasticsearch_max_number_of_indices = 20
elasticsearch_shards = 4
elasticsearch_replicas = 0
elasticsearch_index_prefix = graylog
allow_leading_wildcard_searches = false
allow_highlighting = false
rotation_strategy = count
output_batch_size = 500
output_flush_interval = 1
output_fault_count_threshold = 5
output_fault_penalty_seconds = 30
processbuffer_processors = 5
outputbuffer_processors = 3
ring_size = 65536
inputbuffer_ring_size = 65536
inputbuffer_processors = 2
inputbuffer_wait_strategy = blocking
message_journal_enabled = true
message_journal_dir = data/journal
lb_recognition_period_seconds = 3
mongodb_uri = mongodb://mongo/graylog
mongodb_max_connections = 1000
mongodb_threads_allowed_to_block_multiplier = 5
proxied_requests_thread_pool_size = 32

使用docker-compose up -d 命令启动容器

使用

在浏览器中输入http://127.0.0.1:9001/, 用户名admin, 密码是自己文件配置的
graylog 工具配置和管理,后端,python,graylog
点击system->inputs, 选择select input->GELF HTTP(GELF UDP)->lanch new input,端口都选择在12201
graylog 工具配置和管理,后端,python,graylog

python写日志

python版本:python3.7.13
输入命令:

 pip install graypy

新建demo.py

import logging
import graypy
import time
my_logger = logging.getLogger('test_logger')
my_logger.setLevel(logging.DEBUG)
formatter = logging.Formatter(
    "%(asctime)s - %(threadName)s - %(levelname)s - %(pathname)s.%(funcName)s line %(lineno)d - %(message)s")

handler = graypy.GELFUDPHandler('127.0.0.1', 12201)
handler.setFormatter(formatter)
my_logger.addHandler(handler)

for i in range(1000):
    my_logger.warning(f'type:udp,index:{i}')

for i in range(1000):
    my_logger.warning(f'type:tcp,index:{i}')

查询

点击search,输入"type:udp",点击搜索,就可以查看到结果
graylog 工具配置和管理,后端,python,graylog文章来源地址https://www.toymoban.com/news/detail-665180.html

var code = "df968d80-7b2b-43cb-a734-a36ce1c4be9a"

到了这里,关于graylog日志部署与使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Graylog日志查询超过10000限制问题

    在使用graylog时,默认分页查询存在限制,真实使用不能满足,需要我们手动处理。当查询超过执行长度时,会出现一下错误提示 问题描述 查询超过 10000 页, Elasticsearch 出现异常 解决方案 方案一:修改配置文件,重启 Elasticsearch 服务【 Elasticsearch5.x 版本以后不支持】 修改

    2024年02月04日
    浏览(57)
  • Centos7 安装Graylog 5.0收集网络设备运行日志+卸载GrayLog服务

    对于日志监控业界常用的有ELK、Loki、Graylog等系统,最近在做技术选型时,对比了各个系统的情况,Graylog的一体化方案很符合现有需求。Graylog算是轻量级的ELK,也有很多企业在使用Graylog查看日志和监控业务日志。Graylog中文资料相对较少,在技术选型和开发过程中对资料进行

    2024年02月06日
    浏览(89)
  • 利用logstash将graylog日志传输到kafka中

    在System-outputs,选择GELF Output,填写如下内容,其它选项默认 在要输出的Stream中,选择Manage Outputs 选择GELF Output,右边选择刚才创建好的test。 下载logstash,最新版就可以。 上传到服务器,编写test.conf配置文件,内容如下 运行logstash,输入以下命令 前提:安装好kafka集群, 创建

    2024年02月13日
    浏览(33)
  • 【Ubuntu】简洁高效企业级日志平台后起之秀Graylog

    Graylog 是一个用于集中式日志管理的开源平台。在现代数据驱动的环境中,我们需要处理来自各种设备、应用程序和操作系统的大量数据。Graylog提供了一种方法来聚合、组织和理解所有这些数据。它的核心功能包括流式标记、实时搜索、仪表板可视化、告警触发、内容包快速

    2024年02月12日
    浏览(47)
  • Centos7 安装Graylog 5.0收集网络设备运行日志

    对于日志监控业界常用的有ELK、Loki、Graylog等系统,最近在做技术选型时,对比了各个系统的情况,Graylog的一体化方案很符合现有需求。Graylog算是轻量级的ELK,也有很多企业在使用Graylog查看日志和监控业务日志。Graylog中文资料相对较少,在技术选型和开发过程中对资料进行

    2023年04月13日
    浏览(35)
  • 利用logstash/filebeat/插件,将graylog日志传输到kafka中

    在System-outputs,选择GELF Output,填写如下内容,其它选项默认 在要输出的Stream中,选择Manage Outputs 选择GELF Output,右边选择刚才创建好的test。 下载logstash,最新版就可以。 上传到服务器,编写test.conf配置文件,内容如下 运行logstash,输入以下命令 前提:安装好kafka集群, 创建

    2024年02月13日
    浏览(43)
  • 【ELK 使用指南 1】ELK + Filebeat 分布式日志管理平台部署

    在运维中, 日志是非常重要的工具 ,用于记录系统、应用程序或设备的运行状态、事件和异常情况。 1)故障排除和问题诊断 日志是排查故障和诊断问题的关键信息源。 通过分析日志文件,可以查找和定位系统故障、错误和异常,帮助运维人员迅速找出问题的根本原因,并

    2024年02月07日
    浏览(53)
  • 中间平台工具 - graylog

    graylog是非常好用的数据处理平台,可以对数据进行:streams分类、pipeline、正则匹配、统计汇总、定制化配置Alerts 等处理。 graylog的一些概念: 索引(消息存储的位置,默认indices default) streams(从inputs里面,通过stream rules匹配某些字段条件,route to streams) 1,stream 如何与 inputs 消

    2024年02月12日
    浏览(38)
  • 【Docker管理工具】使用Docker部署portainer-ce管理工具

    Portainer是一个可视化的容器镜像的图形管理工具,利用Portainer可以轻松构建,管理和维护Docker环境。 而且完全免费,基于容器化的安装方式,方便高效部署。 Portainer Community Edition是一个用于容器化应用程序的轻量级服务交付平台,可用于管理 Docker、Swarm、Kubernetes 和 ACI 环境

    2024年02月19日
    浏览(58)
  • 使用代码生成工具快速开发应用-结合后端Web API提供接口和前端页面快速生成,实现通用的业务编码规则管理

    在前面随笔《在Winform应用中增加通用的业务编码规则生成》,我介绍了基于Winform和WPF的一个通用的业务编码规则的管理功能,本篇随笔介绍基于后端Web API接口,实现快速的Vue3+ElementPlus前端界面的开发整合,同样是基于代码生成工具实现快速的前端代码的生成处理。 在前面

    2024年02月04日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包