Logstash Logback Encoder实现ELK日志归集

这篇具有很好参考价值的文章主要介绍了Logstash Logback Encoder实现ELK日志归集。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

写在前面

搭建SpringCloud平台日志归集方案,主要使用Logstash Logback Encoder组件实现。
主要分为运维相关的配置和开发相关的配置,具体分类无需纠结,都了解一遍即可。
不足之处,各位大神指出,感谢~

运维相关配置

Elasticsearch配置

  • 新建Index Templates,Mapping参考值如下,具体参考值可参考 Logstash Logback Encoder
{
  "_doc": {
    "_meta": {},
    "_source": {},
    "properties": {
      "appname": {
        "type": "text"
      },
      "stacktrace": {
        "type": "text"
      },
      "level": {
        "type": "text"
      },
      "port": {
        "type": "integer"
      },
      "service": {
        "type": "text"
      },
      "logger": {
        "type": "text"
      },
      "host": {
        "type": "text"
      },
      "thread": {
        "type": "text"
      },
      "levelVal": {
        "coerce": true,
        "index": true,
        "ignore_malformed": false,
        "store": false,
        "type": "integer",
        "doc_values": true
      },
      "message": {
        "type": "text"
      }
    }
  }
}
kibana相关配置

建立Index patterns。根据Elastic search的索引规则配置,建立Kibana的Index patterns。文章来源地址https://www.toymoban.com/news/detail-509386.html

logstash配置
  • logstash.conf配置文件,新增logstash.conf文件,内容如下
input {
tcp {
    mode => "server"
    port => 4561  # nacos指定的端口
    codec => json_lines
}
}

output {  
# stdout { codec => rubydebug } # 调试时开启,线上关闭
  if [platform] == "projectName" {
    elasticsearch {
        hosts => "elasticsearch:9200"
        index => "projectName-platform-%{+yyyy-MM-dd}"
    }
  }  
}
  • logstash启动命令
bin/logstash -f logstash.conf
nacos项目配置文件
  • nacos项目级-配置方法
projectName:
  logstash:
    open: true        #配置是否开启ELK日志收集
    appname: model (设置自身项目appname)
    ip: 192.168.xxx.xxx  #Logstash地址
    port: 4561        #Logstash TCP端口

开发相关配置

Logback.xml配置文件
  • 增加Property配置
<springProp

到了这里,关于Logstash Logback Encoder实现ELK日志归集的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ELK集群 日志中心集群、kafka、logstash

    ES:用来日志存储 Logstash:用来日志的搜集,进行日志格式转换并且传送给别人(转发) Kibana:主要用于日志的展示和分析 kafka Filebeat:搜集文件数据 es-1 本地解析 vi /etc/hosts scp /etc/hosts es-2:/etc/hosts scp /etc/hosts es-3:/etc/hosts  yum -y install wget 安装配置jdk wget 8u191 scp -3 tar xf jdk-8u19

    2024年02月07日
    浏览(39)
  • ELK(Elasticsearch+Logstash+Kibana)日志分析系统

    目录 前言 一、ELK日志分析系统概述 1、三大组件工具介绍 1.1 Elasticsearch 1.1.1 Elasticsearch概念 1.1.2 关系型数据库和ElasticSearch中的对应关系 1.1.3 Elasticsearch提供的操作命令 1.2 Logstash 1.2.1 Logstash概念 1.2.2 Logstash的主要组件 1.2.3 Logstash主机分类 1.2.4 Logstash工作过程 1.3 Kiabana 2、

    2024年04月25日
    浏览(47)
  • ELK日志平台(elasticsearch+logstash+kibana)搭建

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 为了实现分布式日志数据统一收集,实现集中式查询和管理 故障排查 安全信息和事件管理 ELK 是三个开源项目的首字母缩写,这三个项目分别是: Elasticsearch 、 Logstash 和 Kibana 。 • Elasticsearch 是一个搜索

    2024年02月03日
    浏览(48)
  • elk(elasticsearch+logstash+kibana)搭建日志监控平台

    目录 elk架构原理 安装部署elasticsearch 什么是elasticsearch 创建elasticserch docker容器  安装部署kibana 什么是Kinana 创建Kibana docker容器         拉取镜像         创建配置文件:D:Programsdockerkibanakibana.yml          创建并运行kibana容器         验证登录kibana 安装部署logstash 什么

    2024年02月04日
    浏览(68)
  • ELK详解(十一)——Logstash收集日志不显示问题解决

    今天继续给大家介绍Linux运维相关知识,本文主要内容是Logstash能够收集日志,过程不报错,但是在收集日志后没有在Elasticsearch上显示索引问题的解决。 在进行Logstash配合Elasticsearch进行日志收集及展现的实战过程中,经常会遇到以下情况: 在Logstash日志收集过程中很顺利,也

    2024年02月15日
    浏览(40)
  • ELK企业级日志分析系统(elasticsearch+logstash+kibana)

    目录 一.ELK概述 1.定义 (1)ElasticSearch (2)Kiabana (3)Logstash (4)Filebeat 2.filebeat结合logstash带来好处 3.为什么要是用ELK? 4.完整日志系统基本特征 5.ELK 的工作原理 二.部署ELK 1.环境配置 2.ELK集群部署(node1、node2) 3.部署 Elasticsearch 软件 4.安装Elasticsearch-head 插件 (1)编译安

    2024年04月22日
    浏览(62)
  • ELK【elasticsearch+logstash+kibana】企业级日志分析系统

    ELK平台是一套完整的日志集中处理解决方案,将 elasticsearch、logstash 和 kiabana 三个开源工具配合使用,完成更加强大的用户对日志的查询、排序、统计需求。 ElasticSearch:是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。 Elasticsearch 是用

    2024年02月08日
    浏览(52)
  • 使用ELK(ES+Logstash+Filebeat+Kibana)收集nginx的日志

    书接上回:《ELK中Logstash的基本配置和用法》 默认情况下,Nginx的日志记录的是下面的格式: 在 nginx.conf 中也可以看到相关配置信息: 现在为了方便收集日志,我们把这里的格式改为 json格式,在 nginx.conf 中加入下面的内容: 以上配置是手动组装了一个json格式的配置信息。

    2024年02月11日
    浏览(48)
  • ELK 企业级日志分析系统(ElasticSearch、Logstash 和 Kiabana 详解)

    目录 一.ELK简介 1.1ELK的概述  1.2ELK的组成 1.2.1 ElasticSearch  1.2.2 Logstash 1.2.3 Kibana   1.2.4 小总结  1.3可以添加其他组件  1.4filebeat 结合 logstash 带来好处 1.5日志处理的步骤   二.Elasticsearch 2.1Elasticsearch概述  2.2Elasticsearch核心概念 2.2.1接近实时(NRT) 2.2.2cluster集群,ES是一个分布式

    2024年02月13日
    浏览(38)
  • 最近在搭建ELK日志平台时,logstash报错JSON parse error

    直接进入正题,我在搭建elk日志,使用最简单的log4j2 socket json格式 输出到logstash. 但是logstash报错如下: [WARN ] 2023-08-30 10:15:17.766 [nioEventLoopGroup-2-2] jsonlines - JSON parse error, original data now in message field {:message=“incompatible json object type=java.lang.String , only hash map or arrays are supported”

    2024年02月10日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包