ELK 企业级日志分析系统(二)

这篇具有很好参考价值的文章主要介绍了ELK 企业级日志分析系统(二)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

ELK Kiabana 部署(在 Node1 节点上操作)

1.安装 Kiabana

2.设置 Kibana 的主配置文件

 3.启动 Kibana 服务

4.验证 Kibana

 5.将 Apache 服务器的日志(访问的、错误的)

 添加Elasticsearch 并通过 Kibana 显示

 Filebeat+ELK 部署

在 filebeat 节点上操作

2.设置 filebeat 的主配置文件

 #启动 filebeat

4.在 Logstash 组件所在节点上新建一个 Logstash 配置文件


ELK Kiabana 部署(在 Node1 节点上操作)

1.安装 Kiabana


#上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录
[root@node1 ~]# cd /opt/
[root@node1 opt]# rpm -ivh kibana-5.5.1-x86_64.rpm

2.设置 Kibana 的主配置文件

vim /etc/kibana/kibana.yml
--2--取消注释,Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释,设置 Kiabana 的监听地址,0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释,设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.10.13:9200" 
--30--取消注释,设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"

 3.启动 Kibana 服务

systemctl start kibana.service
systemctl enable kibana.service

[root@node1 opt]# netstat -natp | grep 5601
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      100617/node         

4.验证 Kibana

浏览器访问 http://192.168.158.20:5601
第一次登录需要添加一个 Elasticsearch 索引:
Index name or pattern
//输入:system-*			#在索引名中输入之前配置的 Output 前缀“system”

单击 “create” 按钮创建,单击 “Discover” 按钮可查看图表信息及日志信息。
数据展示可以分类显示,在“Available Fields”中的“host”,然后单击 “add”按钮,可以看到按照“host”筛选后的结果

ELK 企业级日志分析系统(二),elk,linux,运维

 5.将 Apache 服务器的日志(访问的、错误的)

 添加Elasticsearch 并通过 Kibana 显示

[root@apache ~]# vim /etc/logstash/conf.d/apache_log.conf
input {
    file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
    }
    file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
    }
}
output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["192.168.158.20:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
	if [type] == "error" {
        elasticsearch {
            hosts => ["192.168.158.20:9200"]
            index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}
[root@apache ~]# cd /etc/logstash/conf.d/
 #启动文件
[root@apache conf.d]# }/usr/share/logstash/bin/logstash -f apache_log.conf
浏览器访问 http://192.168.158.20:9100 查看索引是否创建

ELK 企业级日志分析系统(二),elk,linux,运维

浏览器访问 http://192.168.158.20:5601 登录 Kibana,单击“Create Index Pattern”按钮添加索引, 在索引名中输入之前配置的 Output 前缀 apache_access-*,并单击“Create”按钮。在用相同的方法添加 apache_error-*索引。
选择“Discover”选项卡,在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引, 可以查看相应的图表及日志信息。

ELK 企业级日志分析系统(二),elk,linux,运维

 Filebeat+ELK 部署

Node1节点(2C/4G):node1/192.168.158.20					Elasticsearch  Kibana
Node2节点(2C/4G):node2/192.168.158.21					Elasticsearch
Apache节点:apache/192.168.158.22						Logstash  Apache
Filebeat节点:filebeat/192.168.158.23					Filebeat
[root@node4 ~]# systemctl stop firewalld  #关闭防火墙
[root@node4 ~]# setenforce 0
[root@node4 ~]# hostnamectl set-hostname filebeat  #改名
[root@node4 ~]# bash
 

在 filebeat 节点上操作

1.安装 Filebeat
#上传软件包 filebeat-6.2.4-linux-x86_64.tar.gz 到/opt目录
[root@filebeat opt]# tar zxvf filebeat-6.2.4-linux-x86_64.tar.gz
[root@filebeat opt]# mv filebeat-6.2.4-linux-x86_64/ /usr/local/filebeat

2.设置 filebeat 的主配置文件

[root@filebeat opt]# cd /usr/local/filebeat/

vim filebeat.yml
filebeat.prospectors:
- type: log         #指定 log 类型,从日志文件中读取消息
  enabled: true
  paths:
    - /var/log/messages       #指定监控的日志文件
    - /var/log/*.log
  fields:           #可以使用 fields 配置选项设置一些参数字段添加到 output 中
    service_name: filebeat
    log_type: log
    service_id: 192.168.10.16

--------------Elasticsearch output-------------------
(全部注释掉)

----------------Logstash output---------------------
output.logstash:
  hosts: ["192.168.10.15:5044"]      #指定 logstash 的 IP 和端口

#启动 filebeat
./filebeat -e -c filebeat.yml

ELK 企业级日志分析系统(二),elk,linux,运维

ELK 企业级日志分析系统(二),elk,linux,运维

 #启动 filebeat

[root@filebeat filebeat]# ./filebeat -e -c filebeat.yml

ELK 企业级日志分析系统(二),elk,linux,运维

4.在 Logstash 组件所在节点上新建一个 Logstash 配置文件

[root@apache conf.d]# vim logstash.conf

ddvim logstash.conf
input {
    beats {
        port => "5044"
    }
}
output {
    elasticsearch {
        hosts => ["192.168.158.20:9200"]
        index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
    }
    stdout {
        codec => rubydebug
    }
}


#启动 logstash
logstash -f logstash.conf

5.浏览器访问 http://192.168.10.13:5601 登录 Kibana,单击“Create Index Pattern”按钮添加索引“filebeat-*”,单击 “create” 按钮创建,单击 “Discover” 按钮可查看图表信息及日志信息。


ELK 企业级日志分析系统(二),elk,linux,运维文章来源地址https://www.toymoban.com/news/detail-632894.html

到了这里,关于ELK 企业级日志分析系统(二)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ELK 企业级日志分析系统(一)

    服务器数量较少时 使用 rsyslog 或 脚本 收集、分割日志,统一汇总到专门存放日志的日志服务器保存管理。 (查看日志可把需要的日志文件传输到 windows 主机上,使用专业的文本工具打开分析日志) 服务器数量较多时 使用 ELK 收集日志,存储日志,展示日志。 日志主要包括

    2024年02月16日
    浏览(37)
  • ELK 企业级日志分析系统(四)

    1.下载安装包 官方下载地址:http://kafka.apache.org/downloads.html cd /opt wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.1/kafka_2.13-2.7.1.tgz 2.安装 Kafka cd /opt/ tar zxvf kafka_2.13-2.7.1.tgz mv kafka_2.13-2.7.1 /usr/local/kafka //修改配置文件 cd /usr/local/kafka/config/ cp server.properties{,.bak} vim server.properties br

    2024年02月16日
    浏览(33)
  • 【ELK企业级日志分析系统】安装与部署ELK详解

    ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash和kibana三个开源工具配合使用 , 完成更强大的,用户对日志的查询、排序、统计需求。 ElasticSearch ElasticSearch:是基于Lucene(一个 全文检索引擎的架构 )开发的分布式存储检索引擎,用来存储各类日志。 El

    2024年02月16日
    浏览(43)
  • 【ELK企业级日志分析系统】部署Filebeat+ELK详解

    接上文安装与部署ELK详解 (1)在Filebeat节点上,安装Apache服务 (2)修改Apache服务的配置文件 (3)开启Apache服务 (4)浏览器访问,验证Apache服务 (1) 安装Filebeat (2)设置filebeat的主配置文件 (3)启动filebeat (4)在Logstash组件所在节点上,新建一个Logstash配置文件(CentOS 7-3) (

    2024年02月16日
    浏览(45)
  • ELK 企业级日志分析系统 简单介绍

    目录 一     ELK 简介 1, elk 是什么 2,elk 架构图 3,elk 日志处理步骤 二    Elasticsearch 简介 1, Elasticsearch 是什么 2, Elasticsearch 的核心概念 3, Elasticsearch 的原理 三     Logstash 1, Logstash 是什么 2,Logstash 架构图 四,Logstash 的代替品  1,Filebeat 1.1,为什么Logs

    2024年04月13日
    浏览(42)
  • ELK 企业级日志分析系统 ELFK

    ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。 使用ELK日志文件系统的原因:日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了

    2024年02月07日
    浏览(43)
  • ELK 企业级日志分析系统的概念、ELK Elasticsearch 集群部署

    1、ELK 简介 ELK平台是一套完整的日志集中处理解决方案,将 ==ElasticSearch、Logstash 和 Kiabana ==三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。 ElasticSearch 是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。 E

    2024年02月16日
    浏览(51)
  • 分布式ELK 企业级日志分析系统

    ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。 ElasticSearch :是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。Elasticsearch 是用

    2024年02月16日
    浏览(40)
  • ELK、ELKF企业级日志分析系统介绍

     前言 随着企业级应用系统日益复杂,随之产生的海量日志数据。传统的日志管理和分析手段,难以做到高效检索、实时监控以及深度挖掘潜在价值。在此背景下,ELK日志分析系统应运而生。\\\"Elastic\\\" 是指 Elastic 公司所提供的一系列与搜索、日志分析和数据可视化相关的产品。

    2024年04月15日
    浏览(42)
  • DAY 74 ELK企业级日志分析系统

    ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求 ElasticSearch: 是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。 Elasticsearch 是用

    2024年02月09日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包