1. Toy模板网首页
  2. > Toy博客

关于部署ELK和EFLK的相关知识

7月前 作者：刘艳芬_ 分类：Toy博客 阅读(29) 违法举报

这篇具有很好参考价值的文章主要介绍了关于部署ELK和EFLK的相关知识。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、ELK日志分析系统

1、ELK简介

  • ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash和Kibana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。
  • 提高安全性
  • 集中存放日志（集中存放时对日志处理困难）
1.2 ElasticSearch
  • ES是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
  • ES是用JAVA开发的，可通过RESTful Web接口，让用户可以通过浏览器与ES通信。
  • ES是个分布式搜索和分析引擎，优点是能对大容量的数据进行接近实时的存储、搜索和分析操作。
1.3 Logstash
  • Logstash作为数据收集引擎。它支持动态的从各种数据源搜索数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置，一般会发送给ES。
  • Logstash由JRuby语言编写，运行在JAVA虚拟机（JVM）上，是一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出。Logstash具有强大的插件功能，常用于日志处理。
  • 三个组件：input（数据采集）、filter（数据过滤）、 output(数据输出)
1.4 Kibana（展示数据可视化界面）
  • Kibana是基于Node.js开发的展示工具，可以为Logstash和ES提供图形化的日志分析Web界面展示，可以汇总、分析和搜索重要数据日志。
1.5 Filebeat
  • Filebeat是一款轻量级的开源日志文件数据搜索器。通常在需要采集数据的客户端安装Filebeat，并指定目录与日志格式，Filebeat就能快速收集数据，并发送给logstash进行解析，或是直接发给ES存储，性能上相比运行于JVM上的logstash优势明显，是对它的替代。

2、使用ELK的原因

  • 日志主要包括日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
  • 往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
  • 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

3、完整日志系统的基本特征

  • 收集：能够采集多种来源的日志数据
  • 传输：能够稳定的把日志数据解析过滤并传输到存储系统
  • 存储：存储日志数据
  • 分析：支持UI分析
  • 警告：能够提供错误报告，监控机制

4、ELK的工作原理

关于部署ELK和EFLK的相关知识,elk

  • 在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署Logstash。
  • Logstash收集日志，将日志格式化并输出到es群集中。
  • ES对格式化后的数据进行索引和存储。
  • Kibana从ES群集中查询数据生成图表，并进行前端数据的显示。

二、部署ELK日志分析系统

1、服务器配置

服务器 配置 主机名 ip地址 主要软件部署
node1节点 2C/4G node1 192.168.10.12 ElasticSearch、Kibana
node2节点 2C/4G node2 192.168.10.13 ElasticSearch
apache节点 - apache 192.168.10.14 Logstash、Apache

2、关闭防火墙

systemctl stop firewalld
setenforce 0
#关闭防火墙和核心防护

3、ELK ElasticSearch集群部署（在node1、node2节点上操作）

3.1 环境准备（更改主机名、配置域名解析、查看Java环境）
hostnamectl set-hostname node1（或者node2）
su
#修改主机名

echo "192.168.10.12 node1" >> /etc/hosts
echo "192.168.10.13 node2" >> /etc/hosts
#主机名追加到/etc/hosts文件的末尾（可以通过node主机名来访问IP地址）

java -version
#查看Java版本信息
#如果没有安装，可使用“yum install -y java”进行安装
  • node1

关于部署ELK和EFLK的相关知识,elk

  • node2

关于部署ELK和EFLK的相关知识,elk

3.2 部署ElasticSearch软件
3.2.1 安装elasticsearch-rpm包
cd /opt
#切换目录

#上传elasticsearch-5.5.0.rpm到/opt目录下

rpm -ivh elasticsearch-5.5.0.rpm
#安装
  • node1

关于部署ELK和EFLK的相关知识,elk

  • node2

关于部署ELK和EFLK的相关知识,elk

3.2.2 加载系统服务
systemctl daemon-reload
#重新加载

systemctl enable elasticsearch.service 
#开机自启
  • node1

关于部署ELK和EFLK的相关知识,elk

  • node2

关于部署ELK和EFLK的相关知识,elk

3.2.3 修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
#备份配置文件

#修改配置文件
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
#17行，取消注释，指定群集名称
node.name: node节点
#23行，取消注释，指定节点名称（node1节点为node1，node2节点为node2）
path.data: /data/elk_data
#33行，取消注释，指定数据存放路径
path.logs: /var/log/elasticsearch/
#37行，取消注释，指定日志存放路径
bootstrap.memory_lock: false
#43行，取消注释，改为在启动的时候不锁定内存，开启为true
network.host: 0.0.0.0
#55行，取消注释，设置监听地址，0.0.0.0代表所有地址
http.port: 9200
#59行，取消注释，ES服务的默认监听端口为9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
#68行，取消注释，集群发现通过单播实现，指定要发现的节点node1、node2

grep -v "^#" /etc/elasticsearch/elasticsearch.yml
#过滤查看修改的配置文件
  • node1

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk

  • node2

关于部署ELK和EFLK的相关知识,elk

3.2.4 创建数据存放路径并授权
mkdir -p /data/elk_data
#创建目录

chown elasticsearch:elasticsearch /data/elk_data/
#修改属主、属组
  • node1

关于部署ELK和EFLK的相关知识,elk

  • node2

关于部署ELK和EFLK的相关知识,elk

3.2.5 启动elasticsearch
systemctl start elasticsearch.service 
#开启es服务

ss -natp | grep 9200
#查看进程
  • node1

关于部署ELK和EFLK的相关知识,elk

  • node2

关于部署ELK和EFLK的相关知识,elk

3.2.6 查看节点信息
  • 浏览器访问http://192.168.10.12:9200、http://192.168.10.13:9200查看节点node1、node2的信息

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk

  • 浏览器访问http://192.168.10.12:9200/_cluster/health?pretty、http://192.168.10.13:9200/_cluster/health?pretty查看群集的健康情况，可以看到status值为green(绿色)，表示节点健康运行，数据和副本全都没有问题（红色：表示数据都不完整、黄色：表示数据完整，但副本有问题）

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk

  • 浏览器访问http://192.168.10.12:9200/_cluster/state?pretty检查群集状态信息

关于部署ELK和EFLK的相关知识,elk

使用上述方式查看群集的状态对用户并不友好，可以通过安装Elasticsearch-head插件，更方便的对群集进行管理。

3.3 安装Elasticsearch-head插件
  • ES在5.0版本后，插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。安装Elasticsarch-head需要提前安装好依赖软件node和phantomjs。

node

  • 是一个基于Chrome V8引擎的JavaScript运行环境

phantomjs

  • 是一个基于webkit的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于webkit浏览器做的事情，它都可以做到。
3.3.1 编译安装node
cd /opt
#切换目录

#上传软件包node-v8.2.1.tar.gz（编译工具）到/opt目录

yum install -y gcc gcc-c++ make
#安装依赖环境

tar xf node-v8.2.1.tar.gz
#解压

cd node-v8.2.1/
#切换目录

./configure
#执行，进行配置

make -j4 && make install
#编译及安装（安装时间会久一点）
  • node1

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk

  • node2

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk

3.3.2 安装phantomjs
cd /opt
#切换目录

#上传软件包phantomjs-2.1.1-linux-x86_64.tar.bz2到/opt目录

tar xf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src
#解压到指定目录

cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
#切换目录

cp phantomjs /usr/local/bin
#复制
  • node1

关于部署ELK和EFLK的相关知识,elk

  • node2

关于部署ELK和EFLK的相关知识,elk

3.3.3 安装Elasticsearch-head数据可视化工具
cd /opt
#切换目录

#上传软件包elasticsearch-head.tar.gz到/opt目录

tar xf elasticsearch-head.tar.gz -C /usr/local/src/
#解压到指定目录/usr/local/src/

cd /usr/local/src/elasticsearch-head/
#切换目录

npm install
#安装
  • node1

关于部署ELK和EFLK的相关知识,elk

  • node2

关于部署ELK和EFLK的相关知识,elk

3.3.4 修改Elasticsearch主配置文件
#修改配置文件，末行添加以下内容
vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true	
#开启跨域访问支持，默认为false
http.cors.allow-origin: "*"
#指定跨域访问允许的域名地址为所有

systemctl restart elasticsearch.service
#重启服务
  • node1

关于部署ELK和EFLK的相关知识,elk

  • node2

关于部署ELK和EFLK的相关知识,elk

3.3.5 启动elasticsearch-head服务
cd /usr/local/src/elasticsearch-head/
#切换目录

npm run start &
#后台开启

ss -natp | grep 9100
#查看进程

#注：必须在解压后的elasticsearch-head目录下启动服务，进程会读取该目录下的gruntfile.js文件，否则可能启动失败。
  • node1

关于部署ELK和EFLK的相关知识,elk

  • node2

关于部署ELK和EFLK的相关知识,elk

3.3.6 通过Elasticsearch-head查看ES信息

  • 通过浏览器访问http://192.168.10.12:9100地址并连接群集。如果看到群集健康值为green，代表群集很健康。

  • node1

关于部署ELK和EFLK的相关知识,elk

  • node2

关于部署ELK和EFLK的相关知识,elk

3.3.7 插入索引
  • 通过命令插入一个测试索引，索引为index-demo，类型为test
curl -X PUT 'localhost:9200/index-demo1/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
#发送http请求，向运行在localhost:9200的Elasticsearch服务器的index-demo索引的test类型中，更新或创建一个ID为1的文档，文档的内容是{"user":"zhangsan","mesg":"hello world"}

#-X指定HTTP请求方法为PUT
#-H表示定义类型
#-d表示指定内容
  • node1

关于部署ELK和EFLK的相关知识,elk

  • node2

关于部署ELK和EFLK的相关知识,elk

3.3.8 浏览器查看索引信息
  • 浏览器访问http://129.168.10.13:9100查看索引信息，可以看见索引默认被分片为5个，并且有一个副本。

关于部署ELK和EFLK的相关知识,elk

点击“数据浏览”，会发现在node1上创建的索引为index-demo，类型为test的相关信息。显示详细数据

关于部署ELK和EFLK的相关知识,elk

4、ELK-Logstash部署（在Apache节点上操作）

  • Logstash一般部署在需要监控其日志的服务器。在本案例中，Logstash部署在Apache服务器上，用于收集Apache的日志信息并发送到Elasticsearch。
4.1 更改主机名
  • ip：192.168.10.14
hostnamectl set-hostname apache
su
#修改主机名

systemctl stop firewalld
setenforce 0
#关闭防火墙和防护中心

关于部署ELK和EFLK的相关知识,elk

4.2 安装Apache服务（httpd）
yum install -y httpd
#安装httpd

systemctl start httpd
#开启服务

关于部署ELK和EFLK的相关知识,elk

4.3 安装Java环境
yum install -y java
#安装Java

java -version
#查看Java版本

关于部署ELK和EFLK的相关知识,elk

4.4 安装logstash
cd /opt
#切换目录

#上传软件包logstash-5.5.1.rpm到/opt目录下

rpm -ivh logstash-5.5.1.rpm
#安装

systemctl start logstash.service
#开机自启

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
#做软连接

关于部署ELK和EFLK的相关知识,elk

4.5 测试Logstash
4.5.1 Logstash命令常用选项
常用选项 说明
-f 通过这个选项可以指定Logstash的配置文件，根据配置文件配置Logstash的输入和输出流
-e 从命令行中获取，输入、输出后面跟着字符串，该字符串可以被当做Logstash的配置（如果是空，则默认使用stdin作为输入，stdout作为输出）
-t 测试配置文件是否正确，然后退出
4.5.2 定义输入和输出
4.5.2.1 标准输入、输出
  • 输入采用标准输入，输出采用标准输出（类似管道）
logstash -e 'input { stdin{} } output { stdout{} }'
#定义输入和输出

www.baidu.com
#键入内容（标准输入）
2024-04-10T11:23:53.306Z apache www.baidu.com

#输入结果（标准输出）

关于部署ELK和EFLK的相关知识,elk

4.5.2.2 rubydebug输出
  • 使用rubydebug输出详细格式显示，codec为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
##定义输入和输出

www.baidu.com
#键入内容（标准输入）

{
    "@timestamp" => 2024-04-10T11:25:58.794Z,
      "@version" => "1",
          "host" => "apache",
       "message" => "www.baidu.com"
}
#显示输出结果（处理后的结果）

关于部署ELK和EFLK的相关知识,elk

4.5.2.3 输出到ES
  • 使用logstash将写入到ES中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.10.12:9200"] } }'
#将logstash输出结果写入到es中

www.baidu.com
#键入内容（标准输出）

#结果不在标准输出显示，而是发送至ES，可浏览器访问http://192.168.10.12:9100查看索引和数据

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk

4.6 定义logstash配置文件
  • logstash配置文件基本由三部分组成：input输入、output输出以及filter过滤（可选，根据需要选择使用）。

格式如下：

input {...}
output {...}

filter {...}
  • 在每个部分中，也可以指定多个访问方式。例如，若要指定两个日志来源文件，则格式如下：
input {
	file { path =>"/var/log/messages" type =>"syslog"}
	file { path =>"/var/log/httpd/access.log" type =>"apache"}

}
  • 修改logstash配置文件，让其收集系统日志/var/log/messages，并将其输出到ES中。
chmod +r /var/log/messages
#赋予读的权限，让Logstash可以获取到该文件的内容

vim /etc/logstash/conf.d/system.conf
#该文件需自行创建，文件名可自定义
input {
    file{
        path =>"/var/log/messages"
        #指定要收集的日志的位置
        type =>"system"
        #自定义日志类型标识
        start_position =>"beginning"
        #表示从开始处收集
    }
}
output {
    elasticsearch{
    #输出到ES
        hosts =>["192.168.10.12:9200", "192.168.10.13:9200"]
        #指定ES服务器的地址和端口，为避免单机故障，建议写全
        index =>"system-%{+YYYY.MM.dd}"
        #指定输出到ES的索引格式
    }
}

systemctl restart logstash.service
#重启服务

关于部署ELK和EFLK的相关知识,elk

4.7 访问测试
  • 浏览器访问http://192.168.10.12:9100查看索引信息

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk

5、ELK-Kibana部署（在node1节点上操作）

5.1 安装Kibana
cd /opt
#切换目录

#上传软件包kibana-5.5.1-x86_64.rpm到/opt目录

rpm -ivh kibana-5.5.1-x86_64.rpm
#安装

关于部署ELK和EFLK的相关知识,elk

5.2 设置Kibana的主配置文件
cp /etc/kibana/kibana.yml /etc/kibana/kibana.yml.bak
#备份配置文件

#编辑配置文件
vim /etc/kibana/kibana.yml
server.port: 5601
#2行，取消注释，kibana服务的默认监听端口为5601
server.host: "0.0.0.0"
#7行，取消注释，设置kibana的监听地址，0.0.0.0代表所有地址
elasticsearch.url: "http://192.168.10.12:9200"
#21行，取消注释，设置和ES建立连接的地址和端口
kibana.index: ".kibana"
#30行，取消注释，设置在ES中添加.kibana索引

关于部署ELK和EFLK的相关知识,elk

5.3 启动kibana服务
systemctl start kibana.service 
#开启服务

systemctl enable kibana.service 
#开启自启

ss -natp | grep 5601
#查看进程

关于部署ELK和EFLK的相关知识,elk

5.4 验证kibana
  • 浏览器访问http://192.168.10.12:5601

关于部署ELK和EFLK的相关知识,elk

  • 第一次登录需要添加一个ES索引输入system-*

关于部署ELK和EFLK的相关知识,elk

  • 索引添加完成后，点击“Discover”按钮可查看图表信息及日志信息

关于部署ELK和EFLK的相关知识,elk

  • 数据展示可以分类显示，例如：在“Available Fileds”中add添加“_type”查看

关于部署ELK和EFLK的相关知识,elk

5.5 将Apache服务器的日志（访问的、错误的）添加到ES并通过kibana显示
  • apache服务器
#apache服务器添加配置，将日志（访问的、错误的）添加到ES并通过kibana显示
vim /etc/logstash/conf.d/apache_log.conf
input {
    file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
    }
    file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
    }
}
output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["192.168.10.12:9200", "192.168.10.13:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
    }
	if [type] == "error" {
        elasticsearch {
            hosts => ["192.168.10.12:9200", "192.168.10.13:9200"]
            index => "apache_error-%{+YYYY.MM.dd}"
        }
    }
}

cd /etc/logstash/conf.d/
#切换目录

/usr/share/logstash/bin/logstash -f apache_log.conf
#启动 Logstash 服务并读取指定的配置文件

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk

5.6 浏览器访问
  • 浏览器访问apache服务

关于部署ELK和EFLK的相关知识,elk

  • 浏览器访问http://192.168.10.12:9100查看索引是否创建

关于部署ELK和EFLK的相关知识,elk

  • 浏览器访问http://192.168.10.12:5601登录kibana，添加“apache_access、”和“apache_error”索引，查看日志信息。

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk

三、ELFK（Filebeat+ELK）

1、Filebeat的作用

  • 由于logstash会大量占用系统的内存资源，一般我们会使用filebeat替换logstash收集日志的功能，组成ELFK架构。

  • 或用fluentd替代logstash组成EFK（elasticsearch/fluentd/kibana），由于fluentd是由Go语言开发的，一般在K8S环境中使用较多。

2、ELFK工作流程

  • filebeat将日志收集后交由logstash处理
  • logstash进行过滤、格式化等操作，满足过滤条件的数据将发送给ES
  • ES对数据进行分片存储，并提供索引功能
  • kibana对数据进行图形化的web展示，并提供索引接口

3、ELFK的部署

3.1 服务器配置
服务器 配置 主机名 ip地址 主要软件部署
node1节点 2C/4G node1 192.168.10.12 ElasticSearch、Kibana
node2节点 2C/4G node2 192.168.10.13 ElasticSearch
apache节点 - apache 192.168.10.14 Logstash、Apache
filebeat节点 filebeat 192.168.10.15 Filebeat
  • 在ELK的基础上，增加一台filebeat服务器，因此只需再前述ELK部署的前提下进一步操作。
3.2 服务器环境
  • filebeat节点
hostnamectl set-hostname filebeat
su
#修改主机名

systemctl stop firewalld
setenforce 0
#关闭防火墙和核心防护

关于部署ELK和EFLK的相关知识,elk

3.3 安装filebeat
  • filebeat节点
cd /opt
#切换目录

#上传filebeat-6.6.1-x86_64.rpm安装包

rpm -ivh filebeat-6.6.1-x86_64.rpm
#安装

systemctl daemon-reload
#重新加载

systemctl enable filebeat.service 
#开机自启

关于部署ELK和EFLK的相关知识,elk

3.4 修改filebeat主配置文件
  • filebeat节点
cd /etc/filebeat/
#切换目录

cp filebeat.yml filebeat.yml.bak
#备份配置文件

#编辑配置文件
vim filebeat.yml
filebeat.inputs:
- type: log
#21行，指定log类型，从日志文件中读取消息
  enabled: true
  #24行，开启日志收集功能，默认为false
    - /var/log/*.log
    #28行，指定监控的日志文件
    - /var/log/messages
    #29行，添加收集/var/log/messages
      fields: 
      #31行，添加以下内容，注意格式
        service_name: filebeat
        log_type: log
        service_id: 192.168.10.15
      #-------------------------- Elasticsearch output ------------------------------
      #该区域内容全部注释（152行、154行）
      #----------------------------- Logstash output --------------------------------
      
      output.logstash:
      #165行，取消注释
      hosts: ["192.168.10.14:5044"]
      #167行，取消注释，指定logstash的IP和端口号

systemctl start filebeat.service
#开启服务

systemctl status filebeat.service
#查看状态

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk

3.5 在logstash组件所在节点（apache节点）上新建一个logstash配置文件
cd /etc/logstash/conf.d/
#切换目录

#修改配置文件
vim logstash.conf
input {
    beats {
        port => "5044"
    }
}
output {
    elasticsearch {
        hosts => ["192.168.10.12:9200", "192.168.10.13:9200"]
        index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
    }
    stdout {
        codec => rubydebug
    }
}

/usr/share/logstash/bin/logstash -f apache_log.conf
#启动 Logstash 服务并读取指定的配置文件（注意此处读取的配置文件还是apache_log.conf，只能指定使用一个配置的数据目录，否则会报错）

#若是新建索引filebeat不显示，重启logstash服务，然后重新启动logstash并读取配置文件再次查看

关于部署ELK和EFLK的相关知识,elk

3.6 浏览器验证
  • 浏览器访问http://192.168.10.12:9100

关于部署ELK和EFLK的相关知识,elk

  • 浏览器访问http://192.168.10.12:5601登录kibana，
    添加“filebeat-*”索引后在“Discover”中查看filebeat日志收集情况。

关于部署ELK和EFLK的相关知识,elk

关于部署ELK和EFLK的相关知识,elk文章来源地址https://www.toymoban.com/news/detail-851377.html

到了这里，关于关于部署ELK和EFLK的相关知识的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 【ELK企业级日志分析系统】部署Filebeat+ELK详解

    【ELK企业级日志分析系统】部署Filebeat+ELK详解

    接上文安装与部署ELK详解 （1）在Filebeat节点上，安装Apache服务 （2）修改Apache服务的配置文件 （3）开启Apache服务 （4）浏览器访问，验证Apache服务 (1) 安装Filebeat （2）设置filebeat的主配置文件 （3）启动filebeat （4）在Logstash组件所在节点上,新建一个Logstash配置文件(CentOS 7-3) （

    2024年02月16日
    浏览(42)
  • ELK 企业级日志分析系统的概念、ELK Elasticsearch 集群部署

    ELK 企业级日志分析系统的概念、ELK Elasticsearch 集群部署

    1、ELK 简介 ELK平台是一套完整的日志集中处理解决方案，将 ==ElasticSearch、Logstash 和 Kiabana ==三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。 ElasticSearch 是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。 E

    2024年02月16日
    浏览(51)
  • 【ELK 使用指南 1】ELK + Filebeat 分布式日志管理平台部署

    【ELK 使用指南 1】ELK + Filebeat 分布式日志管理平台部署

    在运维中， 日志是非常重要的工具 ，用于记录系统、应用程序或设备的运行状态、事件和异常情况。 1）故障排除和问题诊断 日志是排查故障和诊断问题的关键信息源。 通过分析日志文件，可以查找和定位系统故障、错误和异常，帮助运维人员迅速找出问题的根本原因，并

    2024年02月07日
    浏览(48)
  • ELK集群部署---Kibana的部署

    ELK集群部署---Kibana的部署

    1.  环境规划： 主机名 IP地址 角色 node1 192.168.56.111 ElasticSearch(master) Zookeeper Kafka node2 192.168.56.112 ElasticSearch(slave) Kibana Zookeeper Kafka node3 192.168.56.113 ElasticSearch(slave) Zookeeper Kafka node4 192.168.56.114 Logstash Filebeat 2.  安装Kibana： 3.  配置Kibana： 4.  启动Kibana： 5.  访问Kibana，\\\" http://

    2024年02月10日
    浏览(31)

  • ELK群集部署日志收集

    ELK平台是一套完整的日志集中处理解决方案 由ElasticSearch、Logstash、Kiabana三个开源工具配合使用 是用户对日志的查询、排序、统计的强大工具组合 一般用于大型企业，中小型企业一般会选择（rsyslog+日志服务器或者shell+Python收集日志） logstash进行日志数据收集并且格式化之后

    2023年04月20日
    浏览(70)
  • 部署ELK

    部署ELK

    如果报错jvm内存太小，在宿主机查询到容器的配置文件，并修改内存大小 验证 验证 vi /app/logstash/config/logstash.yml 配置es ip vi /app/logstash/pipeline/logstash.conf logstash.conf 修改完配置文件，删除容器、重启容器 验证 引入logstash依赖 logback.xml日志配置 由于在配置中已经指定了索引名称

    2024年02月06日
    浏览(17)
  • Docker部署ELK

    Docker部署ELK

    一、拉取镜像 二、 运行容器 -p （小写）映射端口号，主机端口:容器端口 -P（大写）随机为容器指定端口号 -v 进行容器的挂载 –name 指定容器别名 –net 连接指定网络 -e 指定启动容器时的环境变量 -d 后台运行容器 –privileged=true 使容器有权限挂载目录 ElasticSearch 的默认端口

    2024年02月02日
    浏览(38)
  • Filebeat+ELK 部署

    Filebeat+ELK 部署

    Node1节点（2C/4G）：node1/192.168.8.10                   Elasticsearch  Kibana Node2节点（2C/4G）：node2/192.168.8.11                    Elasticsearch Apache节点：apache/192.168.8.13                      Logstash  Apache Filebeat节点：filebeat/192.168.8.20                    Filebeat   //在 Node1 节

    2024年02月14日
    浏览(40)
  • ELK实验部署过程

    ELK实验部署过程

    E LK 集群部署环境准备 配置ELK日志分析系统 1 92.168. 1 . 51 elk -node1 es、logstash、kibana 1 92.168. 1 . 52 elk-node2 es、logstash 1 92.168. 1 . 53 a pache logstash （我这里是把虚拟机的配置全部都改为2核3G的）     2台linux   第1台：elk-node1   第2台：node2（双核、内存4 G ） 关闭防护机制 iptables -

    2024年02月12日
    浏览(24)

  • 安装部署ELK

    安装部署ELK，并收集nginx日志 需要三台CentOS7.9且内存大于等于≧3G的机器 关闭防火墙和SELinux，装好常用指令 1.设置主机名和hosts解析 ，并配置时间同步 2.部署jdk，三台机器都部署 1.安装Elasticsearch，三台机器都部署 2 配置Elasticsearch集群 在elk-node1里做

    2023年04月08日
    浏览(26)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包