ELK安装、部署、调试(一)设计规划及准备

这篇具有很好参考价值的文章主要介绍了ELK安装、部署、调试(一)设计规划及准备。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ELK安装、部署、调试(一)设计规划及准备,ELK,ELK,日志,ES一、整体规划如图:

【filebeat】

需要收集日志的服务器,安装filebeat软件,用于收集日志。logstash也可以收集日志,但是占用的系统资源过大,所以使用了filebeat来收集日志。

【kafka】

接收filebeat的日志,进行队列及缓存,kafka使用集群的方式搭建,避免了filebeat直接向logstash传送的拥塞及日志丢失。

【logstash】

主动抓取kafka的日志信息,对日志进行过滤,分析,处理等操作。

【elasticsearch】

简称es,存储logstash处理过的日志信息,采用集群的方式搭建。

【kibana】

图形化的方式展示es的数据信息。

二、IP地址及服务器规划

filebeat :10.10.10.56  /usr/local/filebeat

kafka集群:10.10.10.71-73  /usr/local/kafka

zookeeper集群:10.10.10.71-73 /usr/local/zookeeper

logstash:10.10.10.74  /usr/local/logstash

es集群:10.10.10.65-67  /usr/local/elasticsearch

kibana:10.10.10.65 /usr/local/kinan

kibana中文:10.10.10.66 /usr/local/kibana

三、java的安装

所有服务器均需要安装java的环境

centos 7.9默认已安装java 1.8_242所以不需要再次安装java了
下/载java
tar -zxvf java**.gz -C /usr/local

设置java环境变量
vi /etc/profile
末尾加
export JAVA_HOME=/usr/loca/java/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
source /etc/profile

java -version 查看版本
默认系统自带java,就不需要重新安装文章来源地址https://www.toymoban.com/news/detail-683676.html

到了这里,关于ELK安装、部署、调试(一)设计规划及准备的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ELK安装、部署、调试(三)zookeeper安装,配置

    java安装,系统自带即可 zookeeper.apache.org上可以下载 tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C /usr/local  mv apache-zookeeper-3.7.1-bin zookeeper  mv zoo_sample.cfg zoo.cfg /usr/local/zookeeper/conf/zoo.cfgvi zoo.cfg 除了配置zoo.cfg文件外,zookeeper的集群还需要配置一个文件myid,需要手动创建,放到dataDir的目

    2024年02月10日
    浏览(28)
  • ELK安装、部署、调试(四)KAFKA消息队列的安装和部署

    Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 Kafka 

    2024年02月10日
    浏览(26)
  • 【ELK企业级日志分析系统】安装与部署ELK详解

    ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash和kibana三个开源工具配合使用 , 完成更强大的,用户对日志的查询、排序、统计需求。 ElasticSearch ElasticSearch:是基于Lucene(一个 全文检索引擎的架构 )开发的分布式存储检索引擎,用来存储各类日志。 El

    2024年02月16日
    浏览(33)
  • ELK日志系统实战(五):安装vector并将数据输出到es、clickhouse案例

    目录 安装vector(0.22.0) 方式一:docker安装 方式二:手动下载安装包 编写配置文件 1.从syslog将日志进

    2024年02月06日
    浏览(38)
  • ELK安装、部署、调试(五)filebeat的安装与配置

    logstash 也可以收集日志,但是数据量大时太消耗系统新能。而filebeat是轻量级的,占用系统资源极少。 Filebeat 由两个主要组件组成:harvester 和 prospector。 采集器 harvester 的主要职责是读取单个文件的内容。读取每个文件,并将内容发送到 the output。 每个文件启动一个 harveste

    2024年02月10日
    浏览(29)
  • ELK安装、部署、调试(六) logstash的安装和配置

    Logstash是具有实时流水线能力的开源的数据收集引擎。Logstash可以动态统一不同来源的数据,并将数据标准化到您选择的目标输出。它提供了大量插件,可帮助我们解析,丰富,转换和缓冲任何类型的数据。 管道(Logstash Pipeline)是Logstash中独立的运行单元,每个管道都包含两

    2024年02月10日
    浏览(25)
  • ELK安装、部署、调试 (七)kibana的安装与配置

    Kibana  是一个基于浏览器的开源可视化工具,主要用于分析大量日志,以折线图、条形图、饼图、热图、区域图、坐标图、仪表、目标、时间等形式。预测或查看输入源的错误或其他重大事件趋势的变化。Kibana 与 Elasticsearch 和 Logstash 同步工作,它们共同构成了所谓的  ELK 

    2024年02月10日
    浏览(30)
  • ELK安装、部署、调试 (八)logstash配置语法详解

    1.读取文件。  使用filewatch的ruby gem库来监听文件变化,并通过.sincedb的数据库文件记录被监听日志we年的读取进度(时间 搓) 。sincedb数据文件的默认路径为path.data/plugins/inputs/file下面,文件名类似 于.sincedb_234534534sdfgsfd23,path.data为logstash的插件存储目录默认是LOGSTASH_HOME/dat

    2024年02月10日
    浏览(28)
  • 私有部署ELK,搭建自己的日志中心(二)-- filebeat的介绍与安装

    在搭建ELK系统之前,你有必要去了解下,为何大家在agent端普遍青睐filebeat,而把logstash放置于更加靠后端。 轻量级的filebeat,作为agent角色,是安装在每台虚拟机上。 filebeat的学习分为两大部分: 安装(二进制或docker) 配置文件filebeat.yml 本文主要介绍docker安装方式,对于其

    2024年02月03日
    浏览(46)
  • Elasticsearch_8.11.4_kibana_8.11.4_metricbeat_8.11.4安装及本地部署_ELK日志部署

    分布式引擎Elasticsearch_8.11.4安装及本地部署 Elasticsearch是一个基于 Lucene 库的分布式搜索和分析引擎,它提供了一个分布式、多租户的全文搜索引擎,具有 HTTP Web 接口和无模式 JSON 文档,同时也是是一个非常强大的工具,可以用于各种用途,例如日志分析、搜索引擎、安全分析

    2024年02月02日
    浏览(25)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包