ELK集群 日志中心集群、kafka、logstash

这篇具有很好参考价值的文章主要介绍了ELK集群 日志中心集群、kafka、logstash。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ES:用来日志存储

Logstash:用来日志的搜集,进行日志格式转换并且传送给别人(转发)

Kibana:主要用于日志的展示和分析

kafka

Filebeat:搜集文件数据

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

es-1

本地解析

vi /etc/hosts

scp /etc/hosts es-2:/etc/hosts

scp /etc/hosts es-3:/etc/hosts

 yum -y install wget

安装配置jdk

wget 8u191

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

scp -3

tar xf jdk-8u191-linux-x64.tar.gz -C /usr/local/

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

[root@es-1 ~]# vim /etc/profile
JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
[root@es-1~]# source /etc/profile

安装配置ES

useradd elsearch

ssh es-2 useradd elsearch

ssh es-3 useradd elsearch

echo "123456" | passwd --stdin "elsearch"

wget els包

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

vim /usr/local/elasticsearch/config/elasticsearch.yml

(都删了)

cluster.name: xingdiancloud-elk
node.name: es-1
node.master: true
node.data: true
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["es-1", "es-2","es-3"]
discovery.zen.ping_timeout: 150s
discovery.zen.fd.ping_retries: 10
client.transport.ping_timeout: 60s
http.cors.enabled: true
http.cors.allow-origin: "*"

创建ES数据及日志存储目录

mkdir -p /data/elasticsearch/{logs,data}

scp /usr/local/elasticsearch/config/elasticsearch.yml es-3:/usr/local/elasticsearch/config/elasticsearch.yml 

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

修改安装目录及存储目录权限

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

系统优化

vi /etc/security/limits.conf

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

echo "vm.max_map_count=262144" >> /etc/sysctl.conf

sysctl -p

su - elsearch -c "cd /usr/local/elasticsearch && nohup bin/elasticsearch &"

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

es-2

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

echo "123456" | passwd --stdin "elsearch"

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

mkdir -p /data/elasticsearch/{logs,data}

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

echo "vm.max_map_count=262144" >> /etc/sysctl.conf

sysctl -p

su - elsearch -c "cd /usr/local/elasticsearch && nohup bin/elasticsearch &"

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ss -antpl  //看9200

es-3

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

echo "123456" | passwd --stdin "elsearch"

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

mkdir -p /data/elasticsearch/{logs,data}

vim /usr/local/elasticsearch-6.5.4/config/elasticsearch.yml   (改名字)

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

echo "vm.max_map_count=262144" >> /etc/sysctl.conf

sysctl -p

su - elsearch -c "cd /usr/local/elasticsearch && nohup bin/elasticsearch &"

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ss -antpl  //看9200

浏览器访问:IP:9300

kibana

本地解析

vi /etc/hosts  

IP  es-1、2、3

上传kibana包

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

vi /usr/local/kibana/config/kibana.yml
server.port: 5601
server.host: "172.16.244.28"
elasticsearch.url: "http://172.16.244.25:9200"
kibana.index: ".kibana"

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

jobs

ss -antpl  看端口5600

浏览器访问  IP :5601

Nginx安装反向代理

安装

yum -y install nginx httpd-tools

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

验证节点与kibana时间

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

三:logstash部署(新机器)

安装jdk8

vi /etc/hosts

ip es-1

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

vim /etc/profile
JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
 source /etc/profile

java -version

2.安装logstash

上传logstash包

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

vi /opt/messages.conf

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

执行logstash

logstash -f /opt/messages.conf

数据的测试

1)基本的输入输出

logstash :

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

终端输入

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

es查看

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

Kibana上

管理 ------ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维------ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维-----ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维--下一步----ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维---ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

监控nginx logs 

选RPM

es-1、2、3

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

新机子

上传filebeat.rpm包

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

vi /etc/hosts

ip +es-1

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

vi nginx.yml

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

yum -y install nginx

systemctl start nginx 

curl localhost

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

vu nginx.yml

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

生效

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

date(时间统一)

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

排错中(不出错不做)

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

干掉es

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

 ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

yum -y install psmisc

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

ELK集群 日志中心集群、kafka、logstash,elk,大数据,运维

systemctl restart filebeat文章来源地址https://www.toymoban.com/news/detail-727019.html

到了这里,关于ELK集群 日志中心集群、kafka、logstash的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ELK-日志服务【logstash-安装与使用】

    目录 【1】安装logstash logstash input 插件的作用与使用方式 【2】input -- stdin插件:从标准输入读取数据,从标准输出中输出内容 【3】input -- file插件:从文件中读取数据 【4】input -- beat插件:从filebeat中读取数据,然后标准输出 【5】input -- kafka插件:从kafka中读取数据 logstash

    2024年02月16日
    浏览(39)
  • ELK日志平台(elasticsearch+logstash+kibana)搭建

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 为了实现分布式日志数据统一收集,实现集中式查询和管理 故障排查 安全信息和事件管理 ELK 是三个开源项目的首字母缩写,这三个项目分别是: Elasticsearch 、 Logstash 和 Kibana 。 • Elasticsearch 是一个搜索

    2024年02月03日
    浏览(47)
  • ELK(Elasticsearch+Logstash+Kibana)日志分析系统

    目录 前言 一、ELK日志分析系统概述 1、三大组件工具介绍 1.1 Elasticsearch 1.1.1 Elasticsearch概念 1.1.2 关系型数据库和ElasticSearch中的对应关系 1.1.3 Elasticsearch提供的操作命令 1.2 Logstash 1.2.1 Logstash概念 1.2.2 Logstash的主要组件 1.2.3 Logstash主机分类 1.2.4 Logstash工作过程 1.3 Kiabana 2、

    2024年04月25日
    浏览(47)
  • 日志采集 logback集成logstash ELK springboot

    logstash依赖  给logback配置logstash的那台机器的ip和服务的端口  在logstash那台机器上配置  在安装了logstash的服务器里,找到logstash文件目录,执行./logstash -f logstash.conf即可启动logstash 以上配置即可实现 logback 到 logstash。 下面是升级配置 ===========================分割线===============

    2024年02月12日
    浏览(47)
  • Logstash Logback Encoder实现ELK日志归集

    搭建SpringCloud平台日志归集方案,主要使用Logstash Logback Encoder组件实现。 主要分为运维相关的配置和开发相关的配置,具体分类无需纠结,都了解一遍即可。 不足之处,各位大神指出,感谢~ Elasticsearch配置 新建Index Templates,Mapping参考值如下,具体参考值可参考 Logstash Logba

    2024年02月11日
    浏览(54)
  • ELK集群部署---LogStash,Filebeat的部署

    1.  环境规划: 主机名 IP地址 角色 node1 192.168.56.111 ElasticSearch(master) Zookeeper Kafka node2 192.168.56.112 ElasticSearch(slave) Kibana Zookeeper Kafka node3 192.168.56.113 ElasticSearch(slave) Zookeeper Kafka node4 192.168.56.114 Logstash Filebeat

    2023年04月18日
    浏览(41)
  • elk(elasticsearch+logstash+kibana)搭建日志监控平台

    目录 elk架构原理 安装部署elasticsearch 什么是elasticsearch 创建elasticserch docker容器  安装部署kibana 什么是Kinana 创建Kibana docker容器         拉取镜像         创建配置文件:D:Programsdockerkibanakibana.yml          创建并运行kibana容器         验证登录kibana 安装部署logstash 什么

    2024年02月04日
    浏览(68)
  • ELK详解(十一)——Logstash收集日志不显示问题解决

    今天继续给大家介绍Linux运维相关知识,本文主要内容是Logstash能够收集日志,过程不报错,但是在收集日志后没有在Elasticsearch上显示索引问题的解决。 在进行Logstash配合Elasticsearch进行日志收集及展现的实战过程中,经常会遇到以下情况: 在Logstash日志收集过程中很顺利,也

    2024年02月15日
    浏览(39)
  • ELK企业级日志分析系统(elasticsearch+logstash+kibana)

    目录 一.ELK概述 1.定义 (1)ElasticSearch (2)Kiabana (3)Logstash (4)Filebeat 2.filebeat结合logstash带来好处 3.为什么要是用ELK? 4.完整日志系统基本特征 5.ELK 的工作原理 二.部署ELK 1.环境配置 2.ELK集群部署(node1、node2) 3.部署 Elasticsearch 软件 4.安装Elasticsearch-head 插件 (1)编译安

    2024年04月22日
    浏览(62)
  • ELK【elasticsearch+logstash+kibana】企业级日志分析系统

    ELK平台是一套完整的日志集中处理解决方案,将 elasticsearch、logstash 和 kiabana 三个开源工具配合使用,完成更加强大的用户对日志的查询、排序、统计需求。 ElasticSearch:是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。 Elasticsearch 是用

    2024年02月08日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包