ElasticSearch+Kibana+Logstash实现日志可视化运维监控

这篇具有很好参考价值的文章主要介绍了ElasticSearch+Kibana+Logstash实现日志可视化运维监控。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.目标

1.安装ElasticSearch
2.安装Kibana
3.安装Logstash采集/var/log/messages日志内容
4.图表化展示日志监控结果

2.版本

这三者的版本号要完全一样
ElasticSearch 6.1.1
Kibana 6.1.1
Logstash 6.1.1
Jdk1.8.0_181

3.安装ElasticSearch

安装包:https://cloud.189.cn/t/zuQz6v2YZRVb (访问码:6sbf)
下载网站:https://www.elastic.co/cn/downloads/

1.创建普通用户和用户组es
groupadd es
useradd es -g es -p 123456 
2.将安装包解压到/usr/local
tar -xvf elasticsearch-6.1.1.tar.gz -C /usr/local
3.调整操作系统VMA虚拟内存大小,文件数量上限
echo 262144 >> /proc/sys/vm/max_map_count
vim /etc/security/limits.conf
	* hard nofile 262144
	* soft nofile 262144
4.编辑配置文件elasticsearch.yml(/usr/local/elasticsearch-6.1.1/config)

	cluster.name: study_cluster
	node.name: master
	path.data: /usr/local/elasticsearch-6.1.1/data
	path.logs: /usr/local/elasticsearch-6.1.1/logs
	network.host: 0.0.0.0
	http.port: 9200
5.启动
cd /usr/local/elasticsearch-6.1.1/bin
./elasticsearch	前台启动
./elasticsearch	-d 后台启动
6.启动可能报错情况
错误:[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
解决:在/etc/sysctl.conf追加vm.max_map_count=262144,重启即可

错误:Unable to locate appender "rolling" for logger config "root"
解决:创建普通用户,用普通用户启动

4.安装Kibana

下载:curl -O https://artifacts.elastic.co/downloads/kibana/kibana-6.1.1-linux-x86_64.tar.gz

1.解压到/usr/local
tar -xvf kibana-6.1.1-linux-x86_64.tar.gz -C /usr/local
2.编辑配置文件kibana.yml(/usr/local/kibana-6.1.1-linux-x86_64/config)
	server.host: 0.0.0.0
	server.port: 5601
3.启动
cd /usr/local/kibana-6.1.1-linux-x86_64/bin
nohup ./kibana >/dev/null &	

5.安装Logstash采集/var/log/messages日志内容

安装包:https://cloud.189.cn/t/NJ3iAfnEzIzm (访问码:zqm1)

1.安装
	yum install logstash-6.1.1.rpm
2.编写es.conf配置文件(/etc/logstash/conf.d)
	input {	
	  file {
	    path => ["/var/log/messages"]	#从/var/log/messages读取日志内容
	    type => "syslog"
	    start_position => "end"			#从日志的末尾开始读取,beginning是从开头读起
	  }
	}
	filter{
	    if "/containers"  in [message]{  #过滤掉日志中包含‘containers’的日志内容
	        drop{}
	    }
	       
	    grok {   #解析日志内容,将识别到的月份存放到month,天数存放至monthday,时间存放到time,主机名存放到hostname
	        match => {"message" => "%{MONTH:month} %{MONTHDAY:monthday} %{TIME:time} %{HOSTNAME:hostname} %{WORD:word}"}	
	   }
	}
	
	output {
	  elasticsearch {
	    hosts => ["http://192.168.8.140:9200"]	# 连接ElasticSearch的ip和端口
	    index => "mylogstash1"		#此索引不存在的话会自动创建
	    
	  }
	}
3.启动
	cd /usr/share/logstash/bin
	#-f指定配置文件
	#--config.reload.automatic 每3秒自动读取配置
	./logstash -f /etc/logstash/conf.d/es.conf --config.reload.automatic

6.图表化展示日志监控结果

1.Kibana添加索引

ElasticSearch+Kibana+Logstash实现日志可视化运维监控

ElasticSearch+Kibana+Logstash实现日志可视化运维监控
ElasticSearch+Kibana+Logstash实现日志可视化运维监控
ElasticSearch+Kibana+Logstash实现日志可视化运维监控
2.查看索引内容

ElasticSearch+Kibana+Logstash实现日志可视化运维监控

在这可以选择要查看的时间段

ElasticSearch+Kibana+Logstash实现日志可视化运维监控

这些都是Logstash中grok解析出来的字段

ElasticSearch+Kibana+Logstash实现日志可视化运维监控

3.绘制饼图
ElasticSearch+Kibana+Logstash实现日志可视化运维监控
ElasticSearch+Kibana+Logstash实现日志可视化运维监控
ElasticSearch+Kibana+Logstash实现日志可视化运维监控
ElasticSearch+Kibana+Logstash实现日志可视化运维监控
4.制作标签云图

ElasticSearch+Kibana+Logstash实现日志可视化运维监控

ElasticSearch+Kibana+Logstash实现日志可视化运维监控
ElasticSearch+Kibana+Logstash实现日志可视化运维监控
ElasticSearch+Kibana+Logstash实现日志可视化运维监控
ElasticSearch+Kibana+Logstash实现日志可视化运维监控

5.最终效果

ElasticSearch+Kibana+Logstash实现日志可视化运维监控文章来源地址https://www.toymoban.com/news/detail-495777.html

到了这里,关于ElasticSearch+Kibana+Logstash实现日志可视化运维监控的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 利用kibana可视化DevTools界面实现ElasticSearch的索引和文档的增删查改

            ElasticSearch(简称ES)相对于传统的MySQL数据库来说,ES更擅长的是海量数据的搜索,分析和计算;如果是复杂搜索,无疑可以使用ElasticSearch。但是,传统的MySQL也有自己的有点,MySQL更擅长的是事务类型的操作,可以确保数据的安全和一致性;如果是有事务要求,如

    2024年02月08日
    浏览(49)
  • 开源的数据可视化平台 Kibana 日志可视化 mac 安装笔记

    日志开源组件(一)java 注解结合 spring aop 实现自动输出日志 日志开源组件(二)java 注解结合 spring aop 实现日志traceId唯一标识 日志开源组件(三)java 注解结合 spring aop 自动输出日志新增拦截器与过滤器 日志开源组件(四)如何动态修改 spring aop 切面信息?让自动日志输出

    2024年03月23日
    浏览(61)
  • ElasticSearch配置及Kibana可视化配置

            es是一个开源的 分布式搜索引擎 ,可以用来实现搜索、日志统计、分析、系统监控,es易于扩展,可以轻松扩展到上百台服务器,处理 PB (1PB=1024TB 1TB= 1024GB)级别的数据,es自身携带分布式协调管理功能,但仅支持 JSON 文件格式                 1.索引:       

    2024年02月04日
    浏览(47)
  • ElasticSearch与Kibana的整合与可视化

    ElasticSearch 和 Kibana 是两个非常受欢迎的开源工具,它们在日志分析、监控和搜索领域具有广泛的应用。ElasticSearch 是一个基于分布式搜索引擎,它可以处理大量数据并提供快速、准确的搜索结果。Kibana 是一个基于 Web 的数据可视化工具,它可以与 ElasticSearch 整合,以实现数据

    2024年04月13日
    浏览(35)
  • ElasticSearch可视化工具:kibana + elasticsearch-head

    kibana 下载 地址:https://www.elastic.co/cn/downloads/kibana 下载别的版本:https://www.elastic.co/cn/downloads/past-releases#kibana 将Kibana安装包解压缩 进入config目录,在kibana.yml中添加es服务器地址。(如果之前没有动es的端口,修改kibana配置省略即可) 双击bin目录下的kibana.bat文件 报错 Kibana(

    2024年04月24日
    浏览(35)
  • ElasticSearch与Kibana:搭建可视化仪表盘

    ElasticSearch 和 Kibana 是两个非常受欢迎的开源工具,它们在日志分析、监控和搜索领域发挥着重要作用。ElasticSearch 是一个分布式、实时的搜索引擎,它可以处理大量数据并提供快速、准确的搜索结果。Kibana 是一个用于可视化数据的工具,它可以将 ElasticSearch 中的数据以各种形

    2024年02月22日
    浏览(43)
  • Linux安装ElasticSearch和可视化工具Kibana

            ElasticSearch是一个使用java语言并且基于Lucene编写的搜索引擎框架,提供了分布式的全文搜索功能,提供了一个统一的基于restful风格的web接口。         Lucene:Lucene本身就是一个搜索引擎的底层         分布式:Es主要是为了突出他的横向扩展能力       

    2023年04月12日
    浏览(63)
  • 安装Elasticsearch,kibana可视化工具,ik分词器

    1.Elasticsearch下载地址:Elasticsearch 8.12.2 | Elastic Elasticsearch 8.12.2 | Elastic https://www.elastic.co/cn/downloads/past-releases/elasticsearch-8-12-2 Elasticsearch 8.12.2 | Elastic下载完成后直接解压,在bin目录下启动elasticsearch.bat文件启动完成后访问http://localhost:9200/看到以下内容就表示安装成功了 2.安装k

    2024年04月28日
    浏览(46)
  • (八) ElasticSearch数据可视化和分析工具Kibana安装和使用

    Kibana 是一个用于数据可视化和分析的开源工具,它是 Elastic Stack(包括 Elasticsearch、Logstash 和 Beats)的一部分。Kibana 提供了直观、交互式的用户界面,让用户能够以图表、表格、地图等形式实时探索和可视化存储在 Elasticsearch 中的数据。 前往 Elastic 官网(https://www.elastic.co/

    2024年02月11日
    浏览(62)
  • Es elasticsearch 十九 kibana 可视化配置图表 及功能 集群部署

    目录 Es kibana 可视化 下载zip 解压  bin/kibana.bat 启动 管理索引管理 吧logstash 存进来的数据 按照 xxx-* 方式 保存索引模式 通过 discove 配置可视化界面 图表数据实时刷新 时序图配置 饼图配置 表格数据配置 添加仪表盘 图表样例 使用后模拟绘制方法好看些 Grok 语法测试工具 集群

    2024年02月08日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包