ELK单机环境搭建

这篇具有很好参考价值的文章主要介绍了ELK单机环境搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

最近在linux下搭建了一套ELK环境,ELK简单来说,ElasticSearch 作为搜索引擎存储数据,Logstash 负责收集数据并输出给ElasticSearch ,Kibana 可以理解为elasticsearch的显示面板。

本文搭建的ELK环境,主要用来收集应用系统的日志,是单机版;如果想升级成集群版,可以将ElasticSearch 部署成集群,哪个服务器需要采集数据就安装Logstash, 显示面板Kibana可以只安装在一个服务器节点即可。

准备工作

1.安装jdk

由于ElasticSearch 需要 JDK 环境,所以要提前安装好 JDK 。另外,可能jdk的安装路径各有不同,所以可以提前给jdk建立一个软连接 (否则elasticSearch启动时会报错)。

which java

ELK单机环境搭建
如果结果不是上图显示,可以执行一下命令

ln -s  执行which java所显示的路径  /usr/bin/java

2.创建ES用户

通常 ElasticSearch 及kibana 都是不用root去启动的,所以这里创建一个新用户 ES。

useradd es
passwd es

创建完用户之后,要对其进行授权。下面的 elk安装 ,我专门建了一个 文件夹,然后将该文件夹授权给ES用户,如果操作过程中不小心忘了赋权限,执行不了启动命令,就再授权一下。

[root@ELK-slave home]# cd /usr/local/
[root@ELK-slave local]# mkdir elk
[root@ELK-slave local]# chown -R es:es /usr/local/elk

下面进行安装 ,注意一点,3个软件这里都是通过安装包进行部署的,要注意版本的一致性。下面安装时,可切换到 es用户。

ElasticSearch

在 /usr/local/elk/ 下建立 es文件夹,下载安装包,并解压

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-linux-x86_64.tar.gz

ELK单机环境搭建
解压完成后,修改配置文件。配置中要指定数据和日志路径,所以我提前建好文件夹。
ELK单机环境搭建
修改config目录下的elasticsearch.yml文件,加入以下内容(单机配置)

cluster.name: es
node.name: node-1
path.data: /usr/local/elk/es/data
path.logs: /usr/local/elk/es/log
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["192.168.179.129"]
cluster.initial_master_nodes: ["node-1"]
http.cors.enabled: true
http.cors.allow-origin: "*"

配置完成后,执行启动命令

 nohup ./elasticsearch > /usr/local/elk/es/run.log 2>&1 &

ELK单机环境搭建
查看运行日志,并访问对应的链接,http://192.168.179.129:9200/
ELK单机环境搭建
到这里,就启动成功了。

其实在启动时,可能会报虚拟内存不足、最大文件数太小等问题,所以如果启动失败,可以进行以下配置
1.切换root用户 ,编辑 limits.conf (vi /etc/security/limits.conf),末尾加入以下内容

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

2.切换root用户,修改 sysctl.conf (vi /etc/sysctl.conf),加入如下配置

vm.max_map_count=655360

并执行以下命令,使配置生效。

sysctl -p

完成上述配置后,切换到es用户,重新启动。

Logstash

在 /usr/local/elk/ 下建立 logstash文件夹,下载安装包,并解压

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.2.tar.gz

ELK单机环境搭建
logstash通过 input采集数据,output 输出数据,并且支持过滤功能。输入、输出都支持多种插件,如标准输入、文件输入、kafka 等,输出包括 elasticsearch 、文件,kafka等等。
为方便,先使用 标准输入输出查看下效果,进入bin目录,执行以下命令

./logstash -e 'input { stdin{} } output { stdout{} }'

ELK单机环境搭建
我们的目的是输出到 elasticsearch ,所以使用 标准输入,并输出到 elasticsearch 再测试一下

./logstash -e 'input { stdin{} } output { elasticsearch { hosts => ["192.168.179.129:9200"] } }'

输入字符,然后查看对应的elasticsearch中是否存在
ELK单机环境搭建
ELK单机环境搭建
至此,说明logstash输出到 elasticsearch没有问题,这时可以进行正式配置了。logstash启动时,输入、输出的配置都通过配置文件来定义,进入config 目录,创建 springboot-logstash.conf文件。
ELK单机环境搭建
这里要采集系统应用的日志,输入采用 文件方式,修改 springboot-logstash.conf 配置

input {
       file {
          path => "/usr/local/activity/info.log"
          type => "activity"
          start_position => "beginning"
        }

	file {
          path => "/usr/local/activityapi/info.log"
          type => "activityapi"
          start_position => "beginning"
        }
}

output {
       
       if [type] == "activity" {
		elasticsearch {
			hosts => ["192.168.179.129"]
			index => "activity-%{+YYYY.MM.dd}"
		}
       } else if [type] == "activityapi" {
		elasticsearch {
			hosts => ["192.168.179.129"]
			index => "activityapi-%{+YYYY.MM.dd}"
		}
       }		
}

执行启动命令

nohup ./logstash -f ../config/springboot-logstash.conf --config.reload.automatic 2>&1 &

不同的应用(activity、activityapi),建立了不同的索引,并以日为单位做分割,可以查看elasticsearch的索引情况
ELK单机环境搭建
此时,logstash启动成功

Kibana

在 /usr/local/elk/ 下建立 kibana文件夹,下载安装包,并解压

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.6.2-linux-x86_64.tar.gz

修改配置文件
ELK单机环境搭建

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.179.129:9200"]

ELK单机环境搭建
然后启动即可,注意,不能使用root用户启动,切换到es用户

nohup ./kibana &

ELK单机环境搭建
启动之后,访问 链接 http://192.168.179.129:5601/
ELK单机环境搭建

简单使用

kibana安装之后,做一下配置就可以使用了,先找到管理页面,点击 Index Patterns
ELK单机环境搭建
第一步,定义的 index pattern ,其实和 elasticsearch 对应的 index有关,比如上文中 activity 的日志,都是以 activity- 为前缀,我定义 activity-* ,就可以匹配对应的所有日期下的日志
ELK单机环境搭建
第二步,点击保存
ELK单机环境搭建
同理,我对 activityapi 也配置对应的 index pattern,activityapi* 。

然后点击discover版块,可以看到对应的数据
ELK单机环境搭建
我们可以通过切换对应 的index pattern ,来查看相关的日志
ELK单机环境搭建
这就相当于,有了一个实时可视化的tail -f 日志工具,并且支持内容搜索。
ELK单机环境搭建
至此,单机版的ELK环境就搭建完成了。文章来源地址https://www.toymoban.com/news/detail-413988.html

到了这里,关于ELK单机环境搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 微服务环境搭建:docker+nacos单机

    nacos需要连接mysql,持久化相关配置。 http://ip地址:8848/nacos 账号密码 默认:nacos/nacos

    2024年01月25日
    浏览(42)
  • 【云计算平台】Hadoop单机模式环境搭建

    接上一篇博客 点我跳转到虚拟机搭建,配置好虚拟机环境后进行hadoop单机模式的部署,我的云计算课程中只要求了简单的单机模式部署,如果有精力的话,应该会把伪分布式部署也简单地记录一下 Apache Hadoop 项目为可靠,可扩展的分布式计算开发开源软件;Hadoop软件库是一个

    2024年02月02日
    浏览(50)
  • Hadoop——Windows系统下Hadoop单机环境搭建

    为了便于开发,我在本地Windows系统进行Hadoop搭建。 我使用的版本:hadoop-2.7.0。其他版本也可,搭建流程基本一样,所以参考这个教程一般不会有错。 1、下载安装包和插件 安装包hadoop-2.7.0.tar.gz 必要插件winutils-master 2、解压安装包 使用管理员身份运行cmd,到安装包对应目录下

    2024年02月09日
    浏览(53)
  • ELK——一套实用、易用的监控架构

    目录 ELK是什么 ELK的主要优点 为什么要使用elk                 ELK 的好处: elk组件的作用         elasticsearch核心概念(属于elk的老大)                 分片的两个最主要原因:         logstash的基本概念         Kibana                  主要功能 ELK工作

    2024年02月01日
    浏览(30)
  • 单机搭建hadoop环境(包括hdfs、yarn、hive)

    单机可以搭建伪分布式hadoop环境,用来测试和开发使用,hadoop包括: hdfs服务器, yarn服务器,yarn的前提是hdfs服务器, 在前面两个的基础上,课可以搭建hive服务器,不过hive不属于hadoop的必须部分。 过程不要想的太复杂,其实挺简单,这里用最糙最快最直接的方法,在我的单

    2024年02月20日
    浏览(54)
  • Windows环境下搭建完整的ELK平台

    一、背景 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。 通常,日志被分散的储存不

    2024年02月13日
    浏览(31)
  • ELK环境搭建——Install with Docker

    Install Docker Desktop or Docker Engine Install the appropriate Docker application for your operating system. Make sure that Docker is allotted at least 4GiB of memory. In Docker Desktop, you configure resource usage on the Advanced tab in Preference (macOS) or Settings (Windows). Optional: Verify the Elasticsearch Docker image signature Although it’s op

    2024年02月14日
    浏览(44)
  • Spark单机伪分布式环境搭建、完全分布式环境搭建、Spark-on-yarn模式搭建

    搭建Spark需要先配置好scala环境。三种Spark环境搭建互不关联,都是从零开始搭建。 如果将文章中的配置文件修改内容复制粘贴的话,所有配置文件添加的内容后面的注释记得删除,可能会报错。保险一点删除最好。 上传安装包解压并重命名 rz上传 如果没有安装rz可以使用命

    2024年02月06日
    浏览(83)
  • hadoop3.3.1单机版环境搭建详细流程记录

    安装vim即可; 按“o”进入编辑模式; 编辑完内容后,“esc”--“:”--\\\"wq\\\"--回车,执行保存并退出。 点\\\"i\\\"或者\\\"o\\\"进入编辑模式; 编辑完后,点\\\"Esc\\\"--\\\":\\\"--\\\"wq\\\",回车,保存退出。 生成公钥和私钥;(一直点下去即可) 授权是单向的; 8.1、方法一: 进入 ~/.ssh 目录下,查看生成

    2024年02月09日
    浏览(47)
  • Nacos 单机集群搭建及常用生产环境配置 | Spring Cloud 3

    Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。 Nacos 致力于帮助您发现、配置和管理微服务。 Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据

    2024年02月03日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包