ElasticSearch-安装部署全过程

这篇具有很好参考价值的文章主要介绍了ElasticSearch-安装部署全过程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文已收录于专栏
《中间件合集》

概念说明

什么是ElasticSearch

  是一个开源的分布式搜索和分析引擎,它建立在 Apache Lucene 搜索引擎库之上。它提供了一个分布式、多租户的全文搜索引擎,具有强大的实时搜索和分析能力。Elasticsearch 是用 Java 语言编写的,并且提供了 RESTful API,使其易于集成和使用。

ElasticSearch 官网:https://www.elastic.co/cn/elasticsearch/

什么是Kibana

  Kibana 是一个用于数据可视化和分析的开源工具。它提供了一个直观的 Web 界面,可以通过图表、仪表盘和报表等方式展示 Elasticsearch 中的数据。Kibana 支持实时数据可视化,并提供了强大的查询和过滤功能。它还可以与 Elasticsearch 进行深度集成,通过搜索和聚合数据来生成交互式报表和可视化图表。

什么是RESTful API

  RESTful API 是一种设计风格和架构原则,用于构建可扩展的、可维护的网络服务。REST 是 Representational State Transfer 的缩写,它强调在网络中以资源为中心进行通信。

RESTful API 的设计原则包括:

  基于资源:将网络服务中的数据和功能抽象为资源,每个资源都有一个唯一的标识符(URI)。客户端通过 URI 访问和操作资源。

  统一接口:RESTful API 使用统一的接口定义,包括使用 HTTP 方法(GET、POST、PUT、DELETE)对资源进行操作,使用 HTTP 状态码表示操作结果,使用 MIME 类型指定数据的表示形式(如 JSON、XML)。

  无状态性:每个请求都是独立的,服务器不会保存客户端的状态信息。客户端可以在请求中包含所有必要的信息,服务器根据请求进行处理并返回响应。

  可缓存性:RESTful API 支持缓存,客户端可以缓存服务器返回的响应,减少网络传输和服务器负载。

  分层系统:RESTful API 的架构是分层的,每一层都有特定的功能和责任。客户端可以通过中间层(如代理服务器)与服务器进行通信,而不需要了解底层的实现细节。

  安全性:RESTful API 使用标准的安全机制(如 HTTPS、OAuth)来保护数据和通信的安全性。

  RESTful API 的设计目标是简单、可扩展和易于理解。它可以被不同的客户端(如 Web 应用、移动应用)使用,并且可以与不同的后端服务进行集成。RESTful API 已经成为构建 Web 服务和应用程序的常用标准。

提供服务

  • 「 实时搜索 」:Elasticsearch 提供了高性能的实时搜索功能,可以快速地从大量数据中检索相关的结果。

  • 「 分布式架构」:Elasticsearch 使用分布式架构,可以在多个节点上存储和处理数据。这使得它具有高可用性、可伸缩性和容错性。

  • 「 全文搜索 」:Elasticsearch 使用倒排索引技术,可以对文本数据进行全文搜索。它支持复杂的查询和过滤,可以根据相关性对搜索结果进行排序。

  • 「数据分析」:Elasticsearch 提供了强大的数据聚合和分析功能,可以对大规模数据进行实时分析。它支持聚合、分组、统计和可视化等功能,帮助用户发现数据中的模式和趋势。

  • 「 分布式文档存储」:Elasticsearch 使用 JSON 文档存储数据,每个文档都有一个唯一的 ID。它支持索引和搜索各种类型的数据,包括结构化、半结构化和非结构化数据。

安装过程

安装ElasticSearch

1.下载ElasticSearch 安装包

可以从官网上直接下载,然后在放到es服务器上,也可以使用wget命令的形式直接下载(下载比较慢)

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-linux-x86_64.tar.gz

2.解压安装包

tar -xvf elasticsearch-7.6.2-linux-x86_64.tar.gz

ElasticSearch-安装部署全过程,中间件合集,elasticsearch,大数据,搜索引擎

3.进入解压之后的文件夹

 cd elasticsearch-7.6.2

4.创建一个data文件夹用来存储数据

mkdir data

ElasticSearch-安装部署全过程,中间件合集,elasticsearch,大数据,搜索引擎

5.进入config文件夹编辑elasticsearch.yml

vi elasticsearch.yml

将以下注解解开
ElasticSearch-安装部署全过程,中间件合集,elasticsearch,大数据,搜索引擎
ElasticSearch-安装部署全过程,中间件合集,elasticsearch,大数据,搜索引擎
network.host修改为0.0.0.0,让所有的服务器都可以进行访问
ElasticSearch-安装部署全过程,中间件合集,elasticsearch,大数据,搜索引擎

6.修改内存配置

vim ./config/jvm.options

ElasticSearch-安装部署全过程,中间件合集,elasticsearch,大数据,搜索引擎

7.修改系统配置,编辑文件sysctl.conf,增加一行vm.max_map_count=262144,保存后退出

sudo vim /etc/sysctl.conf

ElasticSearch-安装部署全过程,中间件合集,elasticsearch,大数据,搜索引擎

:wq

8.创建ES专用账号

ElasticSearch5.0之后不能使用root账号启动,所以需要创建ES用户并设置密码。

8.1创建用户
useradd user-es
8.2设置密码
sudo passwd 用户名

系统会提示你输入新密码两次。请注意,密码输入时不会显示在终端上,这是出于安全考虑。

8.3赋予权限
# 将es和kibana目录赋权限给新建用户,/usr/local为es所在上级目录
chown admin /usr/local -R

ElasticSearch-安装部署全过程,中间件合集,elasticsearch,大数据,搜索引擎

8.4设置用户的相关先限制

在linux中这些限制是分为软限制(soft limit)和硬限制(hard limit)的。他们的区别就是软限制可以在程序的进程中自行改变(突破限制),而硬限制则不行(除非程序进程有root权限)
-H :hard limit ,严格的设定,必定不能超过这个设定的数值,超过会报错
-S :soft limit ,警告的设定,可以超过这个设定值,但是若超过则有警告信息

vim /etc/security/limits.conf,在末尾加上:

admin soft nofile 65536 #表示该用户的进程可以打开的最大文件描述符数,软限制
admin hard nofile 65536 #表示该用户的进程可以打开的最大文件描述符数,硬限制
admin soft nproc 4096    #单个用户可用的最大进程数量 ,软限制
admin hard nproc 4096   #单个用户可用的最大进程数量,硬限制
 
vim /etc/security/limits.d/20-nproc.conf,增加:

admin    soft    nproc     4096

8.5执行sysctl -p 使配置生效
sudo sysctl -p 

9.启动ElasticSearch服务

在ES目录中执行以下命令:

前台执行   ./bin/elasticsearch
后台执行   nohup ./bin/elasticsearch > nohup.out 2>&1 &

10.访问ElasticSearch服务,查看是否启动成功

直接访问ip+端口号,咱们之前设置的端口号为9200

ElasticSearch-安装部署全过程,中间件合集,elasticsearch,大数据,搜索引擎
  注:记得打开端口号,可参考博客:Linux如何打开指定端口号

安装Kibana

1.wget下载安装包

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.6.2-linux-x86_64.tar.gz

2.解压安装包

tar -xvf kibana-7.6.2-linux-x86_64.tar.gz

ElasticSearch-安装部署全过程,中间件合集,elasticsearch,大数据,搜索引擎

3.进入到kibana目录

cd kibana-7.6.2-linux-x86_64

4.编辑配置文件

vim config/kibana.yml

# 添加以下内容:
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://es的ip地址或域名:9200"]

ElasticSearch-安装部署全过程,中间件合集,elasticsearch,大数据,搜索引擎

5.启动Kinbana

前台执行   ./bin/kinbana
后台执行   nohup ./bin/kinbana > nohup.out 2>&1 &

6.访问Kinbana服务,查看是否启动成功

直接访问ip+端口号,咱们之前设置的端口号为5601
ElasticSearch-安装部署全过程,中间件合集,elasticsearch,大数据,搜索引擎

常见问题

在启动的过程中经常会出现以下问题,基本上都是配置文件修改之后没有生效的原因
ElasticSearch-安装部署全过程,中间件合集,elasticsearch,大数据,搜索引擎

1.max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
  解决方案:执行sudo vim /etc/security/limits.conf查看是否加上了如图配置。加上之后在执行sysctl -p ,再启动ES,如果依然出现相同的错误,则说明配置没有生效,重启服务器使用reboot命令,再启动ES,问题应该就可以解决了。
2.max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
  解决方案:解决方法:回到之间的步骤,配置ElasticSearch中的步骤五,执行sudo vim /etc/sysctl.conf查看是否加上了如图配置。加上之后在执行sysctl -p ,再启动ES,如果依然出现相同的错误,则说明配置没有生效,重启服务器使用reboot命令,再启动ES,问题应该就可以解决了。

总结提升

    Elasticsearch 和 Kibana 的结合可以实现强大的搜索、分析和可视化功能。通过使用 Elasticsearch 的搜索和分析能力,可以轻松地对大量数据进行复杂的查询和聚合操作。而 Kibana 则提供了友好的界面,方便用户通过图表和仪表盘等方式直观地展示和分析数据。文章来源地址https://www.toymoban.com/news/detail-659553.html


🎯 此文章对你有用的话记得留言+点赞+收藏哦🎯

到了这里,关于ElasticSearch-安装部署全过程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • .net core 项目部署linux系统全过程

      使用Xshell远程连接阿里云服务器 - 程序员大本营 使用Xshell远程连接阿里云服务器,程序员大本营,技术文章内容聚合第一站。 https://www.pianshen.com/article/2750375233/      配置完之后 绑定密钥对。   保存密钥文件到桌面。   家庭/学校免费 - NetSarang Website https://www.xshell.com/z

    2024年02月05日
    浏览(43)
  • DockerCompose - 微服务项目部署全过程(最佳实践)

    目录 一、微服务项目部署 1.1、项目介绍 1.2、准备 MySQL 初始化文件 1.3、pom.xml 插件 1.4、测试工作 1.5、编写 Dockerflie 文件 1.6、编写 DockerCompose.yml 文件 1.7、修改 application.yml 文件 1.8、打包上传服务器 1.9、微服务,启动! 1.10、测试结果 a)技术选型:SpringCloud 2021.0.1 、SpringC

    2024年04月16日
    浏览(52)
  • k3s部署全过程kuboard管理界面

    # 安装k3s博客 ## 准备工作 1.准备俩台可以相互访问的服务器 2.需要先安装dockers 3.以下教程将使用VsCode+ssh插件来进行插件图 点击打开ssh操作界面 进入需要设置master节点的服务器中然后执行docker命令启动一个autok3s的容器并且需要将docker映射进去 注:如果选择使用docker做为k3s的

    2024年02月06日
    浏览(51)
  • 手把手教会搭建网站详细全过程(从域名到网站部署)

    过年在家,闲的没有什么事做,刚好在之前通过腾讯的学生认证购买了部署了一个轻量应用服务器,可以用来建站。想到可以用自己域名建一个专属网站,做一回站长就好激动 刚刚提到了腾讯的学生认证购的轻量应用服务器,这个挺实惠的,这里推销一波😁。 腾讯轻量应用

    2023年04月08日
    浏览(46)
  • linux安装docker全过程

    3. 第二步:设置docker的存储库。就两条命令,我们直接执行就好。 ​ ​ 4. 安装docker engine和docker-compose。 执行命令: ​ 等到屏幕输出success后,我们输入docker -v 。如果输出了它的版本号那么就证明docker安装好了。输入 docker compose version 如果也输出了版本号,则证明 docker-co

    2024年02月10日
    浏览(48)
  • Windows安装DVWA(全过程)

    安装DVWA环境目的是搭建漏洞靶场环境,安全进行攻防演示 1、PHPStudy软件安装 2、DVWA下载与安装 1、PHPStudy软件安装 【1】访问此网站PHPStudy下载软件(下载最新版的就可以) 【2】在下载好的压缩包中运行.exe文件 【3】设定安装路径(自己设定安装路径,最好不要放在C盘)安装

    2024年01月16日
    浏览(47)
  • Microsoft Office安装全过程记录

    相信过新年时大家都会收到许多压岁钱吧(也可能是输出了许多压岁钱),过了一个新年,我收到了2000多块压岁钱。因此,我想完成一个一直没有完成的梦想,那就是把电脑上的WPS换成信息课老师示范的Microsoft Office(我放弃WPS的两个原因:1. 没Office用着习惯;2. 它慢慢的也

    2024年02月08日
    浏览(53)
  • selenium包安装失败,解决全过程

    今晚用到了selenium库,就用命令 自然而然,因为没有安装此库,所以selenium下面有条红色波浪线,遂 来进行安装,结果安装失败。 在Terminal里查看 解决过程: 1.进入官网,对selenium包进行下载 官网下载地址 下载完如下: 进入到python项目的环境里,放在lib的site-packages下 开始

    2024年02月11日
    浏览(40)
  • 300人工厂网络规范部署从零规划选型设计到实战全过程

    公司新建了一个2000多平方的工厂,约300多名员工,整个厂房的生产和办公区域需要有线和无线网络覆盖,满足有线和无线 办公和工厂设备连接, 以及各个位置监控部署、门禁使用。 1. 宽带套餐选型     前期根据工厂CAD平面布局图,规划有线点位、无线点位、门禁点位、监

    2024年02月02日
    浏览(51)
  • 下载安装SQL Sever 2022全过程

    1. 官网下载Developer版:SQL Server 下载 | Microsoft       双击打开安装包,修改安装位置,点击安装 进到这个界面,如图所示点击 不用管防火墙警告,点击下一步,如果安装失败去把Windows暂时关闭后再尝试。   到此安装完成后,关闭所有安装窗口。可重启计算机。 2. 去SQL Se

    2024年02月11日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包