linux环境下ES的单机和集群部署,kibana的安装部署,cerebro的安装部署

这篇具有很好参考价值的文章主要介绍了linux环境下ES的单机和集群部署,kibana的安装部署,cerebro的安装部署。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ES下载安装

我选择的是7.13.0的版本,可以在官网下载对应的版本之后再上传到我们自己的Linux虚拟机上。
cerebro部署,ES,elasticsearch,linux,jvm,大数据
或者可以在自己本地linux虚拟机上执行如下命令下载es的压缩包。

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.13.0-linux-x86_64.tar.gz

下载完成后如下图:
cerebro部署,ES,elasticsearch,linux,jvm,大数据
然后用如下命令执行解压ES压缩包到指定文件夹下,文件夹的路径必须存在,否则会报错:

tar -zxvf elasticsearch-7.13.0-linux-x86_64.tar.gz -C /usr/local/es/

cerebro部署,ES,elasticsearch,linux,jvm,大数据
解压成功后在对应目录下可以看到解压后的文件目录:
cerebro部署,ES,elasticsearch,linux,jvm,大数据
将es的目录进行改名,如下图:
cerebro部署,ES,elasticsearch,linux,jvm,大数据
我们来看下es的目录结构,如下图所示:
cerebro部署,ES,elasticsearch,linux,jvm,大数据

  • bin目录:包含一些执行脚本,其中ES的启动文件和脚本安装文件就在这个目录里。
  • config目录:包含集群的配置文件(elasticsearch.yml),jvm配置(jvm.options),user等相关配置。
  • JDK目录:7.0后自带jdk,java运行环境。
  • lib目录:java的类库。
  • plugins目录:插件安装的目录。
  • modules目录:包含所有es的模块。

修改ES配置

修改elasticsearch.yml文件

#集群的名字 单机也可以配置名称
cluster.name: my_app
#节点的名称
node.name: node_1
#数据文件的存储位置
path.data: /usr/local/es/es_node/data
#日志文件的存储位置
path.logs: /usr/local/es/es_node/logs
#ES 提供服务的监听地址,线上一定不能配置 ip 为 0.0.0.0,这是非常危险的行为。0.0.0.0 表示所有ip都可以访问
network.host: 0.0.0.0
#ES 提供服务的监听端口
http.port: 9200
#在开箱即用的情境下(本机环境)无需配置,ES 会自动扫描本机的 9300 到9305 端口。一旦进行了网络环境配置,这个自动扫描操作就不会执行。discovery.seed_hosts 配置为 master 候选者节点即可。 如果需要指定端口的话,其值可以为:[“localhost:9300”, “localhost:9301”]
#该配置是做服务或者节点发现的,其他节点必须知道他们才能进入集群,一般配置为集群的 master 候选者的列表
discovery.seed_hosts: [“192.168.10.128”]
#指定新集群 master 候选者列表,其值为节点的名字列表。这里配置了 node.name: node_1,所以其值为 [“node_1”],而不是 ip 列表 !
cluster.initial_master_nodes: [“node_1”]

修改jvm.options文件

#初始java堆内存大小
-Xms1g
#最大的堆内存大小
-Xmx1g

JVM 配置需要以下几点:

  • -Xms 和-Xmx 这两个 JVM 的参数必须配置为一样的数值。服务在启动的时候就分配好内存空间,避免运行时申请分配内存造成系统抖动。
  • Xmx 不要超过机器内存的50%,留下些内存供 JVM 堆外内存使用。
  • 并且 Xmx 不要超过 32G。建议最大配置为 30G。接近 32G,可能会使JVM压缩指针的功能失效,导致性能下降。

启动ES

在es_node目录下执行 bin/elasticsearch命令启动报错,如下图所示:
cerebro部署,ES,elasticsearch,linux,jvm,大数据
原因是es不能使用root用户启动服务,所以我们还需要为es创建一个用户。
执行以下命令,添加用户并赋予权限:

#创建es用户
useradd es
#将这个文件夹权限赋给es
chown -R es:es /usr/local/es/es_node

接着再执行上述命令启动,会发现报下面的错误:
cerebro部署,ES,elasticsearch,linux,jvm,大数据
按照提示进行操作系统配置就可以了,如下图:
cerebro部署,ES,elasticsearch,linux,jvm,大数据
修改完后切换到es用户再启动服务。可以看到es单机服务可以正常启动成功:
cerebro部署,ES,elasticsearch,linux,jvm,大数据
./bin/elasticsearch -d 可以使es在后台启动,在对应的my_app.log下可以查看启动日志。
cerebro部署,ES,elasticsearch,linux,jvm,大数据
在浏览器中访问 192.168.10.128:9200,如果得到以下结果即运行成功:
cerebro部署,ES,elasticsearch,linux,jvm,大数据

kibana的安装与部署

下载解压kibana压缩包

在本地虚拟机执行以下命令下载kibana的压缩包:

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.13.0-linux-x86_64.tar.gz

下载完成如下图:
cerebro部署,ES,elasticsearch,linux,jvm,大数据
然后用如下命令执行解压kibana压缩包到指定文件夹下,文件夹的路径必须存在,否则会报错:

tar -zxvf kibana-7.13.0-linux-x86_64.tar.gz -C /usr/local/kibana/

解压成功后在对应目录下可以看到解压后的文件目录:
cerebro部署,ES,elasticsearch,linux,jvm,大数据
将kibana的目录进行改名,如下图:
cerebro部署,ES,elasticsearch,linux,jvm,大数据

修改kibana配置

#端口
server.port: 5601
#ip
server.host: “192.168.10.128”
#es服务地址
elasticsearch.hosts: ["http://192.168.10.128:9200]

kibana启动

在kibana目录下执行下面的命令启动服务:

./bin/kibana >> run.log 2>&1 &

找到对应的日志查看日志,发现报错:
cerebro部署,ES,elasticsearch,linux,jvm,大数据
kibana与es一样不能用root用户启动,我们还是切换到es用户启动kibana。
在启动之前先给kibana的目录赋予es用户的权限:

chown -R es:es /usr/local/kibana/kibana/

cerebro部署,ES,elasticsearch,linux,jvm,大数据
再切换到es用户启动服务:
cerebro部署,ES,elasticsearch,linux,jvm,大数据
安装完成后,在浏览器中访问 192.168.10.128:5601,如果运行成功可以进入到如下界面:
cerebro部署,ES,elasticsearch,linux,jvm,大数据

安装 Cerebro

Cerebro 是一个简单的 ES 管理工具,其安装步骤如下:

#如果你无法从github下载文件,那么可以访问下面的链接手动(备份地址无法用wget下载)下载,然后再进行解压。
#备份地址:https://gitee.com/dgl/es-booklet/raw/master/resources/cerebro-0.9.4.tgz
wget https://github.com/lmenezes/cerebro/releases/download/v0.9.4/cerebro-0.9.4.tgz
tar -zxvf cerebro-0.9.4.tgz -C /usr/local/
cd /usr/local/
mv cerebro-0.9.4 cerebro
cd cerebro
sed -i ‘s/server.http.port = ${?CEREBRO_PORT}/server.http.port = 9800/g’ conf/application.conf
echo -e ‘\nhosts = [
{
host = “http://192.168.10.128:9200”
name = “my_app”
}
]’ >> conf/application.conf

配置完成后,运行以下指令启动 cerebo:

#启动, 在run.log中查看日志
nohup ./bin/cerebro > run.log &

如果启动成功,在浏览器中访问 localhost:9800 即可访问 cerebro。
cerebro部署,ES,elasticsearch,linux,jvm,大数据

ES集群部署

上述只是搭建启动了一个单机版的es服务,接下来我们在三台虚拟机上分别启动es服务组成es集群。
es节点对应的虚拟机地址如下:

ES节点名称 虚拟机ip地址
node_1 192.168.10.128
node_2 192.168.10.129
node_3 192.168.10.130

我们先修改原来单机es服务的配置,然后复制到另外两台机器上,具体修改的内容如下:

#在es的配置文件中将对应的参数修改为下面的值
network.host: 192.168.10.128
discovery.seed_hosts: [“192.168.10.128:9300”,“192.168.10.129:9300”,“192.168.10.130:9300”]
transport.port: 9300
#然后执行以下命令将es所在的目录拷贝到另外两台机器上
scp -r es_node/ root@192.168.10.129:/usr/local/es/
scp -r es_node/ root@192.168.10.130:/usr/local/es/
#在192.168.10.129这台机器上修改对应的es配置文件
#将节点名称修改为node_2
node.name: node_2
#将监听地址改为本机ip地址
network.host: 192.168.10.129
#同理在192.168.10.130机器上将节点名称修改为node_3
node.name: node_3
#将监听地址改为本机ip地址
network.host: 192.168.10.130
在129和130两台机器上添加es用户并赋予对应权限
useradd es
chown -R es:es /usr/local/es/es_node
#然后在每台机器上切换到es用户
su es
#执行命令启动es服务
./bin/elasticsearch -d

上述步骤都操作成功后,我们可以在cerebro页面看到es集群的相关信息,如下图所示:
cerebro部署,ES,elasticsearch,linux,jvm,大数据文章来源地址https://www.toymoban.com/news/detail-714679.html

到了这里,关于linux环境下ES的单机和集群部署,kibana的安装部署,cerebro的安装部署的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • docker部署单机ES集群7.2.0

    初始化es配置文件 调高JVM线程数限制数量 服务部署 es集群部署 确认集群配置 上面是同一台主机建立的,没设置内网ip,所以显示的是docker网络ip,如果是三台内网主机建立集群,建立集群成功后如图所示: 部署elasticsearch-head 便于管理es数据  确认效果 汉化:kibana 7.* 设置中

    2024年02月13日
    浏览(40)
  • linux搭建单机ES,集成ik分词器,文本抽取,Kibana可视化平台

    准备工作 第一项: 创建运行Elasticsearch和Kibana专用的普通用户,因为 elasticsearch 和 kibana 不允许使用 root用户启动,所以需要创建新用户启动。 linux用root权限创建一个用户赋权即可,注意权限要给足 第二项(启动没有报相关错误此项可以不做调整): 设置linux的虚拟内存 修改

    2024年02月04日
    浏览(44)
  • k8s Operator 部署 elasticsearch 7.10 + kibana + cerebro

    1.1 部署 ECK Elastic Cloud on Kubernetes,这是一款基于 Kubernetes Operator 模式的新型编排产品,用户可使用该产品在 Kubernetes 上配置、管理和运行 Elasticsearch 集群。ECK 的愿景是为 Kubernetes 上的 Elastic 产品和解决方案提供 SaaS 般的体验。 k8s 版本 部署 ECK 1)If you are running a version of Kub

    2024年02月08日
    浏览(44)
  • k8s部署elk+filebeat+logstash+kafka集群(一)ES集群+kibana部署

    前言: 这次是在部署后很久才想起来整理了下文档,如有遗漏见谅,期间也遇到过很多坑有些目前还没头绪希望有大佬让我学习下 一、环境准备 k8s-master01 3.127.10.209 k8s-master02 3.127.10.95 k8s-master03 3.127.10.66 k8s-node01 3.127.10.233 k8s-node02 3.127.33.173 harbor 3.127.33.174 1、k8s各节点部署nf

    2023年04月23日
    浏览(40)
  • Centos7 x86服务器一键部署ES集群/单机shell

            由于日常的实施工作中经常用到单机或者集群的es,每次都手动部署感觉很麻烦,于是抽空写了一个一键部署脚本,通过简单指定集群名称、节点ip、端口等几个配置参数后自动部署es单机或者集群数据库 该安装包实现利用给定参数安装单机版或者集群版es数据库,指

    2023年04月11日
    浏览(85)
  • Es elasticsearch 十九 kibana 可视化配置图表 及功能 集群部署

    目录 Es kibana 可视化 下载zip 解压  bin/kibana.bat 启动 管理索引管理 吧logstash 存进来的数据 按照 xxx-* 方式 保存索引模式 通过 discove 配置可视化界面 图表数据实时刷新 时序图配置 饼图配置 表格数据配置 添加仪表盘 图表样例 使用后模拟绘制方法好看些 Grok 语法测试工具 集群

    2024年02月08日
    浏览(51)
  • TiDB单机模拟部署生产环境集群(闭坑实践,亲测有效)

    上篇文章,我详细介绍了TIDB这款开源分布式关系型数据库,重点阐述了TIDB的多个优秀的特性,例如高度兼容MySQL、分布式事务支持、云原生SQL数据库、水平可扩展性、高可用性等。大家一定想揭开TIDB的神秘的面纱了,这篇文章我就带大家模拟部署生产环境集群。 在官网看了

    2024年01月24日
    浏览(42)
  • nacos - centos7.x环境单机与集群快速部署

    参考官网:https://nacos.io/zh-cn/docs/what-is-nacos.html 官方集群部署手册:https://nacos.io/zh-cn/docs/cluster-mode-quick-start.html 【单机部署】 1.下载 解压到安装目录 下载:wget -c https://github.com/alibaba/nacos/releases/download/2.1.2/nacos-server-2.1.2.tar.gz 解压:tar -zxvf nacos-server-2.1.2.tar.gz -C /opt/app/ 2.初始

    2024年02月09日
    浏览(44)
  • linux部署es+kibana

    部署kibana与es 3.4.1、拷贝文件 首先把elasticsearch-7.3.1-linux-x86_64.tar.gz 和kibana-7.3.1-linux-x86_64.tar.gz拷贝到linux上,比如我是拷贝 /usr/ local  目录下 3.4.2、解压文件 然后分别执行tar -zxvf elasticsearch-7.3.1-linux-x86_64.tar.gz和tar -zxvf kibana-7.3.1-linux-x86_64.tar.gz将文件解压出来。如图 3.4.3、授

    2024年02月12日
    浏览(40)
  • Elasticsearch02:ES安装部署【单机】

    ES支持单机和集群,在使用层面是完全一样的。 首先下载ES的安装包,目前ES最新版本是7.x,在这使用7.13.4版本。 (1)百度网盘地址: (2)官网下载地址: 选择ES的对应版本。 ES 7.13.4版本的安装包下载地址为: 注意:目前ES中自带的有open JDK,不用单独安装部署Oracle JDK。

    2023年04月12日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包