【Apache Doris】Manager极致丝滑地运维管理

这篇具有很好参考价值的文章主要介绍了【Apache Doris】Manager极致丝滑地运维管理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.标准化VS可视化运维管理

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维
标准化运维管理,首先得自己手动在集群的每台节点上去分发包、并解压;然后分别对FE和BE进行配置初始化(FE主要修改IP和JAVA目录,BE主要修改IP、JAVA目录和存储路径配置)。

做完上面的包分发及配置初始化后,还需分别到对应节点去启动FE、BE和Broker进程,如果节点较多需要考虑写脚本分发命令或借助外部运维平台简化。其中BE和Broker可以直接把进程全部拉起,然后通过Client逐个Add加入集群即可,但FE集群有类似Zookeeper的选举机制,所以非第一个FE节点第一次启动时、还得注意加–helper命令。

初始化完集群后,如果想做可视化监控得另外集成Prometheus和Grafana,如果要做告警管理可能还得另外部署夜莺N9E。这一套组合拳下来,运维管理体系算是基本完成了,但是天都夜màma了。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

可视化运维管理(Cluster Manager for Apache Doris,简称 Doris Manager,再简称 Manager),它让使用者有了更多的时间钓鱼、消化饼 and 早点回家。

Manager能够快速拉起一套又一套的Doris/SelectDB集群,集成了监控告警、集群巡检和WebUI等模块,提供了集群启停、扩缩容和升级等常规运维操作可视化的快捷入口,能够极大地提高运维管理效率,且使用起来也非常顺畅。

接下来一起来纵享Manager的丝滑体验吧!

2. 环境信息

2.1.硬件信息

  • 内存:256G
  • CPU:48C
  • CPU架构:X86_64

2.2.软件信息

  • Doris: 2.0.2
  • SelectDB:2.0.2
  • Manager:23.10.3
  • 系统:CentOS

3.前置准备

官方专项微信群公告中应有尽有,还没有进群的小伙伴们可私a拉你!

3.1.安装包准备

  1. manager下载地址https://selectdb-doris-1308700295.cos.ap-beijing.myqcloud.com/doris-manager/release/23.10.3/doris-manager-23.10.3-x64-bin.tar.gz
  2. doris/selected安装包下载地址
    • doris: https://doris.apache.org/zh-CN/download/
    • selectdb: https://cn.selectdb.com/download/core

本次新建集群以selectdb为例,接管集群以doris为例。

3.2.文档手册准备

1. 部署手册
https://selectdb.feishu.cn/docx/AJNcdaDuboVfJTx1KVBc6Adwnpe?from=from_copylin
2. 使用指南
https://selectdb.feishu.cn/docx/QSt5dexQTorAkNxLaRCcMNncnmc?from=from_copylin
3. FAQ 文档
https://selectdb.feishu.cn/docx/AdaudiDKQovS7SxQwhucrUg7nPd?from=from_copylink
4. WebUI文档
https://cn.selectdb.com/docs/enterprise/enterprise-core-guide/selectdb-webui-guide
5. 问题收集与反馈
https://selectdb.feishu.cn/share/base/form/shrcnose8DHPBSoCX68hMU5nPOb

4.集群初始化

4.1.系统参数预设

  1. 交换分区(swap)未关闭,请打开终端窗口, 输入以下命令以禁用交换分区:
sudo swapoff -a
  1. 最大打开文件数小于65535,请打开终端窗口,输入以下命令:
sudo vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
sudo sysctl -p
  1. 虚拟内存区域数量不符合要求,请打开终端窗口,输入以下命令:
sudo sysctl -w vm.max_map_count=2000000
  1. 机器时钟一致(各节点之间的时差默认需小于5秒)

4.2.Manager部署

1)创建一个用于Manager的目录

mkdir manager
cd manager

2)上传准备的Manager和SelectDB包

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

3) 解压Manager包

tar -zxvf doris-manager-23.10.3-x64-bin.tar.gz

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

Manager安装包目录说明

    deps // Doris Manager 管控依赖组件
       alertmanager // 告警工具
       grafana // 监控看板工具
	   jdk // jdk依赖包
       prometheus // 监控指标存储工具
dorisctrl // Doris Manager 管控组件
       bin  // 启停脚本
       conf // 配置文件
       lib  // 服务二进制
webserver // Doris Manager Web 服务组件,这是网页入口服务,需要手工启动
       bin  // 启停脚本
       conf  // 配置文件
       config-tool  // Doris Manager 服务管理工具
       inspection  // 巡检脚本
       lib  // 服务二进制
       static  // 前端静态文件

4)配置web服务(可选)

不配置时,默认会将web服务的元数据存放在一个h2内置小数据库。

vim webserver/conf/manager.conf 

manager.conf如下:

# Doris Manager Web服务组件监听的端口
MANAGER_PORT=8004

# 服务依赖的数据库类型: mysql或者h2。默认为h2。
DB_TYPE=mysql

# 如果数据库类型为h2,默认的数据存储路径为webserver目录下的data路径,
# 用户也可以指定自定义的绝对路径
DATA_PATH=

# 如果数据库类型为mysql,配置mysql数据库的访问地址
DB_HOST=127.0.0.0

# 配置mysql数据库的访问端口
DB_PORT=3306

# 配置mysql数据库的访问用户
DB_USER=root

# 配置mysql数据库的访问用户密码
DB_PASS=root

# 配置mysql数据库的访问Database名称,需要提前创建
DB_DBNAME=manager

5)启动web服务

sh ./webserver/bin/start.sh 

由于本次是用Mysql作为Manager元数据库,当服务正常启动后、对应的db下也会自动初始化相关表。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

同时会起相应的进程doris-manager.jar。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

6.)访问web服务

直接通过浏览器输入URL——http://{Web服务机器IP}:{Web服务端口},比如http://127.0.0.0:8004

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

7)初始化Manager管理员账号密码
doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

8)配置服务组件部署信息

根据自己环境填写,如果暂时用不到监控告警模块可以选择[关闭];填写后点击【启动Doris Manager】。当前没有开启监控告警服务,后续可以重新打开。
doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

9)部署服务组件
点击【启动Doris Manager】后 ,提示正在启动 Doris Manager。
doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

启动成功后,提示用户进入 Doris Manager,即Managerbu部署完成 :

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

4.3.新集群部署

1)新建集群

填写自定义的集群名称、选择部署版本(会根据填写的包路径自动识别)以及数据库root用户密码后,点击【下一步】。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

2)节点配置

根据集群节点信息填写后点击【部署集群】即可。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

3)开始部署

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

部署成功后,提示用户进入集群:

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

进入集群,如下所示,即新集群部署完成:

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

4.4 监控告警

由于Manager部署流程中关闭了监控告警服务、故不会在左侧栏显示监控告警的入口,如下可重新开启监控告警。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

4.4.1 监控

Manager 监控模块集成了丰富的监控指标,相较于自己搭建Prometheus和Grafana去做监控指标可视化,大开方便之门。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

4.4.2 告警

Manager 告警模块支持邮箱、企业微信、飞书和钉钉群等方式发送告警通知,不会让你错过任何一条异常告警信息,非常贴心。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

至此,集群初始化完成。通过Manager来体验下常用的集群升级、集群扩所容以及多集群管理场景吧。

5. 集群升级

5.1 新包准备

准备好新版本的包与之前的包放在同一级目录下。
doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

5.2 一键升级

Manager中选择【集群升级】。
doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

选择目标版本,这里用的是SelectDB 2.0.3 rc04作为升级的目标版本,之后直接点点即可。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

5.3 结果验收

点击右上角可查看当前的版本,核验无误【立即验收】。
doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

6. 集群扩所容

6.1 一键扩容

以BE为例,选择【BE扩容】。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

可以单独扩容一个节点、也可以选择【批量添加节点】,之后直接点点即可。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

扩容结果查看。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

6.2 一键缩容

以刚刚扩容的BE为例,选择【BE缩容】。
doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维
确定需要下线缩容的BE节点【选择下线】,之后直接点点即可。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

缩容结果查看。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

7. 多集群管理

Manager支持同时管理多套集群。在已有一套集群的情况下,可以继续新建集群或者接管现有集群。本次以接管集群为例,接管现有的Doris 2.0.2集群。

7.1 新建/接管集群

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

7.2 环境配置

自定义集群名称,选择【接管现有集群】。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

7.3 节点配置

填写FE的IP/HTTP端口/JDBC端口以及节点用户名/密码/SSH端口后,Manager会自动识别待接管集群的FE和BE节点信息。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

之后直接点【接管集群】即可自动接管完成。

doris manager,Apache Doris,大数据,apache,大数据,数据分析,运维

8. 总结

一个字总结:丝滑!
两个字总结:极致丝滑!!

【Apache Doris】Manager极致丝滑地运维管理 分享至此结束,体验过程中若遇到问题欢迎留言交流文章来源地址https://www.toymoban.com/news/detail-836107.html

到了这里,关于【Apache Doris】Manager极致丝滑地运维管理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Apache Doris 快速入门

    FE,Frontend,前端节点,接收用户查询请求,SQL解析,执行计划生成,元数据管理,节点管理等 BE,Backend,后端节点,数据存储,执行查询计划。 前端节点FE 和 后端节点BE 各自独立运行,互不影响。 broker:用来和外部文件系统打交道 DORIS_HOME=/export/server/doris-1.2.4.1 node1:安装

    2024年02月07日
    浏览(45)
  • Apache Doris

    1.Doris 简介 1.1 Doris 概述 Apache Doris 由百度大数据部研发(之前叫百度 Palo,2018 年贡献到 Apache 社区后, 更名为 Doris ),在百度内部,有超过 200 个产品线在使用,部署机器超过 1000 台,单一 业务最大可达到上百 TB。 Apache Doris 是一个现代化的 MPP(Massively Parallel Processing,即大

    2024年02月06日
    浏览(42)
  • Apache Doris 学习笔记

    目录 一、Doris简介 一)概述 二)使用场景 三)架构 二、Doris安装部署 一)安装要求 2.1.1 Linux操作系统 2.1.2 软件需求 2.1.3 开发测试环境 2.1.4 生产环境 2.1.5 内部端口使用说明 二)部署 2.2.1 操作系统 2.2.2 Doris安装包 2.2.3 解压安装包 2.2.4 配置FE 2.2.5 配置BE 三、Doris数据表设计

    2024年02月05日
    浏览(35)
  • Apache Doris (十六) :Doris分区和分桶2-List分区

    目录 1. List分区 1.1 创建List分区方式 1.2 增删分区 ​​​​​​​1

    2024年02月12日
    浏览(40)
  • Apache Doris (六十四): Flink Doris Connector - (1)-源码编译

     🏡 个人主页:IT贫道-CSDN博客   🚩 私聊博主:私聊博主加WX好友,获取更多资料哦~  🔔 博主个人B栈地址:豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频 目录 1. Flink与Doris版本兼容

    2024年01月18日
    浏览(56)
  • 【Doris实战】Apache-doris-2.0.2部署帮助手册

    校验时间:2023年10月11日 版权声明:本文为CSDN博主「顧棟」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 原文链接:https://blog.csdn.net/weixin_43820556/article/details/133754689 安装包 apache-doris-2.0.2-bin-x64.tar.gz jdk1.8.0_131.tgz mysql-5.7.43-linux-glibc2.12-x86_64.tar.g

    2024年02月07日
    浏览(53)
  • Apache Doris (二十三) :Doris 数据导入(一)Insert Into

    目录 1. 语法及参数 2. 案例 ​​​​3. 注意事项 3.1. 关于插入数据量

    2024年02月13日
    浏览(57)
  • Apache Doris 入门 10 问

    基于 Apache Doris 在读写流程、副本一致性机制、 存储机制、高可用机制等方面的常见疑问点进行梳理,并以问答形式进行解答。在开始之前,我们先对本文相关的 名词 进行解释: FE :Frontend,即 Doris 的前端节点。主要负责接收和返回客户端请求、元数据以及集群管理、查询

    2024年02月02日
    浏览(40)
  • 【数据仓库】Apache Doris介绍

    Apache Doris应用场景 Apache Doris核心特性 Apache Doris架构 Aggregate模型介绍   Uniq模型介绍          在某些多维分析场景下,用户更关注的是如何保证Key的唯一性Key 唯一性约束。因此,我们引入了 Unig 的数据模型。该模型本质上是聚合模型的一个特例,也是一种简化的表结构表

    2024年02月12日
    浏览(65)
  • Apache Doris入门10问

    基于 Apache Doris 在读写流程、副本一致性机制、 存储机制、高可用机制等方面的常见疑问点进行梳理,并以问答形式进行解答。在开始之前,我们先对本文相关的 名词 进行解释: FE :Frontend,即 Doris 的前端节点。主要负责接收和返回客户端请求、元数据以及集群管理、查询

    2024年01月21日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包