1.标准化VS可视化运维管理
标准化运维管理,首先得自己手动在集群的每台节点上去分发包、并解压;然后分别对FE和BE进行配置初始化(FE主要修改IP和JAVA目录,BE主要修改IP、JAVA目录和存储路径配置)。
做完上面的包分发及配置初始化后,还需分别到对应节点去启动FE、BE和Broker进程,如果节点较多需要考虑写脚本分发命令或借助外部运维平台简化。其中BE和Broker可以直接把进程全部拉起,然后通过Client逐个Add加入集群即可,但FE集群有类似Zookeeper的选举机制,所以非第一个FE节点第一次启动时、还得注意加–helper命令。
初始化完集群后,如果想做可视化监控得另外集成Prometheus和Grafana,如果要做告警管理可能还得另外部署夜莺N9E。这一套组合拳下来,运维管理体系算是基本完成了,但是天都夜màma了。
可视化运维管理(Cluster Manager for Apache Doris,简称 Doris Manager,再简称 Manager),它让使用者有了更多的时间钓鱼、消化饼 and 早点回家。
Manager能够快速拉起一套又一套的Doris/SelectDB集群,集成了监控告警、集群巡检和WebUI等模块,提供了集群启停、扩缩容和升级等常规运维操作可视化的快捷入口,能够极大地提高运维管理效率,且使用起来也非常顺畅。
接下来一起来纵享Manager的丝滑体验吧!
2. 环境信息
2.1.硬件信息
- 内存:256G
- CPU:48C
- CPU架构:X86_64
2.2.软件信息
- Doris: 2.0.2
- SelectDB:2.0.2
- Manager:23.10.3
- 系统:CentOS
3.前置准备
官方专项微信群公告中应有尽有,还没有进群的小伙伴们可私a拉你!
3.1.安装包准备
- manager下载地址:https://selectdb-doris-1308700295.cos.ap-beijing.myqcloud.com/doris-manager/release/23.10.3/doris-manager-23.10.3-x64-bin.tar.gz
-
doris/selected安装包下载地址:
- doris: https://doris.apache.org/zh-CN/download/
- selectdb: https://cn.selectdb.com/download/core
本次新建集群以selectdb为例,接管集群以doris为例。
3.2.文档手册准备
1. 部署手册:
https://selectdb.feishu.cn/docx/AJNcdaDuboVfJTx1KVBc6Adwnpe?from=from_copylin
2. 使用指南:
https://selectdb.feishu.cn/docx/QSt5dexQTorAkNxLaRCcMNncnmc?from=from_copylin
3. FAQ 文档:
https://selectdb.feishu.cn/docx/AdaudiDKQovS7SxQwhucrUg7nPd?from=from_copylink
4. WebUI文档:
https://cn.selectdb.com/docs/enterprise/enterprise-core-guide/selectdb-webui-guide
5. 问题收集与反馈:
https://selectdb.feishu.cn/share/base/form/shrcnose8DHPBSoCX68hMU5nPOb
4.集群初始化
4.1.系统参数预设
- 交换分区(swap)未关闭,请打开终端窗口, 输入以下命令以禁用交换分区:
sudo swapoff -a
- 最大打开文件数小于65535,请打开终端窗口,输入以下命令:
sudo vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
sudo sysctl -p
- 虚拟内存区域数量不符合要求,请打开终端窗口,输入以下命令:
sudo sysctl -w vm.max_map_count=2000000
- 机器时钟一致(各节点之间的时差默认需小于5秒)
4.2.Manager部署
1)创建一个用于Manager的目录
mkdir manager
cd manager
2)上传准备的Manager和SelectDB包
3) 解压Manager包
tar -zxvf doris-manager-23.10.3-x64-bin.tar.gz
Manager安装包目录说明
deps // Doris Manager 管控依赖组件
alertmanager // 告警工具
grafana // 监控看板工具
jdk // jdk依赖包
prometheus // 监控指标存储工具
dorisctrl // Doris Manager 管控组件
bin // 启停脚本
conf // 配置文件
lib // 服务二进制
webserver // Doris Manager Web 服务组件,这是网页入口服务,需要手工启动
bin // 启停脚本
conf // 配置文件
config-tool // Doris Manager 服务管理工具
inspection // 巡检脚本
lib // 服务二进制
static // 前端静态文件
4)配置web服务(可选)
不配置时,默认会将web服务的元数据存放在一个h2内置小数据库。
vim webserver/conf/manager.conf
manager.conf如下:
# Doris Manager Web服务组件监听的端口
MANAGER_PORT=8004
# 服务依赖的数据库类型: mysql或者h2。默认为h2。
DB_TYPE=mysql
# 如果数据库类型为h2,默认的数据存储路径为webserver目录下的data路径,
# 用户也可以指定自定义的绝对路径
DATA_PATH=
# 如果数据库类型为mysql,配置mysql数据库的访问地址
DB_HOST=127.0.0.0
# 配置mysql数据库的访问端口
DB_PORT=3306
# 配置mysql数据库的访问用户
DB_USER=root
# 配置mysql数据库的访问用户密码
DB_PASS=root
# 配置mysql数据库的访问Database名称,需要提前创建
DB_DBNAME=manager
5)启动web服务
sh ./webserver/bin/start.sh
由于本次是用Mysql作为Manager元数据库,当服务正常启动后、对应的db下也会自动初始化相关表。
同时会起相应的进程doris-manager.jar。
6.)访问web服务
直接通过浏览器输入URL——http://{Web服务机器IP}:{Web服务端口},比如http://127.0.0.0:8004
7)初始化Manager管理员账号密码
8)配置服务组件部署信息
根据自己环境填写,如果暂时用不到监控告警模块可以选择[关闭];填写后点击【启动Doris Manager】。当前没有开启监控告警服务,后续可以重新打开。
9)部署服务组件
点击【启动Doris Manager】后 ,提示正在启动 Doris Manager。
启动成功后,提示用户进入 Doris Manager,即Managerbu部署完成 :
4.3.新集群部署
1)新建集群
填写自定义的集群名称、选择部署版本(会根据填写的包路径自动识别)以及数据库root用户密码后,点击【下一步】。
2)节点配置
根据集群节点信息填写后点击【部署集群】即可。
3)开始部署
部署成功后,提示用户进入集群:
进入集群,如下所示,即新集群部署完成:
4.4 监控告警
由于Manager部署流程中关闭了监控告警服务、故不会在左侧栏显示监控告警的入口,如下可重新开启监控告警。
4.4.1 监控
Manager 监控模块集成了丰富的监控指标,相较于自己搭建Prometheus和Grafana去做监控指标可视化,大开方便之门。
4.4.2 告警
Manager 告警模块支持邮箱、企业微信、飞书和钉钉群等方式发送告警通知,不会让你错过任何一条异常告警信息,非常贴心。
至此,集群初始化完成。通过Manager来体验下常用的集群升级、集群扩所容以及多集群管理场景吧。
5. 集群升级
5.1 新包准备
准备好新版本的包与之前的包放在同一级目录下。
5.2 一键升级
Manager中选择【集群升级】。
选择目标版本,这里用的是SelectDB 2.0.3 rc04作为升级的目标版本,之后直接点点即可。
5.3 结果验收
点击右上角可查看当前的版本,核验无误【立即验收】。
6. 集群扩所容
6.1 一键扩容
以BE为例,选择【BE扩容】。
可以单独扩容一个节点、也可以选择【批量添加节点】,之后直接点点即可。
扩容结果查看。
6.2 一键缩容
以刚刚扩容的BE为例,选择【BE缩容】。
确定需要下线缩容的BE节点【选择下线】,之后直接点点即可。
缩容结果查看。
7. 多集群管理
Manager支持同时管理多套集群。在已有一套集群的情况下,可以继续新建集群或者接管现有集群。本次以接管集群为例,接管现有的Doris 2.0.2集群。
7.1 新建/接管集群
7.2 环境配置
自定义集群名称,选择【接管现有集群】。
7.3 节点配置
填写FE的IP/HTTP端口/JDBC端口以及节点用户名/密码/SSH端口后,Manager会自动识别待接管集群的FE和BE节点信息。
之后直接点【接管集群】即可自动接管完成。
8. 总结
一个字总结:丝滑!
两个字总结:极致丝滑!!文章来源:https://www.toymoban.com/news/detail-836107.html
【Apache Doris】Manager极致丝滑地运维管理 分享至此结束,体验过程中若遇到问题欢迎留言交流文章来源地址https://www.toymoban.com/news/detail-836107.html
到了这里,关于【Apache Doris】Manager极致丝滑地运维管理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!