OceanBase集群扩缩容

这篇具有很好参考价值的文章主要介绍了OceanBase集群扩缩容。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

​ OceanBase 数据库采用 Shared-Nothing 架构,各个节点之间完全对等,每个节点都有自己的 SQL 引擎、存储引擎、事务引擎,天然支持多租户,租户间资源、数据隔离,集群运行的最小资源单元是Unit,每个租户在每个节点上只会运行一个Unit。

先看看集群整体架构图,下面集群的部署模式为“三中心三副本”

有3个zone,每个zone下有两个OBServer节点
OceanBase集群扩缩容,oceanbase
以业务租户Tenant_1为例,它有2个Unit,因为蓝色主副本P1、P2运行在zone1的observer上,蓝色主副本P3、P4运行在zone2的observer上,它们分别在另外两个observer上都运行着一个绿色从副本,以提高可用性和读性能,这是“三中心三副本”的由来。

在只有3个zone的情况下,Tenant_1租户的Unit=2,设置Unit=3 就是扩容,Unit=1 就是缩容

  • 扩容:需要在每个zone下都增加一台服务器,总共3台,然后在数据库参数中调整Unit_Num的大小由2改为3,就会自动在新添加的服务器上启动Unit(默认配置了负载均衡策略),并自动迁移数据,来提升服务能力

  • 缩容有两种场景,1.只减少租户下Unit数量,不下线服务器,2.减少Unit数量,也下线服务器

​ 在有多个zone的情况下,可以在创建租户时,指定租户属于不同zone,还可以迁移zone从一个机房搬迁到另一个机房,先增加 Zone,再在该 Zone 内增加节点,然后调整租户的 Locatity 属性,租户就是数据库实例,相当于把不同的数据库实例部署在不同的zone上。

​ 通过上面的理论得知,扩缩容实际上是调整Unit_Num的数量,而每个节点上只能运行一个租户的一个Unit,它又需要2个副本,所以增加一个Unit就需要在所有zone上都增加一台服务器,且Unit的资源描述大小不能超过服务器硬件配置(Unit需要8核、16G,而增加的服务器只有4核8G,则扩容失败),如果已有zone内的服务器资源配置充足,则不需要添加服务器就可以扩容。

​ **Tenant_SYS ** 系统租户目前不能扩容,只能3副本的形式存在,而且系统租户资源需要管理整个OceanBase集群的正常运行,所以不要在系统租户上创建数据库和表(上篇文章因演示需要才直接在系统租户下创建的数据库表),官方推荐在自定义租户下创建库表。

数据链路:客户端应用 -> F5/LVS -> OBProxy -> OBServer

上面介绍了扩缩容的理论,下面介绍扩缩容的实际操作,还是先说理论:
  • 在部署集群后,会自动创建一个系统租户(Tenant_SYS),同时会创建一些元数据表,部署时的配置信息会保存到元数据表中,扩缩容需要添加服务器节点,调休租户的Unit_Num大小,这些操作都需要保存到元数据表中,我们可以连接系统租户数据库查看元数据表的内容,查看zone、查看节点、查看租户、查看Unit等。
1.连接到系统租户
obclient -h192.168.113.161 -P2883 -uroot@sys#myoceanbase -p***** -A

-u :租户的连接账户,格式有:用户名@租户名#集群名,系统租户MySQL模式,默认用户名为root,租户为sys,集群名在创建集群时设置的,集群名可以不写。

-p:提供账户密码,为了安全可以不提供,改为在后面提示符下输入,密码文本不可见

-A:表示在 OBClient 连接数据库时不自动获取统计信息

2.查看zone和observer
# 查看zone
SELECT * FROM oceanbase.DBA_OB_ZONES;

STATUS: ACTIVE为可用状态,INACTIVE为不可用状态

# 查看节点
SELECT * FROM oceanbase.DBA_OB_SERVERS;

查询结果中的相关字段说明如下:

  • SVR_IP:节点 IP。
  • SVR_PORT:节点的 RPC 端口。
  • ZONE:节点所在的 Zone。
  • SQL_PORT:节点的 SQL 端口,可以使用该端口通过直连方式连接 OceanBase 数据库。
  • WITH_ROOTSERVER:该节点是否为集群 RS(RootServer),RS 负责处理集群管理操作。
  • STATUS:节点的状态。ACTIVE:表示该节点为可用状态。INACTIVE:表示该节点为宕机状态。DELETING:表示该节点正在被删除。
  • STOP_TIME:节点停止服务的时间点。如果值为 NULL,表示节点服务正常运行。
  • START_SERVICE_TIME:节点开始服务的时间点。如果值为 NULL,表示节点未提供服务。
  • BLOCK_MIGRATE_IN_TIME:禁止副本迁入的开始时间点。如果为 NULL,表示副本正常迁入。
3.添加节点
3.1.节点需安装OceanBase软件包,并启动observer进程

在OecanBase添加节点前需要在节点上安装OceanBase软件,设置数据存储目录,在oceanbase-all-in-one-4.2.1.1-xxxx86_64.tar.gz的rpms目录中有安装包
OceanBase集群扩缩容,oceanbase

1.安装rpm包,主要是oceanbase-ce 和oceanbase-ce-libs,都可以安装
rpm -ivh $rpm_name

2.初始化 OceanBase 数据库的目录,$cluster_name是集群名
mkdir -p /data/1/$cluster_name/{etc3,sort_dir,sstable,slog} 
mkdir -p /data/log1/$cluster_name/{clog,etc2,ilog,oob_clog} 
mkdir -p /home/admin/oceanbase/store/$cluster_name
for t in {etc3,sort_dir,sstable,slog};do ln -s /data/1/$cluster_name/$t /home/admin/oceanbase/store/$cluster_name/$t; done
for t in {clog,etc2,ilog,oob_clog};do ln -s /data/log1/$cluster_name/$t /home/admin/oceanbase/store/$cluster_name/$t; done

3.启动observer进程
/home/root/oceanbase/bin/observer -I 192.168.113.164 -P 2882 -p 2881 -z zone1 -d /home/root/oceanbase/store/myoceanbase -r '192.168.113.161:2882:2881' -c 20240119 -n myoceanbase -o "system_memory=10GB,datafile_size=100G,config_additional_dir=/data/1/myoceanbase/etc3;/data/log1/myoceanbase/etc2"

启动observer进程相关参数说明如下:

  • -I:参数用于指定待启动的节点 IP。在多机部署场景下,不能指定 127.0.0.1 作为目标 IP。
  • -c:用于指定集群 ID。其值可通过 SHOW PARAMETERS LIKE 'cluster_id'; 语句获取。
  • -p:用于指定 SQL 端口号。一般为 2881,除非有明确目的,一般不建议修改。
  • -P:用于指定 RPC 端口号。一般为 2882,除非有明确目的,不建议修改。
  • -n:用于指定集群名。其值可通过 SHOW PARAMETERS LIKE 'cluster'; 语句获取。本示例中集群名为 myoceanbase
  • -z:用于指定待加入的 Zone。可通过视图 DBA_OB_ZONES 查看集群中的 Zone 名。
  • -d:用于指定数据目录。
  • -r:用于指定待添加的 OceanBase 集群的 RS 地址列表。
  • -l:用于指定日志的级别,本示例中为 WARN,表示日志级别为 WARNING 级别。
  • -o:用于指定集群的启动配置项,需要根据实际情况配置。
    • system_memory:用于指定 OceanBase 数据库内部保留内存,10G,默认是 30G。
    • datafile_size:用于指定 OceanBase 数据库数据文件 SSTable 的大小(一次性初始化),根据 /data/1/ 可用空间评估,建议不少于 100G,同时又保留一些剩余空间。
    • config_additional_dir:用于指定参数文件的冗余目录。

如果需要添加多个节点,请重复执行上面添加节点操作。

3.2.向OceanBase集群添加节点

添加节点后,就需要连接集群,把节点添加到元数据表中

1.连接系统租户数据库
obclient -h192.168.113.161 -P2883 -uroot@sys#myoceanbase -p***** -A

2.向集群的 Zone 中添加节点
ALTER SYSTEM ADD SERVER 'svr_ip:svr_port' [,'svr_ip:svr_port'...] [ZONE [=] 'zone_name'];
ALTER SYSTEM ADD SERVER '192.168.113.164:2882','192.168.113.165:2882' ZONE 'zone4';

3.查询 DBA_OB_SERVERS 进行确认
SELECT * FROM oceanbase.DBA_OB_SERVERS;

增加节点后,节点所在的 Zone 内有更多的节点容纳 Unit,从而可以执行后续的迁移 Unit、调整租户的 UNIT_NUM 以及新建租户等操作

3.3.扩容,调整租户UNIT_NUM大小

租户扩容和缩容本质上是提高和降低租户的服务能力,包括计算能力和存储容量。可以通过提高单节点的服务能力达成,也可以通过增加服务节点达成。

下面通过调整Unit_Num大小来达到租户总服务能力的提升或降低,实现租户的扩容或缩容。

从 V4.0.0 版本开始,OceanBase 数据库要求租户内每个 Zone 的 Unit 个数必须保持一致

  • 有个前提条件,设置租户内的负载均衡策略,租户内的负载均衡策略由租户级配置项 enable_rebalanceenable_transfer 共同控制,它们的默认值为 true,设置后不需要重启 OBServer 节点,立即生效。当他们的值为true时,表示在进行租户扩缩容操作时,系统会自动调整分区分布,实现负载均衡。

    ALTER SYSTEM SET enable_rebalance = true TENANT = 'tenant_name';
    ALTER SYSTEM SET enable_transfer = true TENANT = 'tenant_name';
    
    #系统租户开启所有用户租户(不含 sys 租户和 Meta 租户)的租户内负载均衡和租户下的 Transfer 功能
    ALTER SYSTEM SET enable_rebalance = true TENANT = all;
    ALTER SYSTEM SET enable_transfer = true TENANT = all;
    

调整Unit_Num大小,来给租户扩缩容

  • 1.连接系统租户数据库

    obclient -h192.168.113.161 -P2883 -uroot@sys#myoceanbase -p***** -A
    
  • 2.use oceanbase;

    可以 show tables; 看看有很多系统内置的表
    OceanBase集群扩缩容,oceanbase

  • 3.查看租户 mysql001 信息,获取其 TENANT_ID。

    SELECT * FROM oceanbase.DBA_OB_TENANTS WHERE TENANT_NAME = 'ocp';
    

    查询结果中,UNIT_NUM 的值为 1 表示租户的 Unit Number 数为 1。

    OceanBase集群扩缩容,oceanbase

  • 4.查看租户 ocp 所拥有的 Unit,在3台服务器上分别有一个Unit,一主两从。

    SELECT * FROM oceanbase.DBA_OB_UNITS WHERE TENANT_ID = 1002;
    

    OceanBase集群扩缩容,oceanbase

  • 5.把租户 mysql001 的 UNIT_NUM 修改为 2。

    ALTER RESOURCE TENANT mysql001 UNIT_NUM = 2;
    
  • 6.查看调大 Unit Number 任务的执行状态。

    SELECT * FROM oceanbase.DBA_OB_TENANT_JOBS WHERE JOB_TYPE='ALTER_RESOURCE_TENANT_UNIT_NUM' AND TENANT_ID=1006;
    
  • 7.再次查看租户 mysql001 修改后的 Unit。

    SELECT * FROM oceanbase.DBA_OB_UNITS WHERE TENANT_ID = 1006;
    
  • 8.通过随机删除 UNIT_GROUP 的方式来调小 UNIT_NUM 的数量

    ALTER RESOURCE TENANT mysql001 UNIT_NUM = 1;
    

参考了官方文档:
https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000507927
https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000508357文章来源地址https://www.toymoban.com/news/detail-812715.html

到了这里,关于OceanBase集群扩缩容的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Docker进阶:mysql 主从复制、redis集群3主3从【扩缩容案例】

    💖The Begin💖点点关注,收藏不迷路💖 首先,确保你已经安装了Docker。 要下载特定版本的Tomcat镜像,可以在 docker pull 命令后面添加 image_name: tag 参数。其中 tag 制定了镜像的版本号。 解决插入中文报错: 总结: docker安装完mysql,运行实例之后,建议先修改完字符集编码后再

    2024年02月10日
    浏览(35)
  • 第⑫讲:Ceph集群OSD扩缩容中Reblanceing数据的重分布

    当集群中OSD进行扩缩容操作后,会触发一个Reblanceing数据重分布的机制,简单的理解就是将扩缩容前后OSD中的PG在每一个OSD中进行均匀分布,如下图所示: 在扩容前集群有两个OSD节点,这两个OSD中分布着十个PG,扩容后,集群中有三个OSD节点,此时就会触发Reblanceing数据重分布

    2024年04月15日
    浏览(41)
  • OceanBase集群管理日常运维操作

    检查NTP时间是否同步,OceanBase能够容忍的集群内部时钟偏差最大为 100ms 。 执行 ntpq -q ,输出的offset应该小于 50ms 。 启停zone实际上是在切换提供leader服务的zone,并不是真的在启停OS中的服务进程。 停止observer同样也不表示进程退出,仅表示不提供leader服务。 查看observer进程

    2023年04月19日
    浏览(40)
  • 基于DataX迁移MySQL到OceanBase集群

    📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】!😜😜😜 中国DBA联盟(ACDU)成员,目前服务于工业互联网 擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发,备份恢复,安装迁移,性能优

    2024年03月18日
    浏览(40)
  • OBD搭建OceanBase三副本集群(1-1-1)docker版

            本次使用OBD方式搭建一个OceanBase三副本集群,由于服务器资源有限,选择较为轻量级的docker,运行三个容器来实现OceanBase(1-1-1)+OBProxy集群架构的搭建,ODC开发工具客户端远程连接做简单查询。 IP 服务器 资源规格 软件及版本 宿主机:容器端口映射 宿主机:容器目录映射

    2024年01月23日
    浏览(43)
  • xfs文件系统扩缩容

    ext4文件系统可以进行扩缩容操作,但xfs的文件系统只能扩容,无法直接缩容 所以如果需要进行xfs的缩容,可以先使用xfsdump备份文件系统,然后对逻辑卷(/分区)进行缩容操作(此时原xfs文件系统会损坏),然后再重新格式化该逻辑卷(/分区),最后xfsrestore将备份还原到该逻辑卷

    2024年02月12日
    浏览(43)
  • zookeeper动态扩缩容(无需重启)

    目录 一、启动一个zk 二、扩容一个zk 三、缩容一个zk 四、重新配置集群的节点 前言: zookeeper动态扩/缩容的reconfig命令旨在不需要重启zookeeper中任何一个节点的情况下,对整个zookeeper集群进行动态扩/缩容。 zookeeper客户端支持的命令: 在实际验证中发现一些细节问题,先记录

    2024年02月21日
    浏览(43)
  • Kubernetes中Pod的扩缩容介绍

    在实际生产系统中,我们经常会遇到某个服务需要扩容的场景,也可能会遇到由于资源紧张或者工作负载降低而需 要减少服务实例数量的场景。此时可以利用 Deployment/RC 的 Scale 机制来完成这些工作。 Kubernetes 对 Pod 的扩缩容操作提供了手动和自动两种模式,手动模式通过执行

    2024年02月07日
    浏览(48)
  • k8s教程(pod篇)-扩缩容

    声明:本文为《Kubernetes权威指南:从Docker到Kubernetes实践全接触(第5版)》的读书笔记 在实际生产系统中,我们经常会遇到某个服务需要扩容的场景,也可能会遇到由于资源紧张或者工作负载降低而需要减少服务实例数量的场景。此时可以利用 Deployment/RC 的 Scale机制 来完成

    2024年02月08日
    浏览(55)
  • k8s扩缩容与滚动更新

    使用kubectl run创建 应用 端口暴露出去 使用kubectl  create 创建应用 端口暴露出去 run 与 create 区别: run 为一次性的创建运行,删除后不会自动生成,没有 pod 控制器 create 创建的,删除后还会自动生成,有 pod 控制器,拥有副本集控制 scale 应用 默认情况下 应用只会运行一个副

    2024年02月12日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包