TDSQL部署手册

这篇具有很好参考价值的文章主要介绍了TDSQL部署手册。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、TDSQL概述

腾讯官网部署地址:https://cloud.tencent.com/privatecloud/document/78770048931491840/78770052742017024
腾讯云文档

1、架构

tdsql,sql,mysql
tdsql,sql,mysql
tdsql,sql,mysql
赤兔管理平台:统一运维管理平台,是DBA使用最多的图形化界面。
OSS:http协议操作接口,如果多个机器用一个赤兔管理,也是通过OSS来对接的。
scheduler/manager:运维管理模块,负责高可用切换,资源调度等。
Zookeeper:决策模块,保存集群元数据,提供配置维护、选举决策、路由同步等。
SQL引擎(Proxy):计算节点,负责权限管理。SQL转发,读写分离等。
数据节点(Set):部署MySQL数据库服务,并包含Agent状态监控模块

二、TDSQL集群架构设计

tdsql规划机器的时候分为4个角色
1)管理节点:包含zk、keeper(manager/scheduler)、oss、monitor、chitu一共需要3或5台机器(取决zk数量)
2)DB节点:包含db和proxy,如果是1主2备的话,需要3*n台机器
3)大数据节点:包含hdfs和kafka,需要3台机器,后续可扩容,整体容量要求是预估数据总容量的10倍以上。
4)其它节点:es、consumer、lvs

1、基础环境

6台机器 操作系统centos7.6

2、架构设计

组件 192.168.16.21 192.168.16.22 192.168.16.23 192.168.16.24 192.168.16.25 192.168.16.26
zk Y Y Y Y Y Y(observer)
scheduler Y Y
oss Y Y
chitu&clouddba Y Y
monitor Y Y
metadb Y Y Y
db Y Y Y
proxy Y Y Y
lvs Y Y
hdfs Y
intercity Y

三、TDSQL安装部署

1、安装包

tdsql_full_install_ansible_10.3.14.1.0_D002.zip

2、配置主机名并添加主机名IP映射

# 每台主机分别设置主机名
hostname td21
hostname td22
hostname td23
hostname td24
hostname td25
hostname td26
# 每台主机都执行
vim /etc/hosts
192.168.16.21 td21
192.168.16.22 td22
192.168.16.23 td23
192.168.16.24 td24
192.168.16.25 td25
192.168.16.26 td26

tdsql,sql,mysql

3、开启时间同步

rpm -q ntp (查询软件包是否被安装)
yum  install  ntp -y
systemctl start ntpd ##	启动
systemctl enable ntpd  ##开机自启
chrony 配置完成后命令
chronyc sources -v

tdsql,sql,mysql

vim /etc/ntp.conf
#注释掉原有配置的
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
#添加如下配置:
server ntp.aliyun.com iburst

tdsql,sql,mysql

systemctl restart ntpd
ntpq -p #查看当前服务器与上层 ntp 的状态

tdsql,sql,mysql

4、配置免密登录

主控机就是规划中ansible模块所在的机器,其它所有机器都是受控机。在此将192.168.16.21作为主控机。

ssh-keygen -f ~/.ssh/id_rsa -N ''
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.16.21
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.16.22
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.16.23
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.16.24
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.16.25
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.16.26

tdsql,sql,mysql
3、解压安装包,在主控机上安装ansible

#解包
unzip tdsql_full_install_ansible_10.3.14.1.0_D002.zip

#执行pythin脚本安装ansible
cd tdsql_full_install_ansible
python settings/install_ansible.py

tdsql,sql,mysql
tdsql,sql,mysql
tdsql,sql,mysql

5、规划存储目录

#格式化数据盘,新建data1目录[所有机器]
mkfs.xfs -f /dev/sdb
mkdir -p /data1
mount /dev/sdb /data1

6、主控机上修改ansible变量


#vim group_vars/all (修改网卡名和数据库密码)
---
#修改zk部署的数量,1、3或者5,修改为5
zk_num: 6   #改为5
#修改网卡信息,通过ifconfig查看网卡名称
netif_name: ens33
#修改tdsql账号的明文密码
tdsql_pass: a+complex+123456
#填入tdsql系统在zk上的根路径,一般不进行改动
zk_rootdir: /tdsqlzk2

#下面的配置先不改动
metadb_ip: 10.120.109.204
metadb_port: 15001
metadb_ip_bak: 10.120.109.205
metadb_port_bak: 15001
metadb_user: hanlon
metadb_password: hanlon

ssh_port: 36000
hdfs_datadir: /data2/hdfs,/data3/hdfs,/data4/hdfs

kafka_logdir: /data2/kafka,/data3/kafka,/data4/kafka

es_mem: 8
es_log_days: 7
es_base_path: /data/application/es-install/es

tdsql_secret_pass: K2JatUv5llBbMrske/k2YbqC
oc_secret_pass: LGhVs0v5nVxcOLQie/k9bb2I
clouddba_metadb_pass: h5Wyg2Xy


sh -x encrypt.sh

tdsql,sql,mysql

7、修改tdsql_hosts文件

[envcheck]
mac1 ansible_ssh_host=192.168.16.21
mac2 ansible_ssh_host=192.168.16.22
mac3 ansible_ssh_host=192.168.16.23
mac4 ansible_ssh_host=192.168.16.24
mac5 ansible_ssh_host=192.168.16.25
mac6 ansible_ssh_host=192.168.16.26

#zk数量必须为奇数,1,3,5
[zk]
zk1 ansible_ssh_host=192.168.16.21
zk2 ansible_ssh_host=192.168.16.22
zk3 ansible_ssh_host=192.168.16.23
zk4 ansible_ssh_host=192.168.16.24
zk5 ansible_ssh_host=192.168.16.25
zk6 ansible_ssh_host=192.168.16.26

[scheduler]
scheduler1 ansible_ssh_host=192.168.16.21
scheduler2 ansible_ssh_host=192.168.16.22

[oss]
oss1 ansible_ssh_host=192.168.16.21
oss2 ansible_ssh_host=192.168.16.22

[chitu]
chitu1 ansible_ssh_host=192.168.16.21
chitu2 ansible_ssh_host=192.168.16.22

[monitor]
monitor1 ansible_ssh_host=192.168.16.21
monitor2 ansible_ssh_host=192.168.16.22

[db]
db1 ansible_ssh_host=192.168.16.24
db2 ansible_ssh_host=192.168.16.25
db3 ansible_ssh_host=192.168.16.26

[proxy]
proxy1 ansible_ssh_host=192.168.16.24
proxy2 ansible_ssh_host=192.168.16.25
proxy3 ansible_ssh_host=192.168.16.26

[hdfs]
hdfs1 ansible_ssh_host=192.168.16.23


[lvs]
lvs1 ansible_ssh_host=192.168.16.23
lvs2 ansible_ssh_host=192.168.16.24

#不按照的可删除
[kafka]
kafka1 ansible_ssh_host=10.240.139.35
kafka2 ansible_ssh_host=10.120.109.204
kafka3 ansible_ssh_host=10.120.109.205

[consumer]
consumer1 ansible_ssh_host=10.58.110.23

[es]
es1 ansible_ssh_host=10.58.110.23
#上面的kafka consumer es配置可删除
[newdb]
newdb1 ansible_ssh_host=1.1.1.1
newdb2 ansible_ssh_host=2.2.2.2
newdb3 ansible_ssh_host=3.3.3.3

8、ansible执行脚本

安装zk:
#使用tdsql安装的zk
sh -x encrypt.sh
ansible-playbook -i tdsql_hosts part1_site.yml

tdsql,sql,mysql
执行脚本之后,环境检查不通过,原因是服务器内存低于5G,需要扩大内存之后,重新执行ansible-playbook -i tdsql_hosts part1_site.yml
tdsql,sql,mysql
zk按照报错,可能是因为节点数量为偶数,无法执行安装脚本,需要将zk的安装数量改为5,修改tdsql_hosts文件和ansible变量,并重新执行,observer节点扩容之后再配置
tdsql,sql,mysql
修改为奇数节点之后,zk集群安装成功,后面需要扩容zk集群,添加observer节点
tdsql,sql,mysql
执行成功
zk的配置:
tdsql,sql,mysql

9、赤兔初始化

网页访问安装chitu模块的机器地址,进行chitu初始化
tdsql,sql,mysql
任意访问一台
http://192.168.16.21/tdsqlpcloud
tdsql,sql,mysql
集群配置
tdsql,sql,mysql

tdsql,sql,mysql
tdsql,sql,mysql
tdsql,sql,mysql
tdsql,sql,mysql
tdsql,sql,mysql
tdsql,sql,mysql
点击开始创建
tdsql,sql,mysql
创建失败,可能是上面上报资源的有问题,重新配置试试,改成一主一备
tdsql,sql,mysql
网关和db都改为2个节点
tdsql,sql,mysql
tdsql,sql,mysql
tdsql,sql,mysql
还是一样的报错,无法创建,此安装包跟生产实际用的安装包有所区别,无法自动生成proxy机型,需要自己创建proxy机型
tdsql,sql,mysql
tdsql,sql,mysql
添加之后,重新还是按照一主两备进行创建实例
tdsql,sql,mysql
tdsql,sql,mysql
点击初始化

tdsql,sql,mysql
tdsql,sql,mysql
tdsql,sql,mysql
tdsql,sql,mysql
点击开始安装
tdsql,sql,mysql
tdsql,sql,mysql
选择任意一个网关列表的地址进行测试连接

mysql -utdsqlpcloud -h192.168.16.24 -P15193 -p'123456'

tdsql,sql,mysql
测试mysql连接无误,将连接账号密码写入到 group_vars/all 文件中

[root@td21 tdsql_full_install_ansible]# cat group_vars/all
---
zk_num: 5
netif_name: ens33
tdsql_pass: a+complex+123456
zk_rootdir: /tdsqlzk2

metadb_ip: 192.168.16.24       #主库IP
metadb_port: 15193             #主库端口
metadb_ip_bak: 192.168.16.25   #从库IP
metadb_port_bak: 15193         #从库端口
metadb_user: tdsqlpcloud       #数据库连接账号
metadb_password: 123456        #数据库连接密码

ssh_port: 36000
hdfs_datadir: /data2/hdfs,/data3/hdfs,/data4/hdfs

kafka_logdir: /data2/kafka,/data3/kafka,/data4/kafka

es_mem: 8
es_log_days: 7
es_base_path: /data/application/es-install/es

tdsql_secret_pass: S8dfgSoMUjGaUn+EHkm3pA==
oc_secret_pass: TM1QhyoMWT2dWHCCHkm8qA==
clouddba_metadb_pass: h5Wyg2Xy

tdsql,sql,mysql
执行安装part2_site.yml

#安装大约4分钟左右,日志路径/var/log/ansible.log,最终显示failed任务数为0表示安装成功。
sh -x encrypt.sh			<---------必须执行,更新密文密码
ansible-playbook -i tdsql_hosts part2_site.yml

tdsql,sql,mysql
执行报错,根据报错提示发现tdsql_hosts文件中没有配置es地址,需要添加es地址
tdsql,sql,mysql
添加之后,再次执行成功
tdsql,sql,mysql

#找到安装了 scheduler 的服务器并执行:
[root@td21 tdsql_full_install_ansible]# cat tdsql_hosts | grep scheduler
[scheduler]
scheduler1 ansible_ssh_host=192.168.16.21
scheduler2 ansible_ssh_host=192.168.16.22

# ssh 192.168.16.21
cd /data/application/scheduler/bin
./agent_config --mode modify --option="ocagent_port" --value="8966"
./agent_config --mode modify --option="hadoop_dir" --value=" /data/home/tdsql/hadoop-3.2.1/bin"

tdsql,sql,mysql

10、安装备用赤兔:

将已初始化的chitu机器上拷贝2个文件到未初始化的chitu机器上,并删除未初始化chitu机器上的crontab,如下:
192.168.16.21	已初始化chitu
192.168.16.22	未初始化chitu

(1)在21机器上,拷贝文件到22机器上
scp -p /data/website/tdsqlpcloud/www/config/database.php 192.168.16.22:/data/website/tdsqlpcloud/www/config/
scp -p /data/website/tdsqlpcloud/www/config/install.lock 192.168.16.22:/data/website/tdsqlpcloud/www/config/

(2)删除22机器上nginx用户的crontab
[root@localhost bin]# ssh 192.168.16.22
[root@localhost ~]# cp -a /var/spool/cron/nginx /data/tools/nginx_cron_bak
[root@localhost ~]# rm -f /var/spool/cron/nginx

(3)测试,登录22的chitu
http://192.168.16.22/tdsqlpcloud

tdsql,sql,mysql
tdsql,sql,mysql
tdsql,sql,mysql
tdsql,sql,mysql

11、安装HDFS服务

由于磁盘前面已经添加并格式化过,这里不用操作了

#需要安装hdfs的服务器修改主机名[必须修改,因为我们的主机名存在 - 线 需要改成没有特殊符号的]

#修改 tdsql_hosts 文件,将需要安装hdfs服务的服务器添加上去,这里就添加3台hdfs
vim tdsql_hosts 新增hdfs配置:

[hdfs]
hdfs1 ansible_ssh_host=192.168.16.23
#之前已添加修改

#安装hdfs单点[适用于低配服务器]:

#执行安装
ansible-playbook -i tdsql_hosts hdfs_single.yml

#切换到tdsql用户
su - tdsql

#用tdsql用户在hdfs1机器上,格式化namenode
hdfs namenode -format

#用tdsql用户在hdfs1机器上,启动namenode和datanode
hdfs --daemon start namenode
hdfs --daemon start datanode

#附:用tdsql用户关闭hdfs进程
hdfs --daemon stop datanode
hdfs --daemon stop namenode




#安装hdfs高可用安装启动

#在安装时需要保证主机名修改了
#[本文用多点,配置不高就用单点如果hdfs多点,那么zk服务也需要是多点,因为之前配置的zk就是多点,这里就可以继续安装多点hdfs,否则安装单点]:

#每台服务器需要主机名不同 设置方法: hostnamectl set-hostname node1
ansible-playbook -i tdsql_hosts hdfs.yml

#初始化HDFS:
#用tdsql用户在hdfs1机器,格式化zk
hdfs zkfc -formatZK

#用tdsql用户在所有机器,启动journalnode
hdfs --daemon start journalnode

#用tdsql用户在hdfs1机器,格式化并启动namenode
hdfs namenode -format
hdfs --daemon start namenode

#用tdsql用户在hdfs2机器,格式化namenode
hdfs namenode -bootstrapStandby



#------------------------------启动hdfs集群------------------------------#
#用tdsql用户在hdfs1机器,格式化并启动 zk
su - tdsql
hdfs zkfc -formatZK   #格式化只能一次

#所有机器启动 journalnode
hdfs --daemon start journalnode

#在hdfs1和hdfs2上启动namenode
hdfs --daemon start namenode

#在hdfs1和hdfs2上启动zkfc
hdfs --daemon start zkfc

#在所有hdfs机器上启动datanode
hdfs --daemon start datanode
#------------------------------启动hdfs集群------------------------------#



#------------------------------停止hdfs集群------------------------------#
在所有hdfs机器上关闭datanode
hdfs --daemon stop datanode

在hdfs1和hdfs2上关闭zkfc
hdfs --daemon stop zkfc

在hdfs1和hdfs2上关闭namenode
hdfs --daemon stop namenode

在所有hdfs机器上关闭journalnode
hdfs --daemon stop journalnode
#------------------------------停止hdfs集群------------------------------#


# hdfs haadmin -getAllServiceState 命令执行失败尝试:
hdfs --daemon stop namenode
hdfs --daemon stop journalnode
hdfs --daemon start namenode
hdfs --daemon start journalnode
hdfs dfsadmin -report
hdfs haadmin -getAllServiceState

本次测试安装的hdfs是单节点的,所在机器是192.168.16.23
#执行安装
ansible-playbook -i tdsql_hosts hdfs_single.yml
tdsql,sql,mysql
在hdfs所在机器192.168.16.23上执行

#切换到tdsql用户
su tdsql
#初始化HDFS:

#用tdsql用户在hdfs1机器上,格式化namenode
hdfs namenode -format

#用tdsql用户在hdfs1机器上,启动namenode和datanode
cd /data/home/tdsql/hadoop-3.2.1/bin
hdfs --daemon start namenode
hdfs --daemon start datanode

#附:用tdsql用户关闭hdfs进程
hdfs --daemon stop datanode
hdfs --daemon stop namenode

tdsql,sql,mysql

(7)在hdfs集群下查看/tdsqlbackup路径
用tdsql用户执行以下命令
su -  tdsql

#查看/tdsqlbackup目录是否已经被自动创建,权限是否是:tdsql supergroup 
hadoop fs -ls / 


#如果目录不在或者权限不对,用下面命令修改:
hadoop fs -mkdir /tdsqlbackup
hadoop fs -chown tdsql.supergroup /tdsqlbackup

tdsql,sql,mysql
检查HDFS端口并补充到 group_vars/all 文件中

ssh_port: 9870
hdfs_datadir: /data2/hdfs,/data3/hdfs,/data4/hdfs

12、配置hdfs监控

如果有HDFS,但是没有配置HDFS监控,到"“集群管理->集群设置”中设置“HDFS服务列表”",如图
tdsql,sql,mysql

如果是3节点的hdfs架构,如上图所示填写namenode节点(一般2个)的50070端口
生产环境不能用单节点hdfs,单节点架构的hdfs的端口号是9870
添加的列表为:192.168.16.23:9870

13、扩容zk机器,添加observer节点

#准备工作:
#1、修改tdsql_hosts文件。增加新zk节点信息
[zk]
zk1 ansible_ssh_host=192.168.16.21
zk2 ansible_ssh_host=192.168.16.22
zk3 ansible_ssh_host=192.168.16.23
zk4 ansible_ssh_host=192.168.16.24
zk5 ansible_ssh_host=192.168.16.25
zk6 ansible_ssh_host=192.168.16.26
#2、在所有tdsql集群服务器上增加host配置(包括新zk也要添加host解析):vim /etc/hosts 添加要扩容的zk服务器信息。
[root@td21 tdsql_full_install_ansible]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.16.21 td21
192.168.16.22 td22
192.168.16.23 td23
192.168.16.24 td24
192.168.16.25 td25
192.168.16.26 td26

#初始化新扩容的zk服务器
#注意:新增单独服务器zk扩容需要重新初始化,OS系统需要做时间同步、配置yum源、免密。(原有TDSQL集群扩容zk无需重新初始化)
#(1)登入ansible机器重新创建一个tdsql_newzk文件添加新增zk服务器ip信息
#添加的内容与tdsql_hosts文件里的一致
[newdb]
tdsql_newdb1 ansible_ssh_host=192.168.16.26

# vim tdsql_hosts
[newdb] <------勿修改
tdsql_newdb1 ansible_ssh_host=192.168.16.26 <-------初始化zk1ip

tdsql,sql,mysql

#在ansible的路径下有一个tdsql_newdb.yml文件
# cat tdsql_newdb.yml
- name: install newdb begining
  hosts: newdb
  remote_user: root
  gather_facts: false
  roles:
    - beginning

#以上tdsql_newdb.yml文件里的hosts处:tdsql_newdb名字要与创建的tdsql_newzk文件第一行一致,与tdsql_hosts文件里的名字也要与tdsql_newdb一致
#只需要保留初始化机器模板即可

(3)后台初始化zk机器
执行前确保新增的zk机器的时间和集群中其它机器的时间同步
执行初始化新的zk机器

ansible-playbook -i tdsql_newzk tdsql_newdb.yml

tdsql,sql,mysql
(4) 将原zk节点定时任务拷贝到新初始化zk机器上
1、新版本定时任务文件路径/etc/crontab
在老的zk上拷贝定时任务到新的zk机器上

 */3 * * * * /bin/bash /server/scripts/check_supervisor_alive.sh

2、老版本定时任务crontab -l 查看即可
tdsql,sql,mysql
将原zk信息先备份
zk备份的工具在scheduler的bin目录下,scheduler机器上执行:

cd /data/application/scheduler/bin
./backupZkInfo

验证备份成功:
在执行备份命令的scheduler机器上执行:

cd /data/zkbak/zkbackup/
ll

tdsql,sql,mysql
在扩容zk节点服务器上创建目录

mkdir -p /data/application/ /data/tools/ /data/home/tdsql/

tdsql,sql,mysql

4.5 在扩容zk节点服务器上检查并安装JDK——已存在JDK忽略此步。
在已安装zk服务器上找到目录/data/home/tdsql/jdk_x86.zip

scp /data/home/tdsql/jdk_x86.zip root@192.168.16.26:/data/home/tdsql/

在扩容zk服务器上操作:

cd /data/home/tdsql
unzip jdk_x86.zip
chown -R tdsql:users /data/home/tdsql/jdk
chmod +x -R /data/home/tdsql/jdk
source /etc/profile

在scheduler服务器上设置免切

cd /data/application/scheduler/bin/
./manual_set add_mnoswitch noshard all 1 24

查看免切设置是否成功,返回一个时间戳(免切到期时间)

./manual_set list_mnoswitch noshard all
date-d @时间戳

或者登陆赤兔设置实例一切免切
tdsql,sql,mysql
扩容zk服务器:
在已有zk服务器上进入cd /data/application并找到zookeeper.tar.gz安装包
拷贝到新zk服务器上。

scp zookeeper.tar.gz root@192.168.16.26:/data/application/

新zk上解压安装包:

tar -zxvf zookeeper.tar.gz 
cd /data/application/zookeeper 
mkdir data;mkdir log

从已有zk服务器拷贝配置文件到扩容zk服务器上

scp /data/application/zookeeper/conf/zoo.cfg root@192.168.16.26:/data/application/zookeeper/conf/
scp /data/application/zookeeper/data/myid root@192.168.16.26:/data/application/zookeeper/data/

给扩容zk服务器zk目录添加权限

cd /data/application/
chown -R tdsql:users zookeeper

检测配置文件里的数据路径和日志路径是否正确

grep "Dir" /data/application/zookeeper/conf/zoo.cfg

修改myid和zoo.cfg文件
注意:在不用的节点上修改不同的myid值,修改的zoo.cfg文件中的参数都是一样的。
在新zk服务器上操作:

cd /data/application/zookeeper/data/  
vim myid
#将5修改为6(如果是一键部署安装三节点的zk集群,如果是第四台zk不管这里是何值都修改为4,第五台就改成5,依次类推)
cd /data/application/zookeeper/conf/
vim zoo.cfg
#加上新添加的zk服务器信息。
#注:集群内所有zk服务器需要配置新zk信息。数字为myid

#将新的zoo.cfg,使用scp命令传送至所有zk节点的相同路径覆盖原文件,每台单独修改也可以

启动新的zk服务,并查看进程和状态,其他原有节点也要重启
cd /data/application/zookeeper/bin
./zkServer.stop
./zkServer.start
./zkServer.status (查看状态是否是observer)

tdsql,sql,mysql
tdsql,sql,mysql
全部完成并确认无误后,删除集群免切状态
cd /data/application/scheduler/bin/
./manual_set delete_mnoswitch noshard all
./manual_set list_mnoswitch noshard all

其他模块配置文件需要加入zk新增节点的IP

#OSS

 su - tdsql
 cd /data/application/oss/conf/  
 vim scheduler.xml
 cd /data/application/oss/boot  
./stop.sh
 ./start.sh
 ps -ef |grep oss

scheduler

# su - tdsql
# cd /data/application/scheduler/conf 
# vim scheduler.xml
# vim backupConf.xml
# cd /data/application/scheduler/bin
#./stop_manager.sh
#./start_manager.sh
# ps -ef |grep scheduler

PROXY 机器(所有实例)

# cd /data/tdsql_run/15001/gateway/conf  
# vim instance_15001.cnf
# su - tdsql
# cd /data/tdsql_run/15001/gateway/bin
#./restart_cgroup.sh instance_15001
# ps -ef |grep 1500x

mysqlagent DB机(所有实例)

# su -tdsql
# cd /data/tdsql_run/4001/mysqlagent/conf  
# vim mysqlagent_4001.xml
# cd /data/tdsql_run/4001/mysqlagent/bin
# ./restartreport_cgroup.sh ../conf/mysqlagent_4001.xml
./startreport.sh ../conf/mysqlagent_4001.xml
# ps -ef |grep 400x

clouddba (一般与chitu混部 不用添加任何信息)

里面配置文件默认zk只有一台,一般是赤兔的第一台
# su - tdsql
# cd /data/application/clouddba/conf  
# vim diagnosis.conf
# cd /data/application/clouddba/bin  
# ./restart.sh ../conf/diagnosis.conf
ps -ef |grep diagnosis

kafka (无此组件不用测)

# cd /data/application/kafka/config  
# vim consumer.properties# cd/data/application/kafka_2.11-0.10.0.1/bin
# ./kafka-server-stop.sh -daemon ../config/server.properties# cd /data/application/kafka_2.11-0.10.0.1/bin
# ./kafka-server-start.sh -daemon ../config/server.properties
# ps -ef |grep kafka

monitor

重启analyze程序
#su - tdsql
# cd /data/application/tdsql_analysis/conf/
# vim conf.properties 添加新扩容的zk信息
# cd /data/application/tdsql_analysis/bin
# ./restart.sh
#ps -ef |grep analysis
重启collector程序
# su - tdsql
# cd /data/application/tdsql_collector/conf
# vim conf.properties 查看是否有需要添加的zk信息
# cd /data/application/collector/bin
# ./restart.sh
# ps -ef |grep collector

hdfs 

检查新的zk节点与hdfs时间是否同步
hdfs节点上操作:
su - tdsql
cd /data/home/tdsql/hadoop/etc/hadoop/
cp core-site.xml core-site.xml_bak
vim core-site.xml
增加新zk信息
参考产品部署手册重启hdfs

intercity 组件

intercity增加新扩容zk的信息
cd /data/application/intercity_cluster/conf
vim cluster.xml
增加新扩容zk信息,增加完成后,重启intercity
cd /data/application/intercity_cluster/bin
su - tdsql
sh stop_cluster.sh
sh start_cluster.sh
检查intercity组件进程是否正常
ps -ef | grep intercity
在intercity组件部署机上增加zk扩容信息
/data/application/oss/config/scheduler.xml文件
然后重启
/data/application/oss/boot
./stop.sh
./start.sh

赤兔前台集群信息中上报新增ZK节点
tdsql,sql,mysql
上报节点之后,稍等一会,查看zk监控即可看到observer节点
tdsql,sql,mysql文章来源地址https://www.toymoban.com/news/detail-774208.html

到了这里,关于TDSQL部署手册的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【腾讯云 TDSQL-C Serverless 产品体验】基于TDSQL-C MySQL Serverless的性能测试

    可以帮助发现性能瓶颈,并及时采取措施来优化数据库性能。 序号 测试方法 描述 1 基准测试(Benchmark Testing) ①. 通过运行预定义的测试项目来测量数据库性能的方法 ②. 基准测试适用于比较不同数据库系统或不同硬件配置的性能 ③. 建议根据实际使用场景来选择最适合的基

    2024年02月08日
    浏览(47)
  • 【腾讯云 TDSQL-C Serverless 产品体验】TDSQL-C MySQL Serverless“随心所欲”的弹性计费

    数据库作为公司软件业务应用中最重要的基础软件之一,在整个IT生态体系中具有举足轻重的作用,随着业务数据量的增大和算力的限制,单台MySQL实例越来越满足不了需求,腾讯云 TDSQL-C Serverless是腾讯云自研的云原生关系型数据库 TDSQL-C MySQL版的无服务器架构版。按实际计算

    2024年02月08日
    浏览(43)
  • 关于TDSQL(MySQL)的简单知识分享

    最近在系统改造过程中,接触到了国产分布式数据库TDSQL,记录一下关于TDSQL的部分知识点。 TDSQL是腾讯推出的一款兼容MySQL的自主可控、高一致性分布式数据库产品。 1.1 TDSQL优点: 数据强一致性 高性能低成本 线性水平扩展 金融级高可用 企业级安全性 便捷的运维 1.2 TDSQL系

    2024年04月16日
    浏览(26)
  • 【腾讯云 TDSQL-C Serverless 产品测评】- 云原生时代的TDSQL-C MySQL数据库技术实践

    “腾讯云 TDSQL-C 产品测评活动”是由腾讯云联合 CSDN 推出的针对数据库产品测评及产品体验活动,本次活动主要面向 TDSQL-C Serverless版本,初步的产品体验或针对TDSQL-C产品的自动弹性能力、自动启停能力、兼容性、安全、并发、可靠性等多方面的产品测评。 有幸在CSDN的推广上

    2024年02月11日
    浏览(44)
  • 【腾讯云 TDSQL-C Serverless 产品体验】TDSQL-C MySQL Serverless云数据库化繁为简

    随着互联网的发展,企业的规模也在不断的发展,企业内部的在线业务量也随之骤增,海量的数据访问和存储压力已经日益不满足公司业务的需求了,而且搭建传统集中式数据库也增加运维工作量和公司软硬件成本,对于突发的业务,无法满足更快更稳定的业务性能。 企业级

    2024年02月08日
    浏览(52)
  • 【腾讯云 TDSQL-C Serverless 产品体验】TDSQL-C MySQL Serverless助力企业降本增效直播读后感

    本人接触互联网也有差不多10个年头,从个人的博客、商城、电商、教育、淘宝客等,手里大大小小的项目也不在少数,接触过的技术栈也是比较多,从.net、php、java、go、python等都有涉猎,接触的规模也是逐渐由小到大,从简单的单机应用部署到SOA架构,再到目前公司业务的

    2024年02月07日
    浏览(49)
  • 【腾讯云 TDSQL-C Serverless 产品体验】以TDSQL-C Mysql Serverless 作为数据中心爬取豆瓣图书数据

    最近我一直在研究 python 爬虫,公司需要很多数据源的数据,但遇到一个很大的障碍,就是没有合适的数据库储存这些数据,因为普通的机器的性能瓶颈非常明显,而且爬虫数据性能的要求也不是非常稳定,如果购买一台高配按月付费的机器,那无疑浪费了没有使用到的性能

    2024年02月08日
    浏览(43)
  • 【腾讯云 TDSQL-C Serverless 产品测评】MySQL 5.7 EOL 后,何去何从?TDSQL-C Serverless 解君愁

      2023 年 10 月 21 日,MySQL 5.7 将达到其生命周期的终点(EOL,End of Life),此后Oracle将不再为MySQL 5.7 提供官方更新、错误修复或安全补丁。自此,MySQL 5.x 版本全部 EOL,拥有官方支持的版本将只有8.x。对于那些仍在使用 MySQL 5.7 的用户来说,这是一个重要的时刻!随着 MySQL 5

    2024年02月07日
    浏览(41)
  • 【腾讯云 TDSQL-C Serverless 产品测评】“橡皮筋“一样的数据库『MySQL高压篇』

    腾讯云TDSQL-C产品测评活动”是由腾讯云联合CSDN 推出的针对数据库产品测评及产品体验活动,本次活动主要面向 TDSQL-C Serverless 版;活动整体包括了技术分享直播及线上答疑、连续三个月做三季的产品体验、产品测评、优质征文活动以及最后的优秀用户线上圆桌对话直播环节

    2024年02月11日
    浏览(36)
  • 【腾讯云TDSQL-C Serverless 产品测评】一文带你了解TDSQL-C Serverless版

    前言   这几年,Serverless数据库大火,被业内称为数据库的下一代变革性技术,是云原生数据库发展的必然结果。作为早在2020年就于国内率先推出Serverless数据库的腾讯云,近年来不断在Serverless数据库领域深耕探索,今年更是推出预付费资源类型资源包,Serverless集群挂载只

    2024年02月10日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包