clickhouse节点重做(节点替换)

这篇具有很好参考价值的文章主要介绍了clickhouse节点重做(节点替换)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

测试验证环境:

docker容器化部署的4节点2分片和2副本(centos7+clickhouse22.1.3)

172.17.0.6 clickhouse01
172.17.0.7 clickhouse02
172.17.0.8 clickhouse03

172.17.0.9 clickhouse04(故障节点)
172.17.0.10 clickhouse04 (替换节点)

节点重做

一般情况,节点操作系统重装或者硬盘故障节点重做处理情况

一般都是两副本以上的集群,所以可以直接同步另一个副本节点的配置,拷贝过来,节点正常安装服务进程

需要的拷贝的东西有一下几点:

1、配置文件(config.xml、users.xml),需要调整config.xml的配置文件,修改macros中的replica改成当前节点

2、鉴权目录access

3、数据的映射目录data(里面的软连接目录可以忽略不用管)

4、元数据目录metadata

5、实际的建表目录,这个需要查到metadata下面的数据库对应的软连接目录给打包到新节点

clickhouse节点重做(节点替换)

 将上面的三个目录打成压缩包,拷贝到重做节点,注意要是打包,不然软连接会不存在,变成一个目录了,这个没有给连接到数据目录等等的问题

比较复杂的是第五步的操作,一般情况下这个是作为一个数仓的存储,创建的数据库也不会很多,我们这边的生产环境一般是7个数据库,所以也就是拷贝store目录下的7个目录既即可,将他拷贝到重做节点的store目录下就可以了,启动之后,节点会检测当前几点与副本之前的区别,是空的节点会直接同步副本中的数据,但是这一步会很耗资源,需要挑一个合适的时间点来做

做好这些,启动重做节点的clickhouse服务,查看启动服务是否有报错,没有报错的话就可以登录节点查一下数据情况了,并且可以查看用户和授权情况有没有正常,然后测试数据写入和读取情况

节点故障替换

几点替换操作可跟上面的操作一样,但是集群需要使用的域名映射的方式部署的,也就是不能通过ip来做的,如果是节点ip做的话,zookeeper元数据上的replicas下没法对应 上,可能会有其他的问题,应该也可以通过命令来修复zookeeper的元数据

system restore replica default.st_order_mt_local on cluster two_shard_two_replica

这个是我的这个表元数据不在zookeeper上的,执行完成后查看zookeeper上就能查到这个元数据了

 文章来源地址https://www.toymoban.com/news/detail-746026.html

个人的见解说明,如有不足请指正

一般clickhouse节点的目录都如下

clickhouse节点重做(节点替换)

 access这个是跟权限相关,数据库的和用户的授权关系,用户的创建语句都在这个下面,如果只是数据盘故障重做的,这个可以去相同分片节点去拷贝过来,这样节点重启的时候,就可以得到原来集群的授权关系和用户信息

clickhouse节点重做(节点替换)

 data这个目录是实际数据存储目录,各个表的软连接,全部都是连接到store目录下,实际的数据存储目录是store下,可以用备用节点去查看备用节点的软连接关系,这里可以只创建软连接地址,实际的数据不需要管,启动之后会从副本中去同步数据

clickhouse节点重做(节点替换)

 

到了这里,关于clickhouse节点重做(节点替换)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • GPT系列训练与部署——Colossal-AI环境配置与测试验证

            Colossal-AI框架主要特色在于对模型进行并行训练与推理(多GPU),从而提升模型训练效率,可快速实现分布式训练与推理。目前,该框架已集成很多计算机视觉(CV)和自然语言处理(NLP)方向的算法模型,特别是包括GPT和Stable Diffusion等系列大模型的训练和推理。

    2024年02月08日
    浏览(41)
  • 留个档,Unity Animator state节点的Motion动态替换AnimationClip

    ·由于Unity没有提供直接替换的API,所以在仅限的API下进行逻辑操作。 ·替换的原理是差不多的,利用AnimatorOverrideController,进行运行时的覆盖。 ·网上搜索很多文章是利用 名字字符串作为hash的key来进行替换。不满足我自己项目中的需求,于是利用GetOverrides 和 ApplyOverrides,封

    2024年02月12日
    浏览(37)
  • kafka、zookeeper、flink测试环境、docker

    1、kafka环境单点 根据官网版本说明(3.6.0)发布,zookeeper依旧在使用状态,预期在4.0.0大版本的时候彻底抛弃zookeeper使用KRaft(Apache Kafka)官方并给出了zk迁移KR的文档 2、使用docker启动单点kafka         1、首先将kafka启动命令,存储为.service结尾的系统服务文件,并指定存储在/

    2024年02月06日
    浏览(33)
  • 51-JS鼠标,键盘,表单,粘贴板,窗口事件,遍历节点树,DOM操作:创建/添加,删除,替换

    1.鼠标事件 1.1双击事件 dblclick 1.2鼠标移入,鼠标移出 mouseover,mouseout             支持事件冒泡(会传播) mouseenter,mouseleave        不支持事件冒泡(不会传播)

    2024年01月18日
    浏览(72)
  • 【软件测试】Linux环境下Docker搭建+Docker搭建MySQL服务(详细)

    Linux之docker搭建 1、docker运行环境 CentOS7(64-bit),要求系统为64位,系统内核版本为3.10以上 查看系统版本: 查看系统内核版本: 2、docker安装 安装依赖包 添加docker下载源地址 更新yum缓存 安装docker 或者指定docker的安装版本 查看docker版本号 3、安装成功后需要将docker加入开机启

    2024年02月13日
    浏览(91)
  • 【软件测试】在Windows环境安装Docker(详细步骤)

    下载和安装 1、地址:https://hub.docker.com/editions/community/docker-ce-desktop-windows/,直接下载 2、先检查是否开启电脑的虚拟化 依次控制面板-程序-启用或关闭Windows功能,把Hyper-v勾上。勾选后重启电脑 3、开启后双击下载的 \\\"Docker Desktop Installer.exe\\\"进行安装,直接一直选择下一步即可

    2024年02月15日
    浏览(43)
  • 构建自动化测试环境:使用Docker和Selenium!

    随着软件开发的日益复杂和迭代速度的加快,自动化测试被越来越广泛地应用于软件开发流程中。它能够提高测试效率、减少测试成本,并保证软件质量的稳定性。在构建自动化测试环境方面,Docker 和 Selenium 是两个非常有用的工具。下面将介绍如何使用 Docker 和 Selenium 构建

    2024年02月03日
    浏览(31)
  • 使用Docker和Selenium构建自动化测试环境

    随着软件开发的日益复杂和迭代速度的加快,自动化测试被越来越广泛地应用于软件开发流程中。它能够提高测试效率、减少测试成本,并保证软件质量的稳定性。在构建自动化测试环境方面,Docker 和 Selenium 是两个非常有用的工具。下面将介绍如何使用 Docker 和 Selenium 构建

    2024年02月04日
    浏览(41)
  • Ubuntu18.04 docker kafka 本地测试环境搭建

    Kafka是一种分布式流处理平台,也是一个高吞吐量的分布式发布订阅消息系统。它由LinkedIn开发,并于2011年成为Apache软件基金会的顶级项目。 Kafka的设计目标是能够处理大规模的消息流,并提供持久性、高吞吐量和低延迟的特性。它的核心概念是发布-订阅模型,其中消息被组

    2024年02月15日
    浏览(68)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包