11.云原生分布式数据库之TIDB

这篇具有很好参考价值的文章主要介绍了11.云原生分布式数据库之TIDB。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

云原生专栏大纲

为什么使用TIDB

从后端视角、运维视角和基础架构视角来看,使用 TiDB 作为数据库系统可以获得分布式架构、高可用性、强一致性、事务支持、水平扩展、高性能、简化运维、灵活的扩展和配置、集成的监控和告警等优势。这些优势使得 TiDB 成为处理大规模数据和高并发请求的理想选择,并能够满足复杂的业务需求和运维要求。

后端视角

  1. 分布式架构和高可用性:TiDB 是一个分布式数据库系统,采用分布式架构和数据分片技术,可以将数据分布在多个节点上。这种架构使得 TiDB 具有高可用性和容错性,即使某个节点发生故障,系统仍然可以继续提供服务,确保业务的连续性。
  2. 强一致性和事务支持:TiDB 提供强一致性和事务支持,符合 ACID 特性。它使用分布式一致性协议来保证数据的一致性,在多节点之间实现事务的隔离和提交。这使得 TiDB 可以处理复杂的业务逻辑和数据一致性要求。
  3. 水平扩展和高性能:TiDB 具有水平扩展和负载均衡的能力。通过添加更多的节点,可以实现数据的水平分片和负载均衡,提供更高的吞吐量和更低的延迟。这使得 TiDB 能够处理大规模数据和高并发请求,满足高性能的需求。

运维视角

  1. 简化运维工作:TiDB 提供了简化运维的功能,减少了运维人员的工作量。它具有自动化的故障检测和恢复机制,可以自动处理节点故障和数据复制等问题。此外,TiDB 还提供了集中式的管理界面和命令行工具,使得运维人员可以方便地监控和管理整个数据库集群。
  2. 灵活的扩展和配置:TiDB 具有灵活的扩展和配置选项。它支持在线扩容和缩容,可以根据负载情况动态调整集群的规模。此外,TiDB 还提供了丰富的配置选项,使得运维人员可以根据具体需求进行优化和调整,以获得最佳的性能和资源利用率。
  3. 集成的监控和告警:TiDB 集成了监控和告警功能,可以实时监控数据库集群的状态和性能指标,并根据预设的规则和阈值触发告警通知。这使得运维人员可以及时发现和解决潜在的问题,保证系统的稳定性和可靠性。

基础架构视角

  1. 分布式数据存储和计算:TiDB 的分布式架构使得数据可以分布在多个节点上,实现了分布式的数据存储和计算。这种架构可以提供更好的数据并行性和负载均衡,支持处理大规模数据和高并发请求。
  2. 弹性扩展和容错性:TiDB 具有弹性扩展和容错性的特点。通过添加更多的节点,可以实现系统的弹性扩展,以适应不断增长的数据和负载。同时,TiDB 的分布式架构还具有容错性,即使某个节点发生故障,系统仍然可以继续提供服务。
  3. 云原生和容器化支持:TiDB 支持云原生和容器化部署。它可以与容器编排平台(如 Kubernetes)集成,实现弹性伸缩和自动化管理。这使得 TiDB 可以更好地适应云环境和容器化部署的需求。

TiDB Operator 简介

TiDB Operator 是一个用于在 Kubernetes 上部署和管理 TiDB 集群的工具。TiDB 是一个开源的分布式关系型数据库,具有高可用性、可扩展性和水平扩展的特性,适用于处理大规模的数据和高并发的工作负载。
TiDB Operator 的主要功能是简化 TiDB 集群的部署、管理和运维。它基于 Kubernetes 的自定义资源定义(Custom Resource Definition,CRD)和控制器模式,提供了一组自定义资源和控制器,用于描述和操作 TiDB 集群的各个组件和配置。
以下是 TiDB Operator 的一些主要特点和功能:

  1. 自动化部署和扩展:TiDB Operator 可以自动化地部署和扩展 TiDB 集群。您可以通过定义 TiDBCluster 自定义资源来描述集群的拓扑结构、副本数量、存储配置等参数,TiDB Operator 将根据这些参数自动创建和管理相应的 Kubernetes 资源。
  2. 可靠的运维功能:TiDB Operator 提供了一些可靠的运维功能,包括自动备份和恢复、滚动升级、自动故障转移等。它可以监控集群的状态和健康状况,并根据需要执行相应的操作,以确保集群的高可用性和稳定性。
  3. 灵活的配置和扩展:TiDB Operator 允许您通过自定义资源和配置文件来灵活地配置和扩展 TiDB 集群。您可以定义 TiDBCluster、TiDBMonitor、BackupSchedule 等自定义资源来指定集群的各种配置和行为,以满足特定的需求。
  4. 监控和告警:TiDB Operator 集成了 Prometheus 和 Grafana,可以提供集群的实时监控指标和可视化。您可以通过自定义资源 TiDBMonitor 来配置监控规则和告警策略,以及在集群出现问题时发送告警通知。

TiDB Operator 简化了在 Kubernetes 上部署和管理 TiDB 集群的过程,提供了自动化的部署、可靠的运维功能和灵活的配置选项。它使得使用 TiDB 在容器化环境中更加便捷和高效。您可以访问TiDB Operator 简介 GitHub - pingcap/tidb-operator
通过之前文章《8.云原生存储之Ceph集群》介绍ceph部署也使用了Operator,简单总结Operator就是一个部署控制器,主要用于简化部署过程。

软件版本要求

软件名称 版本
Docker Docker CE 18.09.6
Kubernetes v1.12.5+
CentOS CentOS 7.6,内核要求为 3.10.0-957 或之后版本
Helm v3.0.0+

上篇中已经讲述了centos升级操作

Kubernetes Master 节点的配置取决于 Kubernetes 集群中 Node 节点个数,节点数越多,需要的资源也就越多。节点数可根据需要做微调。

Kubernetes 集群 Node 节点个数 Kubernetes Master 节点配置
1-5 1vCPUs 4GB Memory
6-10 2vCPUs 8GB Memory
11-100 4vCPUs 16GB Memory
101-250 8vCPUs 32GB Memory
251-500 16vCPUs 64GB Memory
501-5000 32vCPUs 128GB Memory

部署tidb

  1. 添加tidb应用仓库

11.云原生分布式数据库之TIDB,私有云搭建实战,云原生,tidb

  1. 查看应用仓库提供的应用

11.云原生分布式数据库之TIDB,私有云搭建实战,云原生,tidb

  1. 在 Kubernetes 上快速上手 TiDB

部署前先在kubesphere中创建如下项目(对应k8s中命名空间)
11.云原生分布式数据库之TIDB,私有云搭建实战,云原生,tidb

# 部署crd
kubectl create -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.5.1/manifests/crd.yaml

# 部署tidb-operator,可在ks应用仓库部署
helm install --namespace tidb-admin tidb-operator pingcap/tidb-operator --version v1.5.1


# 查看部署情况
kubectl get pods --namespace tidb -l app.kubernetes.io/instance=tidb-operator

# 部署 TiDB 集群。可以在应用仓库部署,注意修改storageClassName
kubectl -n tidb apply -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.5.1/examples/basic-cn/tidb-cluster.yaml

# 部署独立的 TiDB Dashboard
kubectl -n tidb apply -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.5.1/examples/basic-cn/tidb-dashboard.yaml

# 部署 TiDB 集群监控
kubectl -n tidb apply -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.5.1/examples/basic-cn/tidb-monitor.yaml
  1. kubesphere中查看部署情况

11.云原生分布式数据库之TIDB,私有云搭建实战,云原生,tidb
11.云原生分布式数据库之TIDB,私有云搭建实战,云原生,tidb

  1. 暴露tidb相关服务

11.云原生分布式数据库之TIDB,私有云搭建实战,云原生,tidb
部署后会创建basic-tidb(svc),通nodeport暴露服务发现会重置导致不能访问,此处小编自己创建tidb-svc暴露服务进行测试如下:
11.云原生分布式数据库之TIDB,私有云搭建实战,云原生,tidb

  1. grafana监控面板集群监控,账号密码admin

11.云原生分布式数据库之TIDB,私有云搭建实战,云原生,tidb
11.云原生分布式数据库之TIDB,私有云搭建实战,云原生,tidb
11.云原生分布式数据库之TIDB,私有云搭建实战,云原生,tidb

  1. dashboard

11.云原生分布式数据库之TIDB,私有云搭建实战,云原生,tidb

TIDB工具

helm仓库 https://charts.pingcap.org/包括应用如下:

应用名称 描述
tidb-operator 用于在 Kubernetes 上部署和管理 TiDB 集群的操作符。它提供了自动化的部署、扩展和运维功能,简化了 TiDB 集群的管理流程。
tidb-cluster 用于定义和配置 TiDB 集群的 Helm Chart。通过 tidb-cluster,您可以指定 TiDB、TiKV 和 PD 组件的数量、资源配置、存储设置等参数,以创建一个完整的 TiDB 集群。
tidb-backup 提供了对 TiDB 集群进行备份和恢复的功能。tidb-backup 可以根据预定的计划自动备份 TiDB 集群,并支持从备份中恢复数据。
tidb-drainer 用于从 MySQL 或者 TiDB 集群中抓取 Binlog,并将其转发到其他目标(如 Kafka 或者 TiDB 集群)。tidb-drainer 可以用于实时数据分析、数据同步等场景。
tidb-lightning 提供了快速导入大量数据到 TiDB 集群的功能。tidb-lightning 可以将数据从各种数据源(如 MySQL、CSV 文件等)导入到 TiDB 集群中,以加快数据导入速度。
tikv-importer 用于将数据从其他数据库引擎(如 RocksDB)迁移到 TiKV。tikv-importer 提供了高效的数据迁移工具,可以将数据转换为 TiKV 的格式并导入到 TiDB 集群中。
tikv-operator 用于在 Kubernetes 上部署和管理 TiKV 集群的操作符。tikv-operator 可以自动创建和管理 TiKV 实例,提供了高可用性和可扩展性的分布式存储解决方案。
diag 提供了 TiDB 集群的诊断和故障排查工具。diag 可以帮助您分析和解决 TiDB 集群中的性能问题、错误和故障。
br-federation 用于在分布式 TiDB 集群中进行备份和恢复的工具。br-federation 可以协调多个 TiDB 集群之间的备份和恢复操作,提供了跨集群的数据保护和恢复能力。

helm常用命令

helm install 安装一个 Helm 包 helm install my-release stable/mysql
helm upgrade 升级已安装的 Helm 包 helm upgrade my-release stable/mysql
helm uninstall 卸载一个已安装的 Helm 包 helm uninstall my-release
helm list 列出已安装的 Helm 包 helm list
helm status 显示已安装的 Helm 包的状态 helm status my-release
helm rollback 回滚到先前的 Helm 包版本 helm rollback my-release 1
helm search 搜索可用的 Helm 包 helm search repo mysql
helm repo add 添加一个 Helm 仓库 helm repo add stable https://charts.helm.sh/stable
helm repo update 更新已添加的 Helm 仓库 helm repo update
helm repo list 列出已添加的 Helm 仓库 helm repo list
helm dependency update 更新 Helm 依赖 helm dependency update my-chart
helm lint 检查 Helm Chart 的语法和最佳实践 helm lint my-chart
helm template 生成 Helm Chart 的模板文件 helm template my-chart
helm history 显示已安装 Helm 包的历史版本 helm history my-release
helm plugin install 安装 Helm 插件 helm plugin install https://example.com/helm-plugin.tar.gz
helm plugin list 列出已安装的 Helm 插件 helm plugin list
helm plugin uninstall 卸载已安装的 Helm 插件 helm plugin uninstall my-plugin
helm env 显示 Helm 的环境变量信息 helm env

TIDB学习推荐资料

小编推荐学习最好还是阅读官网TiDB 产品文档,官网提供的PFD文档TiDB on Kubernetes 用户文档.pdf,tidb-github。除上述学习途径,小编推荐b站上的tidb教程,配套 资料已上传到gitee。文章来源地址https://www.toymoban.com/news/detail-790151.html

到了这里,关于11.云原生分布式数据库之TIDB的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • OceanBase X Flink 基于原生分布式数据库构建实时计算解决方案

    摘要:本文整理自 OceanBase 架构师周跃跃,在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为四个部分: 分布式数据库 OceanBase 关键技术解读 生态对接以及典型应用场景 OceanBase X Flink 在游戏行业实践 未来展望 点击查看原文视频 演讲PPT 作为一款历经 12 年的纯自研

    2024年02月13日
    浏览(45)
  • 火山引擎云搜索服务升级云原生新架构;提供数十亿级分布式向量数据库能力

    从互联网发展伊始,搜索技术就绽放出了惊人的社会和经济价值。随着信息社会快速发展,数据呈爆炸式增长,搜索技术通过数据收集与处理,满足信息共享与快速检索的需求。 云搜索服务 ESCloud 是火山引擎提供的 完全托管在线分布式搜索服务 ,兼容 Elasticsearch、Kibana 等软

    2024年02月16日
    浏览(43)
  • 【PostgreSQL 数据库线下沙龙(武汉站)】PieCloudDB:云原生分布式虚拟数仓的诞生之旅...

    2023年6月3日,开源软件联盟 PostgreSQL 中文社区在武汉举办了技术沙龙活动。本次活动主题围绕未来数据库展开讨论和分享。通过探讨未来数据库的概念和特点,为智能化时代的发展提供更多的支持和服务。同时,通过探讨数据库和AI技术的共生共荣,推动数字经济的发展和创

    2024年02月11日
    浏览(43)
  • 解释什么是分布式数据库,列举几种常见的分布式数据库系统

    敏感信息和隐私保护是指在收集、存储和使用个人数据时,需要采取一系列措施来保护这些数据的安全和机密性,防止数据被未经授权的第三方访问、使用或泄露。这些措施包括加密、访问控制、数据脱敏、数据加密、隐私政策等。 在隐私保护的技术手段方面,常用的技术包

    2024年02月08日
    浏览(57)
  • 分布式数据库架构

    对于mysql架构,一定会使用到读写分离,在此基础上有五种常见架构设计:一主一从或多从、主主复制、级联复制、主主与级联复制结合。 1.1、主从复制 这种架构设计是使用的最多的。在读写分离的基础上,会存在一台master作为写机,一个或多个slave作为读机。因为在实际的

    2024年02月10日
    浏览(50)
  • 分析型数据库:分布式分析型数据库

    分析型数据库的另外一个发展方向就是以分布式技术来代替MPP的并行计算,一方面分布式技术比MPP有更好的可扩展性,对底层的异构软硬件支持度更好,可以解决MPP数据库的几个关键架构问题。本文介绍分布式分析型数据库。 — 背景介绍— 目前在分布式分析型数据库领域,

    2023年04月14日
    浏览(61)
  • 分布式数据库HBase

    HBase是一个高可靠、高性能、 面向列 、可伸缩的分布式数据库,是谷歌BigTable的开源实现,主要用来存储非结构化和把结构化的松散数据。 HBase的目标是处理非常庞大的表,可以通过水平扩展的方式,利用 廉价计算机集群 处理由超过10亿行数据和数百万列元素组成的数据表。

    2024年02月09日
    浏览(57)
  • 【大数据】分布式数据库HBase

    目录 1.概述 1.1.前言 1.2.数据模型 1.3.列式存储的优势 2.实现原理 2.1.region 2.2.LSM树 2.3.完整读写过程 2.4.master的作用 本文式作者大数据系列专栏中的一篇文章,按照专栏来阅读,循序渐进能更好的理解,专栏地址: https://blog.csdn.net/joker_zjn/category_12631789.html?spm=1001.2014.3001.5482 当

    2024年04月27日
    浏览(47)
  • 分布式数据库-事务一致性

    version: v-2023060601 author: 路__ 分布式数据库的“强一致性”应该包含两个方面: serializability(串行) and linearizability(线性一致) ,上述图为“Highly Available Transactions: Virtues and Limitations”论文中对于一致性模型的介绍。图中箭头表示一致性模型之间的关系。对于异步网络上的分

    2024年02月08日
    浏览(53)
  • 分布式数据库NoSQL(二)——MongoDB 数据库基本操作

    MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似 json 的

    2024年02月06日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包