1. Toy模板网首页
  2. > Toy博客

aws上采用tidb和原生使用aws rds价格的比较。兼数据分析性能的测试

9月前 作者：TiDB 社区干货传送门 分类：Toy博客 阅读(47) 违法举报

这篇具有很好参考价值的文章主要介绍了aws上采用tidb和原生使用aws rds价格的比较。兼数据分析性能的测试。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

作者： tidb狂热爱好者 原文来源： https://tidb.net/blog/ef242615

项目背景介绍

有一个20t-30t的历史库需要做数据分析，节能减排，减容增效。今年大环境不好，aws的费用又是出奇的贵。

历史库的作用是公司近1年的订单合集，平时不需要查询，偶尔会有月统计的需求。之前用aws的mysql无法完成需求，现在寻找数据库替换。

分别测试了oltp性能和olap性能。

数据分析pk

压测步骤

如何对 TiDB 进行 CH-benCHmark 测试

本地启动一个tidb单节点端口4000，启动一个mysql8.0 端口4001

tiup playground

初始化测试数据

tiup bench tpch --sf=1 prepare -P4000

tiup bench tpch --sf=1 prepare -P4001

#进入tidb开启tiflash。 ALTER DATABASE tpcc SET TIFLASH REPLICA 1; #等待同步完成后收集统计信息。 analyze table customer; analyze table district; analyze table history; analyze table item; analyze table new_order; analyze table order_line; analyze table orders; analyze table stock; analyze table warehouse; analyze table nation; analyze table region; analyze table supplier;

分别开始测试

tiup bench tpch --sf=1 run -P4000

tiup bench tpch --sf=1 run -P4001

mysql8数据分析测试

tiup is checking updates for component bench ...timeout(2s)! Starting component bench: /var/root/.tiup/components/bench/v1.12.0/tiup-bench tpch --sf=1 run -P4001 [Current] Q1: 78.89s [Current] Q2: 3.79s [Current] Q3: 26.81s [Current] Q4: 6.14s [Current] Q5: 6.48s [Current] Q6: 10.23s [Current] Q7: 26.21s [Current] Q8: 39.76s [Current] Q9: 98.75s [Current] Q10: 13.25s [Current] Q11: 10.37s [Current] Q12: 15.94s [Current] Q13: 12.72s [Current] Q14: 32.78s [Current] Q15: 31.24s [Current] Q16: 4.06s mysql无法进行数据分析依赖redshift 无法进行Q17测试。

tidb数据分析

[Current] Q3: 0.30s [Current] Q4: 1.31s [Current] Q5: 0.57s [Current] Q6: 0.17s [Current] Q7: 0.30s [Current] Q8: 0.50s [Current] Q9: 0.97s [Current] Q1: 0.57s [Current] Q10: 0.44s [Current] Q11: 0.17s [Current] Q12: 0.44s [Current] Q13: 0.70s [Current] Q14: 0.17s [Current] Q15: 0.50s [Current] Q16: 0.23s [Current] Q17: 0.44s [Current] Q18: 0.84s [Current] Q2: 0.17s [Current] Q21: 0.84s [Current] Q22: 0.10s [Current] Q3: 0.30s [Current] Q4: 1.38s [Current] Q5: 0.44s [Current] Q6: 0.17s [Current] Q7: 0.37s [Current] Q8: 0.50s [Current] Q9: 0.91s [Current] Q1: 0.57s [Current] Q10: 0.44s [Current] Q11: 0.17s [Current] Q12: 0.30s [Current] Q13: 0.57s [Current] Q14: 0.17s [Current] Q15: 0.64s [Current] Q16: 0.23s [Current] Q17: 0.50s [Current] Q19: 0.64s [Current] Q2: 0.17s [Current] Q20: 0.23s [Current] Q21: 0.91s [Current] Q22: 0.10s [Current] Q3: 0.37s [Current] Q4: 1.17s [Current] Q5: 0.44s [Current] Q6: 0.17s [Current] Q7: 0.37s [Current] Q8: 0.50s [Current] Q9: 0.84s [Current] Q1: 0.64s [Current] Q10: 0.44s [Current] Q11: 0.17s [Current] Q12: 0.23s [Current] Q13: 0.57s [Current] Q14: 0.10s [Current] Q15: 0.37s [Current] Q16: 0.17s [Current] Q17: 0.30s [Current] Q18: 0.67s [Current] Q19: 0.64s [Current] Q2: 0.17s [Current] Q20: 0.30s [Current] Q21: 0.77s [Current] Q22: 0.10s [Current] Q3: 0.30s [Current] Q4: 1.17s [Current] Q5: 0.44s [Current] Q6: 0.10s [Current] Q7: 0.37s [Current] Q8: 0.30s [Current] Q9: 0.70s tidb数据分析性能是mysql的几百倍 均是几百毫秒完成。

测试结果比较

差距最大的q1 q9 有100多倍，最小q4 也有5倍

q1 q2 q3 q4 q5 q6 q7 q8 q9 q10
mysql8 78.89s 3.79s 26.81s 6.14s 6.14s 10.23s 26.21s 39.76s 98.75s 13.25s
tidb 0.64s 0.17s 0.30s 1.17s 0.44s 0.10s 0.37s 0.30s 0.70s 0.44s

ycsb测试

测试命令

读10000次计算执行时间

更新500次计算执行时间

tiup bench ycsb run tidb -p tidb.instances=127.0.0.1:4000 -p operationcount=10000

tiup bench ycsb run mysql -p tidb.instances=127.0.0.1:4001 -p operationcount=10000

tidb

Starting component `bench`: /var/root/.tiup/components/bench/v1.12.0/tiup-bench ycsb run mysql -p tidb.instances=127.0.0.1:4000 -p operationcount=10000 ***************** properties ***************** "command"="run" "tidb.instances"="127.0.0.1:4000" "operationcount"="10000" "dotransactions"="true" ********************************************** Run finished, takes 4.191237542s READ - Takes(s): 4.2, Count: 9495, OPS: 2267.3, Avg(us): 402, Min(us): 179, Max(us): 7951, 99th(us): 705, 99.9th(us): 3519, 99.99th(us): 7007 UPDATE - Takes(s): 4.2, Count: 505, OPS: 120.7, Avg(us): 675, Min(us): 419, Max(us): 2497, 99th(us): 1117, 99.9th(us): 1926, 99.99th(us): 2497

mysql

tiup is checking updates for component bench ... Starting component `bench`: /var/root/.tiup/components/bench/v1.12.0/tiup-bench ycsb run mysql -p tidb.instances=127.0.0.1:4001 -p operationcount=10000 ***************** properties ***************** "operationcount"="10000" "dotransactions"="true" "command"="run" "tidb.instances"="127.0.0.1:4001" ********************************************** READ - Takes(s): 10.0, Count: 4522, OPS: 452.5, Avg(us): 2086, Min(us): 778, Max(us): 151423, 99th(us): 8687, 99.9th(us): 26655, 99.99th(us): 151423 UPDATE - Takes(s): 9.9, Count: 234, OPS: 23.6, Avg(us): 2306, Min(us): 972, Max(us): 10543, 99th(us): 7859, 99.9th(us): 10543, 99.99th(us): 10543 Run finished, takes 19.66040875s READ - Takes(s): 19.7, Count: 9506, OPS: 483.7, Avg(us): 1955, Min(us): 778, Max(us): 151423, 99th(us): 7867, 99.9th(us): 17759, 99.99th(us): 41343 UPDATE - Takes(s): 19.6, Count: 494, OPS: 25.2, Avg(us): 2080, Min(us): 807, Max(us): 10543, 99th(us): 6959, 99.9th(us): 10543, 99.99th(us): 10543

结论

tp性能测试 read 9506 count update 494 count
mysql 19.6s 19.7s
tidb 4.2s 4.2s

亚马逊上的费用对比

三实例aws Aurora费用

cpu 实例小时费用 存储费用小时 io1万次数 总费用
主读 r5.4xlarge 16 2.3200 USD 每月每 GB 0.12 USD 每月每 IOPS 0.27
主写 r5.4xlarge 16 2.3200 USD 每月每 GB 0.12 USD 每月每 IOPS 0.27
redshift最低配 dc2.8xlarge 32 4,449.35
月费用 3340.8 491.52 5400 9232.32

aurora预估费用页面 https://aws.amazon.com/cn/rds/aurora/pricing/?pg=pr&loc=1 存储费率 每月每 GB 0.12 USD 每月每 GB 0.27 USD I/O 费率 每 100 万个请求 0.24 USD 包含

aws rds费用

cpu 实例小时费用 存储费用小时 io1万次数 总费用
主读 r5.4xlarge 16 2.2800 USD 每月每 GB 0.375 USD 每月每 IOPS 0.30
主写 r5.4xlarge 16 2.2800 USD 每月每 GB 0.375 USD 每月每 IOPS 0.30
redshift最低配 dc2.8xlarge 32 4,449.35
月费用 5088.96 1536 6000 10819.2

rds预估费用页面 https://aws.amazon.com/cn/rds/mysql/pricing/?pg=pr&loc=2 多可用区存储费率 每月每 GB 0.45 USD 多可用区预调配 IOPS 费率 每月每 IOPS 0.36 USD

tidb 非高可用方案 冷磁盘250m峰值读取

cpu 实例小时费用 20t cold hhd gp3 1t(给tiflash) 总费用
pd c5.2xlarge 8 0.192 0
tidb c5.4xlarge 16 0.856 0
kv r5.4xlarge 16 1.096 200 200
月费用 1543.68 200 200 1943

优点：

费用便宜只需要1943元就能完成大数据的计算任务。如果好后期可以扩容支撑大数据计算业务

tiflash采用计算分离架构节约80%费用

TiFlash 存算分离架构与 S3 支持

缺点：

本方案是单点tidb。如果ec2宕机，需要代码遇到tidb无法写入时，不再删除mysql原始库的数据。等待处理

tidb高可用三副本

cpu 实例小时费用 20t cold hhd（1月） gp3 1t(给tiflash) 总费用
pd c5.2xlarge 8 0.192 0
pd c5.2xlarge 8 0.192 0
pd c5.2xlarge 8 0.192 0
tidb c5.4xlarge 16 0.856 0
tidb c5.4xlarge 16 0.856 0
kv r5.4xlarge 16 1.096 200
kv r5.4xlarge 16 1.096 200
kv r5.4xlarge 16 1.096 200 200
月费用 4631.04 600 200 5431.04

优点：

费用便宜只需要5431元就能完成大数据的计算任务。如果好后期可以扩容支撑大数据计算业务

并且是三副本高可用的版本。不存在宕机问题

tiflash采用计算分离架构节约80%费用

https://docs.pingcap.com/zh/tidb/stable/tiflash-disaggregated-and-s3

缺点：

相比单节点费用较高。保证了业务可用性。

结论

感觉tidb上了后会节约至少一半的费用。

整体算下来 aurora的费用会比rds便宜因为aurora的存储基于s3的三副本。存储费用低。

而自建tidb的存储价格会比aurora低。合理利用s3，hhd，gp3，不同存储的搭配会节省出不少费用。s3作为aws的引流产品价格是出奇的低我恨不得任何时候任何产品后段都挂载s3.实现容量和性价比的 文章来源地址https://www.toymoban.com/news/detail-538893.html

tidb 费用对比 费用比
single 1943 0.35
tidb 5431.04 1.0
rds 10819.2 2.0
Aurora 9232.32 1.7

到了这里，关于aws上采用tidb和原生使用aws rds价格的比较。兼数据分析性能的测试的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 使用Python进行云计算：AWS、Azure、和Google Cloud的比较

    使用Python进行云计算：AWS、Azure、和Google Cloud的比较

    前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 随着云计算的普及，越来越多的企业和开发者转向使用云服务来构建和扩展他们的应用程序。AWS（亚马逊云服务）、Azure（微软云）和Google

    2024年04月22日
    浏览(63)

  • linux：需要注意docker和aws的rds的mysql默认是UTC而不是中国时区

    问题：         如题 解决办法：         docker参考：                 mysql时间不对，修改时区_set global time_zone 无效_《小书生》的博客-CSDN博客         aws参考：                 https://www.youtube.com/watch?v=B-NaqV-A1BY                 mysql - AWS修改RDS时区

    2024年02月10日
    浏览(45)
  • 云原生-AWS EC2使用、安全性及国内厂商对比

    云原生-AWS EC2使用、安全性及国内厂商对比

    本文通过实操，介绍了EC2的基本使用，并在功能、安全性上与其他厂商进行对比。 EC2(Elastic Compute Cloud)是AWS云中的服务器，提供按需、可扩展的计算能力。本文以Linux为例。下图是EC2的位置。 Instance就是EC2，它被Security group(安全组)保护着，持久性存储使用了EBS( Elastic Block St

    2024年02月08日
    浏览(52)

  • 【云原生】aws平台使用eks发布load balancer暴露服务到外网

    区域：中国北京区 网络负载均衡： 搭建ingress一定要参考aws官网教程文档：https://docs.amazonaws.cn/eks/latest/userguide/network-load-balancing.html 开启外网在svc 上添加注释：

    2024年02月11日
    浏览(42)

  • 云计算采用的各种虚拟化技术比较

    KVM 是一个全虚拟化的解决方案。可以在 x86 架构的计算机上实现虚拟化功能。但 KVM 需要 CPU 中虚拟化功能的支持，只可在具有虚拟化支持的 CPU 上运行，即具有 VT 功能的 Intel CPU 和具有 AMD-V 功能的 AMD CPU。 Xen 也是 Linux 下的一个虚拟化解决方案，也将很快被编入内核中。Xen

    2024年02月01日
    浏览(47)
  • 11.云原生分布式数据库之TIDB

    11.云原生分布式数据库之TIDB

    云原生专栏大纲 从后端视角、运维视角和基础架构视角来看，使用 TiDB 作为数据库系统可以获得分布式架构、高可用性、强一致性、事务支持、水平扩展、高性能、简化运维、灵活的扩展和配置、集成的监控和告警等优势。这些优势使得 TiDB 成为处理大规模数据和高并发请求

    2024年02月01日
    浏览(65)
  • 【Python数据分析】二手车价格预测

    【Python数据分析】二手车价格预测

    （1）读入数据 （2）分析数据格式和确定使用的模型 （3）数据预处理 （4）使用所选模型进行测试并改进 （5）应用不同算法（模型）对比效果 （6）使用集成学习算法提升回归效果 （7）网格搜索调参数 1、读取数据 这里使用在阿里巴巴天池下载的二手车交易数据https://tia

    2024年02月08日
    浏览(50)
  • 1.Python数据分析项目——二手车价格预测

    1.Python数据分析项目——二手车价格预测

    流程 具体操作 基本查看 查看缺失值、查看重复值、查看数值类型 预处理 缺失值处理（确定是否处理后，使用筛选方式删除）拆分数据 、标签的特征处理（处理成0/1格式）、特征工程（one-hot编码） 数据分析 groupby分组求最值数据、seaborn可视化 预测 拆分数据集、建立模型、

    2024年02月12日
    浏览(41)

  • clickhouse系列3：clickhouse分析英国房产价格数据

     本文使用的数据集下载链接： https://download.csdn.net/download/shangjg03/88478086 该数据集包含有关英格兰和威尔士自1995年起到2023年的房地产价格的数据，超过2800万条记录，未压缩形式的数据集大小超过4GB，在ClickHouse中需要约306MB。

    2024年02月10日
    浏览(33)
  • 大数据分析案例-基于XGBoost算法预测航空机票价格

    大数据分析案例-基于XGBoost算法预测航空机票价格

    🤵‍♂️ 个人主页：@艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞👍🏻 收藏 📂加关注+ 喜欢大数据分析项目的小伙伴，希望可以多多支持该系列的其他文章 大数据分析案例合集

    2023年04月08日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包