POSTGRESQL 压力测试结果与 POSTGRESQL CPU OR 内存 提升性能提升大

这篇具有很好参考价值的文章主要介绍了POSTGRESQL 压力测试结果与 POSTGRESQL CPU OR 内存 提升性能提升大。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

postgresql 压力测试,数据库,python,mysql,java,大数据

数据库与硬件之间的关系,是一个决定数据库性能,必要条件,即使你参数调整的漂亮,你的SQL 撰写的没有问题,但是硬件不行,那么上面说的这一切对于数据库的性能,只能是杯水车薪。

那么如何对一个数据库或者一个应用要使用的数据库,预先通过压测的方式来满足应用在正式运行后的需求,这一点就十分的重要了。我们对于应用上线都是基于严格的,数据库性能测试分析,以及基于应用端的数据库业务性能测试,合而为之一之后的结果,来驱动到底使用多大的配置来应承应用的需求。

本篇文字,是没有业务方面的测试对于POSTGRESQL 的压力测试,但作为一个正规的数据库部门,我们一定是有,不同硬件在同样配置下的POSTGRESQL 的跑分成绩的,并且还要有不同的

1  数据量

2  并发访问量

3  对数据的操作模式

4  不同的参数对于数据库的影响度

本篇中,就是基于4中配置,对POSTGRESQL 13 这个版本的数据库,在以上不同情况下的跑分结果,也是基于某个云跑分的结果。(什么云,那个云,不要问,此篇文字着重,怎么测,为什么这么测,测完怎么分析)

首先测试的硬件配置,一定是通用的,或者我们负担的起的硬件配置,我们不可能像数据库厂商,弄来512G ,256G ,96CORE, 128 CORE的主机来进行压力测试,然后提供一个很好看的分数。终究我们还是要较大实地的去用实际当中存在的主机来进行压力测试。

以下测试中我们通过如下的配置进行了压力测试

硬件配置
4C 8G
4C  16G
8C 64G
16C 32G

测试选项

测试数据形式
insert
delete
oltp
update

update without index
random select  point select 

测试的总体数据量大小

单表大小
500万
1000万
5000万
1亿

测试表的数量

测试表的数
10个
20个
5个

测试的线程数

并发线程
10
30
50 
70            100

通过不同的匹配项,进行顺序匹配,并且每个选项进行至少10次的测试,以及时间超过5分钟的单次测试。我们总结出如下的一些在POSTGRESQL 13上表现得性能状态。

1   CPU 的核心数的增加,对比内存的增加,在同种压力的情况下,CPU 添加后对系统的性能帮助大。

这点在8C 64G 和 16C 32G 的相关的测试中,对比测试数据的结果很明显,图1是 16C 32G  图2是 8C 64G ,操作的选择项是数据插入,在疯狂的数据插入的过程中线程越多,插入数据之间的行数的差距越大。

所以我们得出一个结论,在数据插入多的系统中,CPU 添加比内存添加要对提升性能更有利,进程越多,越明显。

图 1

postgresql 压力测试,数据库,python,mysql,java,大数据

图 2 

postgresql 压力测试,数据库,python,mysql,java,大数据

2  在数据的删除的操作中,下面图3️⃣为 16C 32G 图4️⃣为 8C 32G,从删除的操作角度来看,实际上无论是内存大还是CPU多,对于删除的操作的差别不是很大,CPU 多的状态略好于 内存多的状态。

图3 

postgresql 压力测试,数据库,python,mysql,java,大数据

图4

postgresql 压力测试,数据库,python,mysql,java,大数据

3  OLTP ,在OLTP 的操作中,CPU 多的情况下,访问线程多的情况下对于POSTGRESQL 的影响就有不同了,在表的行数多的情况下,部分测试结果中内存大的POSTGRESQL 占有小部分优势,而在线程低,表数量小的情况下二者的差别并不大。

这里我们找出规律是,当表的数据量越来越大的情况下,添加内存和添加CPU 要看访问的频度有多大,如果访问的频度并发大,则还是要添加CPU 优先,而不是内存,但如果访问的频度不大,则优先添加内存。

图5

postgresql 压力测试,数据库,python,mysql,java,大数据

图6

postgresql 压力测试,数据库,python,mysql,java,大数据

4  在查询中还有两种查询的方式,如random 查询,也就是我们查询的数据在页面中可能是不关联的,另一种是 range查询,也就是我们搜寻的数据很可能在一个页面或连续的页面中。

这里先说说,这两者查询在在同种配置的查询中,POSTGRESQL 更喜欢的是random point 的查询方式,因为这样的查询方式本身比range的查询的方式在TPS QPS 均有优势。

另外还是在线程的更多需求的状态下,CPU 更多的情况下 random 查询的差距并不是太明显,而在range 查询的状态中,CPU 多比内存多,要多个40%--45%的速度。图7为8C 64G 图8 为 16C 32G

图7

postgresql 压力测试,数据库,python,mysql,java,大数据

图8

postgresql 压力测试,数据库,python,mysql,java,大数据

通过这个查询,我们明确了一个问题,在进行范围查询的过程中,CPU 对于数据的提取的速度有明显的提高。

5  那么我们是否就可以得出POSTGRESQL 在数据处理中对于数据的操作应该给更多的CPU 要有利于给更多的内存,----下面的结果就给出了明确的结果

不是

下面的测试中,主要对于数据的UPDATE 有明显差异,尤其是带有索引的数

据在数据更新中。与之前CPU 对所有的数据库操作都有利相反,随着数据量和进程的量的增大的情况下内存更大的情况下,处理的速度更快这点我们在图9 8C 64G 和图10 16C 32G 的测试中可以看出,所以对于大量UPDATE 的操作中,并且你的表有大量的索引的情况下,这样的操作,内存是一个有利提升你操作速度的点。

图9

postgresql 压力测试,数据库,python,mysql,java,大数据

图10

postgresql 压力测试,数据库,python,mysql,java,大数据

当然我们还应该针对这些数据,在更多的层面上进行分析,如索引的数量,以及表行数的增长对于计算处理的衰减等等之类更细致的分析。基于时间的因素,我们可能后面在进行更详细的分析。

最后我们得出的结论,如果你的系统不是大量的UPDATE 的数据库系统,则CPU 对于你的大部分操作都有利,大于内存的添加,但如果你的操作中堆表有大量的UPDATE with index的操作,则内存是你需要考虑的提高性能的部分。

同时,数据库方面以上的测试结果是在未进行大幅度优化的情况下,其中我们发现如果将PG 中的与事务刷新有关的参数的值调整后,整体的性能会提高10-30%,但在实际的工作场景中我们并不能因为性能而放弃数据库的安全性。

postgresql 压力测试,数据库,python,mysql,java,大数据文章来源地址https://www.toymoban.com/news/detail-531141.html

到了这里,关于POSTGRESQL 压力测试结果与 POSTGRESQL CPU OR 内存 提升性能提升大的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 云服务器SVN仓库搭建(以阿里云为例)

    远程连接阿里云服务器 安装svn(注意需要root权限使用命令sudo su) yum install subversion 安装成功后查看svn版本 svnserve --version  创建版本库的根目录 mkdir /var/svn 创建代码仓库 svnadmin create /var/svn/test    当前生成的目录结构 此处为svn的配置文件 创建用户名和密码 编辑passwd文件 创建

    2024年02月14日
    浏览(41)
  • 计算机网络——计算机网络体系结构

    1.1 概念 一般认为,计算机网络是一个将分散的,具有独立功能的计算机系统,通过通信设备与线路连接起来,由功能完善的软件实现资源共享的信息传递的系统,简而言之,计算机网络就是一些 互联的,自治的计算机系统的集合 1.2 组成 (1)从组成部分:由 硬件,软件,

    2024年02月15日
    浏览(52)
  • appium解决报错:ModuleNotFoundError: No modulenamed ‘selenium.webdriver.common.options‘

    出现这个错误是因为selenium与Appium-Python-Client版本不匹配。 appium: selenium: selenium要4.0版本以上 卸载selenium3.141: 如果安装selenium4.0 ** 会提示如果安装了,appium-python-client 2.7.1,那就要安装selenium~=4.1,这样依赖才匹配。selenium3.141和selenium4.0,4.1相差不是很大,但是selenium不同版本里

    2024年02月11日
    浏览(41)
  • SpringBoot+Prometheus+Grafana 监控面板(项目配置方式【入侵】)

    提示:本文使用SpringBoot 简单样例,介绍基础配置和使用方法 包含内容:Docker、SpringBoot、Maven、 Prometheus、Grafana等 提示:本文包含官网内容介绍,具体更项目的学习,请参照各官网文档,谢谢 官网:https://prometheus.io/ 文档地址:https://prometheus.io/docs/introduction/overview/ 使用领先

    2024年02月16日
    浏览(51)
  • 《动手学深度学习 Pytorch版》 10.6 自注意力和位置编码

    在注意力机制中,每个查询都会关注所有的键-值对并生成一个注意力输出。由于查询、键和值来自同一组输入,因此被称为 自注意力(self-attention),也被称为内部注意力(intra-attention)。本节将使用自注意力进行序列编码,以及使用序列的顺序作为补充信息。 给定一个由

    2024年02月06日
    浏览(44)
  • ubuntu22.04编译安装使用gstreamer指南

    ubuntu发行版22.04,该发行版内置Gstreamer1.20.1,gstreamer源码最新版本为1.20.3,差距不大 下载gstreamer源码 安装git 下载gstreamer 安装meson gstreamer1.60以后(不包含1.60),使用meson+ninja来构建 安装glib gstreamer是基于glib-gobject来实现的 安装libsoup 安装libunwind 安装libdw 安装g-ir-scanner 系统中

    2024年02月05日
    浏览(74)
  • 【Python 中的 plt.hist 函数详解】

    plt.hist 函数用于绘制直方图。直方图是一种用来表示数据分布的图形,它将数据分成若干个区间,然后统计每个区间中数据的数量,最终以柱状图的形式展示出来。 直方图主要用于可视化数据的分布情况。它将数据划分为一系列的区间(也称为箱子或柱子),然后计算每个区

    2024年04月13日
    浏览(44)
  • FDTD算法及其应用

    一、电磁场问题数值计算方法         有许多的数值计算方法用于解决电磁场问题。其中,一些最常用的方法包括:         1.有限元法(Finite Element Method,FEM):这种方法将连续的求解域离散化为有限个小的单元,对每个单元进行数值求解,然后将所有单元的解组

    2024年01月25日
    浏览(35)
  • idea2021配置Git&GitHub&账号登录授权

    下载地址:https://git-scm.com/downloads 安装很简单,这里不多废话。 点击 GitManage Remotes…点\\\"+\\\"号添加别名和仓库地址 转圈圈的同时会弹出浏览器,打开授权界面、 点击授权按钮后,输入账号密码登录,并再次点击授权按钮 最终出现下面提示,则over! over之后再去idea看,发现已

    2023年04月08日
    浏览(43)
  • 【0002】JDK1.7安装和环境变量配置(Windows7操作系统)

    链接:https://pan.baidu.com/s/1ZJTlD-bRw9VCNA5qY-ZU-A  提取码:3d4h 在Windows7操作系统下安装JDK1.7及配置环境变量。其它版本的JDK及操作系统安装步骤,基本上没有太大的差异,所以此文也可以指导安装其它系统中的不同版本的JDK。 先安装JDK再配置环境变量 JDK版本:JDK-7u80-windows-x64版本

    2024年03月25日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包