1. Toy模板网首页
  2. > Toy博客

pytest学习和使用-pytest如何进行分布式测试？（pytest-xdist）

9月前 作者：测试界柠檬 分类：Toy博客 阅读(36) 违法举报

这篇具有很好参考价值的文章主要介绍了pytest学习和使用-pytest如何进行分布式测试？（pytest-xdist）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

pytest学习和使用-pytest如何进行分布式测试？（pytest-xdist）,软件测试,pytest,学习,分布式,软件测试,自动化测试,功能测试,程序人生

1 什么是分布式测试？

  • 在进行本文之前，先了解些基础知识，什么是分布式测试？
  • 分布式测试：是指通过局域网和Internet，把分布于不同地点、独立完成特定功能的测试计算机连接起来，以达到测试资源共享、分散操作、集中管理、协同工作、负载均衡、测试过程监控等目的的计算机网络测试。
  • 通俗的讲：分布式测试 就是活太多，一个人干费时间，那就让多个人一起干，节省了资源和时间。

2 为什么要进行分布式测试？

2.1 场景1：自动化测试场景

自动化测试时，我们有很多用例，比如2000条用例，按照顺序执行，每条用例执行1分钟，那需要2000分钟；

什么概念？2000分钟就30多个小时，如果是冒烟测试，估计还没人工跑的快；

还有，如果是线上发布，跑完2000条用例就太浪费时间了；

那如果我们让我们让用例分布式执行，是不是可以节省很多时间？

2.2 场景2：性能测试场景

  • 如果数据量很大，我们使用1台压测机，可能并发压力过大；

  • 那就需要选择使用多台压测机（比如Jmeter的 Agent/负载机）；

  • 这样也是一种分布式压测或者分布式性能测试场景。

所以总结来说，其实就是为了提升效率和质量。

3 分布式测试有什么特点？

特点 说明
网格化 多节点互联互通，可资源共享
分布性 地域和计算机上，协同工作、负载均衡、可扩展性、高可用性
开放性 可移植性、可互操作性、可伸缩性、易获得性
实时性 各种信息都必须是实时的
动态性 测试过程对象和活动动态映射
处理不确定性 具有处理不确定性的能力
容错及安全性 容错能力强，可靠性高、安全性好

4 分布式测试关键技术是什么？

技术点 要求
分布式环境 获取全局状态，能够方便地监视和操纵测试过程；集中式的分布式策略。
分布式环境下的节点通信 稳定的通信环境；适合用基于消息通信的方式来实现。
测试任务调度 静态调度、动态调度和混合调度。

5 分布式执行用例的前置条件是什么？

  • 用例之间是独立且没有依赖关系，完全独立运行；

  • 用例执行没有顺序，随机顺序都能正常执行；

  • 每个用例都能重复运行，运行结果不会影响其他用例。

6 pytest-xdist安装

  • pytest-xdist让自动化测试用例分布式执行，节省测试时间，属于进程级别的并发；

  • 使用以下方法安装：

pip3 install pytest-xdist

C:\Users\Administrator>pip3 install pytest-xdist
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Requirement already satisfied: pytest-xdist in d:\python37\lib\site-packages (1.31.0)
Requirement already satisfied: six in d:\python37\lib\site-packages (from pytest-xdist) (1.15.0)
Requirement already satisfied: execnet>=1.1in d:\python37\lib\site-packages (from pytest-xdist) (1.8.0)
Requirement already satisfied: pytest>=4.4.0in d:\python37\lib\site-packages (from pytest-xdist) (6.2.4)
Requirement already satisfied: pytest-forked in d:\python37\lib\site-packages (from pytest-xdist) (1.1.3)
Requirement already satisfied: apipkg>=1.4in d:\python37\lib\site-packages (from execnet>=1.1->pytest-xdist) (1.5)
Requirement already satisfied: toml in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (0.10.2)
Requirement already satisfied: attrs>=19.2.0in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (20.3.0)
Requirement already satisfied: colorama in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (0.4.4)
Requirement already satisfied: atomicwrites>=1.0in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (1.4.0)
Requirement already satisfied: pluggy<1.0.0a1,>=0.12in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (0.13.1)
Requirement already satisfied: py>=1.8.2in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (1.10.0)
Requirement already satisfied: importlib-metadata>=0.12in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (2.1.1)
Requirement already satisfied: packaging in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (20.8)
Requirement already satisfied: iniconfig in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (1.1.1)
Requirement already satisfied: zipp>=0.5in d:\python37\lib\site-packages (from importlib-metadata>=0.12->pytest>=4.4.0->pytest-xdist) (1.2.0)
Requirement already satisfied: pyparsing>=2.0.2in d:\python37\lib\site-packages (from packaging->pytest>=4.4.0->pytest-xdist) (2.4.7)

7 pytest-xdist的优势

  • 测试运行并行化；

  • 在子进程中重复运行测试；

  • 可指定不同的Python解释程序或不同的平台，并行运行测试。

8 pytest-xdist的使用

8.1 普通执行
import pytest
import time
 
class TestCase01():
    def test_case_01(self):
        time.sleep(1)
        print("case01$$$$$$$$$$$$$$$$$$$$$")
 
    def test_case_02(self):
        time.sleep(1)
        print("case02$$$$$$$$$$$$$$$$$$$$$")
 
    def test_case_03(self):
        time.sleep(1)
        print("case03$$$$$$$$$$$$$$$$$$$$$")
 
    def test_case_04(self):
        time.sleep(1)
        print("case04$$$$$$$$$$$$$$$$$$$$$")
 
    def test_case_05(self):
        time.sleep(1)
        print("case05$$$$$$$$$$$$$$$$$$$$$")
 
    def test_case_06(self):
        time.sleep(1)
        print("case06$$$$$$$$$$$$$$$$$$$$$")
 
class TestCase02():
    def test_case_07(self):
        time.sleep(1)
        print("case07$$$$$$$$$$$$$$$$$$$$$")
 
    def test_case_08(self):
        time.sleep(1)
        print("case08$$$$$$$$$$$$$$$$$$$$$")
 
    def test_case_09(self):
        time.sleep(1)
        print("case08$$$$$$$$$$$$$$$$$$$$$")
 
 
if __name__ == '__main__':
    pytest.main(["-s", "test_xdist.py"])

执行结果如下，使用了9.14s：

test_xdist.py::TestCase01::test_case_01 
test_xdist.py::TestCase01::test_case_02 
test_xdist.py::TestCase01::test_case_03 
test_xdist.py::TestCase01::test_case_04 
test_xdist.py::TestCase01::test_case_05 
test_xdist.py::TestCase01::test_case_06 
test_xdist.py::TestCase02::test_case_07 PASSED                           [ 11%]case01$$$$$$$$$$$$$$$$$$$$$
PASSED                           [ 22%]case02$$$$$$$$$$$$$$$$$$$$$
PASSED                           [ 33%]case03$$$$$$$$$$$$$$$$$$$$$
PASSED                           [ 44%]case04$$$$$$$$$$$$$$$$$$$$$
PASSED                           [ 55%]case05$$$$$$$$$$$$$$$$$$$$$
PASSED                           [ 66%]case06$$$$$$$$$$$$$$$$$$$$$
PASSED                           [ 77%]case07$$$$$$$$$$$$$$$$$$$$$
 
test_xdist.py::TestCase02::test_case_08 PASSED                           [ 88%]case08$$$$$$$$$$$$$$$$$$$$$
 
test_xdist.py::TestCase02::test_case_09 PASSED                           [100%]case08$$$$$$$$$$$$$$$$$$$$$
 
 
============================== 9 passed in9.14s ==============================
8.2 上述代码分布式执行：

  • 执行命令：

pytest -s -n auto test_xdist.py

  • 结果如下，用时4.51s，可见分布式执行后大大缩短了测试时间：

(venv) F:\pytest_study\test_case\test_j>pytest -s -n auto test_xdist.py
============================================ test session starts =============================================
platform win32 -- Python 3.7.0, pytest-6.2.4, py-1.10.0, pluggy-0.13.1
rootdir: F:\pytest_study, configfile: pytest.ini
plugins: allure-pytest-2.8.12, assume-2.4.3, cov-2.8.1, forked-1.1.3, html-2.0.1, metadata-1.8.0, ordering-0.6,
 repeat-0.9.1, rerunfailures-10.3, xdist-1.31.0
gw0 [9] / gw1 [9] / gw2 [9] / gw3 [9] / gw4 [9] / gw5 [9] / gw6 [9] / gw7 [9]
.........
============================================= 9 passed in4.51s ==============================================
8.3 指定CPU运行数量

  • -n auto：可以自动检测到系统的CPU核数；

  • 使用auto利用了所有CPU来跑用例；

  • 也可以指定使用几个CPU来跑用例：

  1. # x为cpu个数

  2. pytest -s -n x

  • 如下可以看到使用两个CPU来跑用例时长为6.27s：

(venv) F:\pytest_study\test_case\test_j>pytest -s -n 2 test_xdist.py
============================================ test session starts =============================================
platform win32 -- Python 3.7.0, pytest-6.2.4, py-1.10.0, pluggy-0.13.1
rootdir: F:\pytest_study, configfile: pytest.ini
plugins: allure-pytest-2.8.12, assume-2.4.3, cov-2.8.1, forked-1.1.3, html-2.0.1, metadata-1.8.0, ordering-0.6,
 repeat-0.9.1, rerunfailures-10.3, xdist-1.31.0
gw0 [9] / gw1 [9]
.........
============================================= 9 passed in6.27s ==============================================
8.4 与pytest-html一起使用

  • 命令如下：

pytest -s -n auto --html=report.html --self-contained-html

  • 运行结果：

pytest -s -n auto test_xdist.py --html=report.thml --self-contained-htm
l

gw0 [9] / gw1 [9] / gw2 [9] / gw3 [9] / gw4 [9] / gw5 [9] / gw6 [9] / gw7 [9]
.........
------------------ generated html file: file://F:\pytest_study\test_case\test_j\report.thml ------------------
============================================= 9 passed in4.68s ==============================================

pytest学习和使用-pytest如何进行分布式测试？（pytest-xdist）,软件测试,pytest,学习,分布式,软件测试,自动化测试,功能测试,程序人生

8.5 让pytest-xdist按照指定顺序执行

  • pytest-xdist执行默认是无须的；

  • 可通过 --dist 参数来控制顺序；

参数 说明
--dist=loadscope 同一个模块module下的函数和同一个测试类class下的方法来分组
--dist=loadfile 同一个文件名来分组
8.6 pytest-xdist如何保持session执行一次

  • pytest-xdist没有内置的支持来确保会话范围的夹具仅执行一次；

  • 可使用FileLock方法仅仅产生一次fixture数据：

import pytest
from filelock import FileLock
 
 
@pytest.fixture(scope="session")
def login():
    print("====登录===")
    with FileLock("session.lock"):
        name = "zhang"
        password= "123456"
        # web ui自动化
        # 声明一个driver，再返回
 
        # 接口自动化
        # 发起一个登录请求，将token返回都可以这样写
 
    yield name, password
    print("====退出====")

最后感谢每一个认真阅读我文章的人，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：

pytest学习和使用-pytest如何进行分布式测试？（pytest-xdist）,软件测试,pytest,学习,分布式,软件测试,自动化测试,功能测试,程序人生

这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！  

pytest学习和使用-pytest如何进行分布式测试？（pytest-xdist）,软件测试,pytest,学习,分布式,软件测试,自动化测试,功能测试,程序人生文章来源地址https://www.toymoban.com/news/detail-801353.html

到了这里，关于pytest学习和使用-pytest如何进行分布式测试？（pytest-xdist）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • IDEA启动两个Tomcat服务的方式 & 使用nginx进行反向代理 & JMeter测试分布式情况下synchronized锁失效

    IDEA启动两个Tomcat服务的方式 & 使用nginx进行反向代理 & JMeter测试分布式情况下synchronized锁失效

    1.在idea中启动tomcat两个服务-Dserver.port=8083； 2.nginx进行反向代理多个url的配置； 3.synchronize锁代码，启动tomcat两个端口+nginx反向代理，用JMeter高并发测试，验证分布式情况下，synchronize锁失效情况； 编辑配置 复制之前的服务app 修改名字，点击修改选项 添加虚拟选项vm options 输

    2024年02月11日
    浏览(46)

  • 数据存储和分布式计算的实际应用：如何使用Spark和Flink进行数据处理和分析

    作为一名人工智能专家，程序员和软件架构师，我经常涉及到数据处理和分析。在当前大数据和云计算的时代，分布式计算已经成为了一个重要的技术方向。Spark和Flink是当前比较流行的分布式计算框架，它们提供了强大的分布式计算和数据分析功能，为数据处理和分析提供了

    2024年02月16日
    浏览(60)
  • JMeter分布式集群---部署多台机器进行性能压力测试

    JMeter分布式集群---部署多台机器进行性能压力测试

    有些时候，我们在进行压力测试的时候，随着模拟用户的增加，电脑的性能（CPU,内存）占用是非常大的，为了我们得到更加理想的测试结果，我们可以利用jmeter的分布式来缓解机器的负载压力，分布到多台机器同时运行。 1.Jmeter分布式执行原理： 1、Jmeter分布式测试时，选择

    2024年02月11日
    浏览(40)
  • Vue中如何进行分布式存储与对象存储

    Vue中如何进行分布式存储与对象存储

    随着云计算和大数据时代的到来，分布式存储和对象存储越来越受到关注。在Vue中，我们可以使用不同的分布式存储和对象存储技术来存储和管理数据。本文将介绍Vue中如何进行分布式存储和对象存储。 分布式存储是指将数据分散存储在多台计算机中，以提高存储容量和性能

    2024年02月09日
    浏览(45)
  • Vue中如何进行分布式路由配置与管理

    Vue中如何进行分布式路由配置与管理

    随着现代Web应用程序的复杂性不断增加，分布式路由配置和管理成为了一个重要的主题。Vue.js作为一种流行的前端框架，提供了多种方法来管理Vue应用程序的路由。本文将深入探讨在Vue中如何进行分布式路由配置与管理，并提供示例代码来帮助您实现这一功能。 在Vue中，分布

    2024年02月07日
    浏览(41)
  • Vue中如何进行分布式错误日志收集与监控

    Vue中如何进行分布式错误日志收集与监控

    随着前端界面的复杂化，前端错误日志的收集和监控也成为了一个重要的问题。在分布式应用中，需要跨多个前端应用和后端服务收集和监控错误日志。本文将介绍如何在 Vue 中使用 Sentry 进行分布式错误日志收集和监控。 Sentry 是一个开源的错误监控平台，它提供了跨平台的

    2024年02月09日
    浏览(42)
  • 搭建大型分布式服务（四十六）利用mockito不启动SpringBoot项目下进行单元测试

    搭建大型分布式服务（四十六）利用mockito不启动SpringBoot项目下进行单元测试

    SpringBoot支持集成Mockito做单元测试，有时候SpringBoot有很多外部依赖，在本地很难启动或者启动时间很长，而我们只想对某个方法进行测试，需要怎样做呢？ 一、本文要点 接前文，我们已经已介绍在两种mock模式下，怎样根据入参返回自定义mock结果，但都是通过启动SpringBoot项

    2024年02月06日
    浏览(44)
  • 什么是分布式系统，如何学习分布式系统

    什么是分布式系统，如何学习分布式系统

    正文 虽然本人在前面也写过好几篇分布式系统相关的文章，主要包CAP理论，分布式储存与分布式事务，但对于分布式系统，并没有一个跟清晰的概念。分布式系统涉及到很多的技术、理论与协议，很多人也说，分布式系统是“入门容易，深入难”，我之前的学习也只算是管中

    2024年02月13日
    浏览(41)
  • Vue中如何进行分布式搜索与全文搜索（如Elasticsearch）

    Vue中如何进行分布式搜索与全文搜索（如Elasticsearch）

    分布式搜索和全文搜索在现代应用程序中变得越来越重要，因为它们可以帮助用户快速查找和检索大量数据。Elasticsearch是一种强大的分布式搜索引擎，它可以用于实现高性能的全文搜索。本文将介绍如何在Vue.js应用程序中实现分布式搜索和全文搜索，以及如何与Elasticsearch集

    2024年02月08日
    浏览(41)
  • 如何进行JMeter分布式压测？一个案例教你详细解读！

    如何进行JMeter分布式压测？一个案例教你详细解读！

    目录 引言 一、什么是压力测试？ 二、什么是分布式测试？ 三、为什么要使用分布式压力测试？ 四、主流压力测试工具对比 五、Jmeter分布式压测原理 六、Jmeter分布式压测前的准备工作 七、阿里云服务器上进行分布式压测 八、系统架构学习 当前快速发展的互联网应用领域，

    2024年02月08日
    浏览(57)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包