前文 微信小程序自动化测试——录制回放 提到录制回放 支持输入,文本查找,断言等自动化测试基础操作,无需编写代码,用例生成效率高,但是部分操作不支持,对复杂业务场景有局限性。如果用户希望适用复杂的业务场景,自主制定测试场景,可以尝试 自定义测试(Minium)方案。
小程序测试框架 Minium 是微信测试团队为小程序开发或测试同学提供的一套测试接口,它实现了miniprogram-automator 中小程序自动化所有能力,如可以直接触发小程序页面元素,设置页面数据,向AppService注入代码片段,Mock/Hook wx对象的接口等。此外,他还支持并封装了所有的原生操作都进行了封装,屏蔽了iOS/Android底层差异,实现了一套脚本在三端同时运行。
用户写好的Minium脚本,可以再本地执行,也可以直接上传到微信小程序云测服务执行,无需准备和维护真机环境。下面本文介绍自定义测试的流程
一、 编写用例
编写小程序自动化测试脚本,常见操作包括:
- 基本操作:如页面跳转,元素定位及相关操作
- 处理小程序API
- 处理小程序的原生控件,如处理授权弹窗
- 支持数据驱动测试
基本操作
对小程序页面元素定位,元素操作,或页面跳转等。简单的UI测试,例如以下用例
class FirstTest(minium.MiniTest):
def test_network(self):
# 页面跳转
self.app.navigate_to("/packageAPI/pages/get-network-type/get-network-type")
# 元素定位
ele = self.page.get_element("button", inner_text="获取手机网络状态")
# 元素点击
ele.click()
# 打印元素文本
self.logger.info(self.page.get_element("/page/view/view[2]/view/view[1]/text").inner_text)
处理小程序API
Minium框架提供处理小程序开放API方法,根据需求选择相应方法,例如
- mock_wx_method() — mock掉小程序API的调用
- hook_wx_method() — hook小程序API的调用
- call_wx_method() — 调用小程序的API
- …
更多接口方法参考 Minium接口
调用小程序API获取回调信息用例,例如
class FirstTest(minium.MiniTest):
def test_call_wx_method(self):
"""
调用小程序API,获取回调对象
:return:
"""
sys_info = self.app.call_wx_method("getSystemInfo").get("result", {}).get("result")
self.assertIsInstance(sys_info, dict, "is dict")
self.assertTrue(True if sys_info else False, "not empty")
处理小程序原生控件
Minium提供了针对小程序内涉及原生控件(授权弹窗、弹窗、地图、分享小程序等)的操作封装
注意:部分封装的接口暂不支持IDE平台调用。若跑测平台是IDE,则需要在config.json中配置mock_native_modal配置项,后通过mock的方式实现
处理模态弹窗用例示例如下
class FirstTest(minium.MiniTest):
def test_native(self):
self.mini.clear_auth()
self.app.redirect_to("/pages/testnative/testnative")
called = threading.Semaphore(0)
callback_args = None
def callback(args):
nonlocal callback_args
called.release()
callback_args = args
# hook showModal方法,获取回调后执行callback
self.app.hook_wx_method("showModal", callback=callback)
self.page.get_element("#testModal").tap()
time.sleep(2)
# 点击弹窗 确定
self.native.handle_modal("确定")
is_called = called.acquire(timeout=10)
# 释放hook showModal方法
self.app.release_hook_wx_method("showModal")
self.assertTrue(is_called, "callback called")
self.assertDictContainsSubset( {"errMsg": "showModal:ok", "cancel": False, "confirm": True}, callback_args[0])
跑测平台IDE,config.json
配置 mock_native_modal
示例如下
"mock_native_modal": {
"showModal": {
"title": "test modal",
"content": "modal content"
},
}
数据驱动
自动化测试往往需多组数据测试,若采用录制回放测试,则需录制多个用例,不够灵活,所以若需测试同一个用例不同组测试数据,可使用**数据驱动(DDT)**模式,实现测试数据与测试脚本的分离,通过DDT将测试数据加载到脚本中。
数据驱动(DDT)有以下优点:
- 灵活配置
- 测试数据与功能代码分开
- 易维护
下面是我们集成数据驱动测试(基于ddt封装)的例子
@minium.ddt_class
class BaseTest(minium.MiniTest):
@minium.ddt_case([], ["1", "2"])
def test_evaluate_sync(self, args):
"""
向 app Service 层注入代码 同步返回结果
:param args:
:return:
"""
# 参数 args: [] args: ["1", "2"]
result = self.app.evaluate(
"function(...args){return `test evaluate: ${args}`}", args, sync=True
)
self.assertEqual(
result.get("result", {}).get("result"), "test evaluate: {}".format(",".join(args))
)
此外,还能给具体的 test data 命名,自定义命名会体现在测试方法名中。数据驱动详情可参考 测试流程控制 & 数据驱动测试
二、 执行用例
开发者编写完 Python 用例脚本后,可本地调试,也可在云测上测试。
本地执行
开发者将编写好的用例进行本地调试,minitest命令加载用例,初始化环境,开启自动化能力,进行环境检查,后执行用例。需IDE依赖,支持USB真机调试。
在初始化环境过程中遇到常见问题如下:
- 开发者工具没有自动打开,先排查开发者工具自动化能力,进行环境检查
- 配置了真机环境但无法拉起真机上的小程序,排查是否使用了真机调试2.0,如果是,切换回真机调试1.0
- 报错traceback中有出现 _miniClassSetUp 的调用,确认下开发者工具上选用的基础库是最新的:开发者工具项目窗口右上角 -> 详情 -> 本地设置 -> 调试基础库
Minium为了保证同一套代码在IDE,Android,IOS上运行,环境组成比较复杂,所以测试用例的运行依赖于配置文件。支持配置运行平台、IDE监听端口号、连接手机的参数、账号信息、自动处理授权弹窗等等,可参考 项目配置
执行完用例后,会生成日志文件,提供本地测试报告,包括截图、运行日志、错误日志。具体实践可参考 示例
云测服务测试
开发者可以将本地调试好的用例上传至云测,新建测试计划,新建Minium任务,可选择多平台真机,且支持多平台同时运行,无需用户部署和维护真机环境。
测试结束后,云测服务提供详细的测试报告,包括运行截图、日志信息,网络请求分析,性能分析等。
当用例执行失败时,会提供错误日志及错误行代码,方便用户排查错误原因。
具体操作可参考云测官方文档 自定义测试
对比
能力 | 本地执行 | 云测服务执行 |
---|---|---|
测试账号 | 可以用自己的微信账号 | 只支持使用虚拟账号测试 |
真机部署 | 需要自己部署真机,安装wda或者adb环境 | 无需准备真机环境,直接提测 |
环境维护 | 需要自己维护开发者工具登录态 | 不依赖开发者工具,无需用户维护 |
查看报告 | 需要自己搭建报告查看环境 | 提供详细的测试报告,并支持分享报告https链接 |
性能数据 | 需要手动调用接口获取 | 支持查看用例性能数据,如CPU,内存占用等,可以开启体验评分,进一步查看运行时性能数据 |
Devops | 需要自己实现 | 提供第三方https接口提交任务,获取结果,详情参考 打通devops流程 |
三、 最佳实践
小程序开发者有两种,第一种是普通开发小程序,由小程序拥有者自行开发。还有一种是第三方服务商,小程序拥有者可以授权给他们代开发小程序。
对于第三方服务商测试团队来说,他们面临的情况会更加复杂。例如在明源云的测试团队中,授权给他们开发的地产开发商小程序非常多(1000+),并且每个小程序的页面数量也很多,手工测试显然无法覆盖业务需求。明源云测试同学希望可以利用自动化测试能力,解决这个问题。
如果用微信小程序自动化测试——录制回放的方案,每个页面都需要手动录制,耗时耗力。
这里他们使用了Minium框架编写自定义测试用例,目前已经有 90+ 用例执行。在编写用例时采用了Page Object模式(简称PO模式),将测试用例和页面元素定位、元素、元素操作等分离,提升用例复用性,降低维护成本。
在具体执行用例过程中,他们将云测服务和内部的devops流程打通,利用云测第三方接口,定时触发或者自动触发自动化任务,然后利用查询任务接口,再将测试结果同步到内部的用例管理平台,如果有问题提单给程序修复,实现整个流程闭环。
四、总结
自定义测试(Minium)的核心优点:文章来源:https://www.toymoban.com/news/detail-507780.html
- 完全自主定制测试场景
- 灵活度高
- 支持数据驱动测试
- 结合云测服务,可以无需用户部署维护真机环境,并且提供详细的测试报告,并提供第三方接口方便用户打通devops流程
前面《微信小程序自动化测试》系列文章介绍了智能化Monkey,录制回放测试,以及本文介绍了自定义测试(Minium),三种自动化测试能力各有优缺点,如下所示文章来源地址https://www.toymoban.com/news/detail-507780.html
自动化测试能力 | 优点 | 缺点 | 适应场景 |
---|---|---|---|
智能化 Monkey | 零代码,接入即用,可通过简单配置页面提供覆盖率 | 场景无法定制化;不支持输入,上传图片等复杂操作;不校验页面逻辑 | 快速冒烟测试 |
录制回放 | 零代码生成用例脚本;快速生成用例,效率高 | 部分操作不支持,如果是上传图片用例调整不如Minium灵活;录制和回放的环境不同,有一定概率回放失败,需要调试 | 较简单的用例,自动化回归测试 |
Minium 自定义测试 | 完全定制测试场景;灵活度高,能力全面;支持数据驱动测试(DDT) | 需要自己写Python脚本,有一定的学习成本 | 较复杂的用例 |
需要帮助
到了这里,关于微信小程序自动化测试——自定义测试(Minium)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!