软件测试工程师如何对算法做测试?

这篇具有很好参考价值的文章主要介绍了软件测试工程师如何对算法做测试?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

最近几年,随着大数据、人工智能等领域的快速发展,算法受到前所未有的重视,算法测试也随之兴起。

为了让大家能对算法测试有个初步的了解,这篇文章将对“如何做算法测试”进行梳理,大纲如下:

1、算法测试测什么?
2、算法测试如何做?
3、算法测试的一个真实案例
4、答疑解惑

软件测试工程师如何对算法做测试?,软件测试,自动化测试工具,自动化测试,算法,软件测试,测试工具,自动化测试

一、算法测试测什么?

先来看几个大家耳熟能详的算法应用成功的例子:

1、阿尔法围棋机器人,打败了人类棋手,其实就是运用了复杂的人工智能算法;
2、今日头条、抖音等APP,使用了兴趣算法推荐,推送的都是你感兴趣的内容;
3、购物软件,你搜过什么商品,就会不胜其烦的一直推荐,也是使用了算法推荐机制。

区别于一般的功能测试,算法测试的侧重点不同。一般功能测试关注前端操作之后服务端返回数据的正确性(增删改查),而算法测试则要关注算法(模型)启用之后,数据的增量(有正负)是否符合预期。

举两个例子例子

例子1:某软件中的广告推荐更新了一套算法,预期要把推荐转化率提升几个百分点。
测试要关注的是:新算法有没有提升转化率百分比,提升量的有没有达到预期。

例子2:某人脸识别Q软件更新了识别算法,预期是减少识别耗时。
测试要关注的是:耗时减少的同时准确率有没有下降。

二、如何测试算法?

1、普通功能测试会使用到的方法

1)算法稳定性测试

长时间运行,算法是否奔溃;
数据量提升后,算法模型的结果是否符合预期;

2)算法性能测试

算法模型的响应时间;
算法模型对处理器cpu和磁盘的消耗;

3)算法兼容性测试

设置不同阈值内的数据,算法结果是否稳定(比如用户年龄、区域、性别等)。

上面说到测试方法,是不是似曾相识?没错,这几个与普通功能测试中用到的测试方法基本一样。

2、普通功能测试中不会用到的测试方法

1)算法pk (赛马)

对于一个需求,不同的人或团队可以设计出不同的算法模型,到底哪个更靠谱,是骡子是马拉出来溜溜,pk一下就知道了。

这个环节是算法测试的关键部分,用例设计主要采用场景法,通过列举不同场景,对多个算法分别进行测试验证,最终综合所有场景中的算法模型的表现,选出前几名。

你可能会有疑问:为什么要前几名,选第一名不就可以了吗?下文中通过实例列举了这个环节中的测试用例,可以更好地理解这样设计用例的原因(在此暂时不表述)。

软件测试工程师如何对算法做测试?,软件测试,自动化测试工具,自动化测试,算法,软件测试,测试工具,自动化测试

2) A/B测试

由于算法的准确性会受到测试数据的影响,而在测试环境中,数据的来源一般是手动插入数据库或从线上导入数据。

尽管测试数据会接近于真实数据,但仍会有数据类型覆盖不够全面、数据量不够大等方面的问题。因此,即使算法模型在测试环境通过验收,仍然不能在生产环境全部放量。

通常采用的方法是:拿出线上流量的5%-10%,其中一部分数据作为对照组,其它部分作为一个或多个实验组(实验组采用的算法为pk中胜出的前几名算法)。对照组和实验组数据分别打不同的标签,一段时间后分别统计计算的各项指对照组合实验组的各项指标,根据关键指标来验证算法是否有效。

软件测试工程师如何对算法做测试?,软件测试,自动化测试工具,自动化测试,算法,软件测试,测试工具,自动化测试

实际测试中,对算法的选择往往不是通过一项指标来定的,通常是多项指标综合比较。看到这里,你是不是还有点迷糊?别担心,我们也通过下面的例子来说明。

三、算法测试实例某导航APP,要升级导航路线推荐算法,预期是找到耗时更少的路线并推荐给用户。

首先来理解一下需求中的关键词「耗时更少」:耗时不等同于距离,有可能距离短但是堵车,实际比绕路耗时还长。经过n天的研发,算法同学最终给出了3个优化后的算法模型,现在到了测试验证环节。为方便描述,我把旧导航路线推荐算法称为算法0,新算法分别称算法1、算法2、算法3。

软件测试工程师如何对算法做测试?,软件测试,自动化测试工具,自动化测试,算法,软件测试,测试工具,自动化测试

1、算法pk(下面是场景化测试用例的列举)

同一条路线,默认为当前时间和天气状况,多轮测试之后,选出最优的算法,假定是算法2;
同一条路线,分别设定不同时间段(早晚高峰、工作日、节假日等),找出最优算法,假定是算法1;
同一条路线,分别设定不同的天气状况(雨、雪、雷、沙尘、冰雹等),找出最优算法,假定是算法3;
还有其它很多场景的测试,这里就不——列举了…....

2、稳定性测试

长时间(24小时以上)运行算法模型,是否有稳定的表现,假定这里的最优算法是算法1;
超长距离(1000km以上)测试算法模型,对比推荐效果是否稳定,假定这里的最优算法是算法2;
……

3、兼容性测试

选取不同城市的道路测试(比如重庆、贵州等地),测试山路、爬坡、转弯等不同路况下导航推荐算法的表现,假定这里的最优算法是算法1;
选取不同通行能力的道路(城市和乡间小路等),测试小路、窄路等不同路况下,推荐算法是否有稳定表现,假定这里的最优算法是算法3;
……

4、性能测试

同一条路线下,不同算法模型的耗时,假定耗时最少的算法是算法3;
同一条路线下,不同算法模型对服务器的压力,假定对服务器压力最小的算法是算法2;

5、AB测试

经过上面几个环节的测试,综合所有结果,假定最终选出的算法1和算法2;
线上灰度放量,选取目标用户,被选中的用户会收到「是否参加内测/灰度」之类的消息。

经过一段时间的A/B测试之后,拿到真实的数据,最终经过架构师、研发经理、产品经理等研讨之后选出符合预期的算法

四、答疑解惑

上述例子中,假定最终要采用的是算法2,但是你可能会有很多疑问:

1、算法1在早晚高峰期时段表现最好,我就是上下班使用导航软件,为什么不采用?
2、耗时最少的是算法3。我就希望推荐路线要快,为什么不采用?

算法的测试,要经过多个环节综合来评估效果,所以即使某个环节表现好最终也不一定入选。最终会结合效果、成本、稳定性等多方面的因素,最终往往会选择妥协折中后的方法。

实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

软件测试工程师如何对算法做测试?,软件测试,自动化测试工具,自动化测试,算法,软件测试,测试工具,自动化测试软件测试工程师如何对算法做测试?,软件测试,自动化测试工具,自动化测试,算法,软件测试,测试工具,自动化测试

如果对你有帮助的话,点个赞收个藏,给作者一个鼓励。也方便你下次能够快速查找。

如有不懂还要咨询下方小卡片,博主也希望和志同道合的测试人员一起学习进步

在适当的年龄,选择适当的岗位,尽量去发挥好自己的优势。

我的自动化测试开发之路,一路走来都离不每个阶段的计划,因为自己喜欢规划和总结,

自动化测试视频教程、学习笔记领取传送门!!!
软件测试工程师如何对算法做测试?,软件测试,自动化测试工具,自动化测试,算法,软件测试,测试工具,自动化测试文章来源地址https://www.toymoban.com/news/detail-704770.html

到了这里,关于软件测试工程师如何对算法做测试?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 2023软件测试工程师涨薪攻略,3年如何达到30K?

    首先涨薪并不是从8000涨到9000这种涨薪,而是从8000涨到15K加到25K的涨薪。基本上三年之内就可以实现。 如果我们只是普通的有应届毕业生或者是普通本科那我们就只能从小公司开始慢慢往上走。 有些同学想去做测试,是希望能够日后收入能够买房买车,然后能够让我在大城

    2024年02月06日
    浏览(61)
  • 软件测试工程师面试应对如何估算要写多少条测试用例,耗费多长时间?

    作为测试工程师,对测试用例的数量预估是一项基本能力,并且也很重要。因为在衡量和预报工作计划中十分重要,例如,设计用例需要几天,设计多少条、执行多长时间。 首先,预估测试用例数量最重要的依据就是需求。比如下面的这个软件设计界面和需求: 需求: 会员

    2024年02月04日
    浏览(50)
  • 软件测试工程师

    一、什么是软件测试? 1、定义:使用技术手段验证软件是否满足使用需求 2、目的:减少软件缺陷,保障软件质量。 二、主流技术: 1、功能测试:验证程序的功能是否满足需求 2、自动化测试:使用代码或工具代替手工,对项目进行测试 3、接口测试:有硬件接口、软件接

    2023年04月10日
    浏览(84)
  • 软件测试开发工程师常用的测试工具详解

    1. 操作系统: Linux: vmware: 用于虚拟化环境,创建和管理虚拟机。 xshell、xftp、ssh: 提供对Linux服务器的远程访问和文件传输。 2. 数据库: MySQL: SQLyog、Navicat: 前端连接工具,简化MySQL数据库的管理和操作。 Oracle: PLSQL Developer、Navicat: 前端连接工具,用于Oracle数据库的开发和

    2024年02月02日
    浏览(69)
  • 软件测试技术之单元测试—工程师 Style 的测试方法

    什么是单元测试? Wikipedia 对单元测试的定义: 在计算机编程中,单元测试(Unit Testing)又称为模块测试,是针对程序模块(软件设计的最小单位)来进行正确性检验的测试工作。 在实际测试中,一个单元可以小到一个方法,也可以大到包含多个类。从定义上讲,单元测试和

    2024年02月12日
    浏览(54)
  • 软件测试技术之单元测试—工程师 Style 的测试方法(3)

    如何设计单元测试? 单元测试设计方法 单元测试用例,和普通测试用例的设计,没有太多不同,常见的就是等价类划分、边界值分析等。而测试用例的设计其实也是开发者应该掌握的基本技能。 等价类划分 把所有输入划分为若干分类,从每个分类中选取少数有代表性的数据

    2024年02月12日
    浏览(60)
  • 软件测试技术之单元测试—工程师 Style 的测试方法(2)

    怎么写单元测试? JUnit 简介 基本上每种语言和框架都有不错的单元测试框架和工具,例如 Java 的 JUnit、Scala 的 ScalaTest、Python的 unittest、JavaScript 的 Jest 等。上面的例子都是基于 JUnit 的,我们下面就简单介绍下 JUnit。 JUnit 里面每个 @Test 注解的方法,就是一个测试。@Ignore 可以

    2024年02月11日
    浏览(45)
  • 2023年软件测试工程师,初级到高级进阶路线指南,测试之路...

    提到软件测试工程师时,很多人依然会联想到那些“点点点”并企图在“点点点”中找到缺陷的人,也就是大家常说的依照测试规范和测试案例来对软件进行测试,检查软件是不是有缺陷,判断软件是不是稳定。但这其实是一个很不好的观点。 近年来,随着各大互联网企业的

    2024年02月09日
    浏览(59)
  • 软件测试工程师postman使用基本操作方法

    本文详细介绍了如何使用Postman进行软件测试,包括管理测试用例集,发送请求,设置全局和环境变量,编写前置脚本和断言,进行数据关联,实现文件参数化,以及使用Newman命令执行Postman脚本。

    2024年02月04日
    浏览(82)
  • 2023软件测试工程师必备技能?要卷,谁还不会了......

    软件测试岗位是怎样的? 大伙:测试?简单啊,没什么技术含量,无非就是看需求、看业务手册、看设计文档、然后点点功能是否实现,麻烦点的就是测试下部署安装是否出现兼容性问题等 web自动化测试:https://www.bilibili.com/video/BV1MS4y1W79K/ 没错,不可否认这是踏入软件测试

    2023年04月20日
    浏览(64)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包