一文读懂火山引擎A/B测试的实验类型(1)——编程实验

这篇具有很好参考价值的文章主要介绍了一文读懂火山引擎A/B测试的实验类型(1)——编程实验。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一. 概述

编程实验:指的是通过代码编程进行AB实验,广泛使用于前端优化、策略优化和后端算法优化多种实验场景,包含客户端和服务端实验。 前置条件:接入客户端SDK或者服务端SDK,详见:应用接入

二. 应用场景

如何选择实验类型?适用场景是什么?

  • 服务端实验 :指通过服务端获取实验分组信息并控制配置生效或下发的实验。

    • 部分功能只能由服务端来控制,比如内容分发算法(如用户打开今日头条以后在feed流中会看见什么内容)、由服务端逻辑控制的产品功能(如推送)等。

    • 不要求唤起APP时就使实验配置生效。客户端有充分时间向服务端发起请求,获得实验配置后再向用户展示策略。

  • 客户端实验 :指通过客户端获取实验分组信息并控制配置生效的实验。

    • 部分功能只能通过客户端控制,比如客户端的UI样式、交互功能设计等。

    • APP唤起时,配置即需生效。比如我们要针对APP的开屏页面进行A/B实验,用户刚刚打开APP,客户端就需要向用户展现开屏界面了。这种情况下客户端可能来不及向服务端请求配置参数。

三. 操作说明

在实验列表页点击“+创建实验”,选择编程实验,进入实验创建流程:

3.1 创建实验

3.1.1 输入基本信息

实验名称 :实验名称建议取与实验内容相关的名称,如有实验版本迭代可以增加版本号后缀,让你的伙伴能够快速了解到实验是做什么的、是在哪个迭代版本的。

实验描述 :实验内容简述,可以让项目相关人员更清晰地知道到这个实验是如何做的,解决什么问题,同时也便于后期查看和管理历史实验时一目了然。

实验类型 :客户端实验、服务端实验。

实验时长 :指实验开启的时间,一般为了避免工作日与周末的用户行为差异,至少观察 2 个完整周(14天)

实验标签:可以给实验打上自定义或者通用标签,用于筛选、归类实验。

实验负责人:默认为实验创建者。

3.1.2 设置生效策略

是否互斥:当前实验是否需要与其他实验互斥来避免同一个用户进入两个会相互影响的实验时可以选择手动创建。例如,你要同时做按钮颜色和按钮形状的实验,就需要将两个实验加入到一个互斥组列表。了解更多互斥组相关内容及如何创建互斥组可查看:互斥组

实验流量:生效实验的用户占满足用户受众用户比例。系统默认为100%流量,您可以通过建议工具(点击流量计算器)来看设置多少流量合适。详见:实验流量建议工具

用户受众规则:通过请求参数、用户分群等来圈选你的实验是面向哪些用户生效的。

体验一致性:保障同一个用户只进入一个实验版本。开启后,用户只要进过当前实验版本(除非暂停,关闭实验),就不再出实验。各实验版本流量权重变更后,历史进组用户不会受到影响,只会影响已分配但未进组的用户,以及未分配的用户。

3.1.3 配置实验版本

测试用户命中条件:测试用户的命中逻辑是否忽略发布受众的过滤条件,默认为"无需满足"。

是否关联Feature:选择关联后,可以将实验与 Feature 版本进行绑定,方便后续全量管理。

实验版本/对照版本选择:对照版本一般是当前的策略,实验版本一般是我们想要尝试的新策略,同时可以修改版本的名称。

实验配置参数:填写在调用AB时需要获取的实验配置参数,用来区分当前用户命中的不同的实验策略。

测试用户:创建实验后进行测试实验的用户ID列表。在实验正式开启之前,通常需要先选择几名用户进入测试阶段,观察实验是否能够正常获取想要收集的数据,或客户端是否有bug等。

添加实验版本:点击后可新增一个实验版本。

实验组流量比例分配:用户命中实验后,不同实验版本之间分配的流量比例。

3.1.4 实验指标

实验指标可以衡量实验成功与否,实验开始后,在实验报告页面可以看到关注指标在实验版本和对照版本的对比,在这一步,需要选择实验关注指标。

核心指标配置:用来决策实验功能是否符合预期的「直接效果指标」或「成功指标」。更多查看确定评估指标。

监控报警:可选择目标指标点击“监控报警”,填写具体需要的报警策略,选择是否勾选“效果显著”,以及选择报警策略的生效方式。

编辑指标:点击图例中3位置处可进入指标编辑页面,对可指标进行名称、指标类型、是否设为必看指标等进行编辑。

关注指标配置:对需要关注的指标进行配置。

移除指标:移除指标,则在实验报告看不到该指标的数据。

新建指标:可新建一个需要查看的指标。

置信水平:置信水平(也称置信度、置信系数、统计显著性),是指实验组与对照组之间存在真正性能差异的概率。例如在置信水平是95%的情况下,如果某个实验指标的置信度p值<0.05,则说明这个指标相比对照组,是有显著(超过置信水平)差异的。 如需设置置信水平参数值,则需联系集团管理员或应用管理员,前往“系统管理-置信水平设置”进行设置。

3.2 开启实验

实验调试完毕,在实验列表页点击“开始”,即可开启实验。实验开始后,进组用户可实时查看,指标置信度第二日产出。如下图:文章来源地址https://www.toymoban.com/news/detail-490672.html

到了这里,关于一文读懂火山引擎A/B测试的实验类型(1)——编程实验的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • 一文读懂常见订单类型及backtrader支持情况

    订单反映的是投资者的决策,表明投资者想以什么价格买入/卖出对应的投资标的,订单价格对最后的投资结果影响非常大,懂得都懂。 投资者常用的订单类型包括市价单、限价单、止损/止盈单、移动止损/止盈单、附加订单等,然而交易所却只有市价单和限价单两种基本订单

    2024年02月15日
    浏览(9)
  • 揭秘Elasticsearch:一文读懂分布式搜索与分析引擎的核心概念

    揭秘Elasticsearch:一文读懂分布式搜索与分析引擎的核心概念

            Elasticsearch 是一个开源、分布式、实时搜索和分析引擎,专门用于处理大规模数据的快速检索与分析。它建立在 Apache Lucene 的基础上,但提供了比 Lucene 更为丰富的功能和友好的RESTful API 接口,使得开发者能够轻松地进行全文搜索、结构化搜索以及对海量数据进行

    2024年02月19日
    浏览(13)
  • 【单元测试】一文读懂java单元测试

    【单元测试】一文读懂java单元测试

    单元测试 是软件开发中常用的一种测试方法,用于验证代码的单个功能单元是否按照预期工作。 测试方法: 白盒测试(White Box Testing):在白盒测试中,测试人员了解代码的内部结构和实现细节,编写测试用例来覆盖不同的代码路径和逻辑条件。 黑盒测试(Black Box Testing)

    2024年04月17日
    浏览(7)
  • 一文读懂java单元测试

    白盒测试(White Box Testing):在白盒测试中,测试人员了解代码的内部结构和实现细节,编写测试用例来覆盖不同的代码路径和逻辑条件。 黑盒测试(Black Box Testing):黑盒测试不考虑代码的内部实现,而是基于需求规格说明或功能规范编写测试用例,测试程序的输入和输出

    2024年02月04日
    浏览(11)
  • 【Java 并发编程】一文读懂线程、协程、守护线程

    【Java 并发编程】一文读懂线程、协程、守护线程

    在 Java 线程的生命周期一文中提到了 就绪状态的线程在获得 CPU 时间片后变为运行中状态 ,否则就会在 可运行状态 或者 阻塞状态 ,那么系统是如何分配线程时间片以及实现线程的调度的呢?下面我们就来讲讲线程的调度策略。 线程调度是指系统为线程分配 CPU 执行时间片

    2023年04月08日
    浏览(13)
  • 一文读懂大唐杯所有名词解释 大唐杯仿真实验模拟满分操作详解:

    名词解释:  大唐杯名词解释 名词 定义 核心网 核心网部分就是位于网络子系统内,核心网的主要作用是把A口上来的呼叫请求或数据请求,接续到不同的网络上 接入网 接入网是指核心网络到用户终端之间的所有设备,其长度一般为几百米到几公里,因而被形象地称为\\\"最后

    2023年04月09日
    浏览(513)
  • 一文读懂flutter线程: 深入了解Flutter中的多线程编程

    一文读懂flutter线程: 深入了解Flutter中的多线程编程

    在移动应用开发领域,Flutter已经成为了一个备受欢迎的框架,用于创建高性能、跨平台的应用程序。Flutter的一个关键特性是其能够轻松处理多线程编程,以改进应用程序的性能和响应性。本文将深入探讨Flutter中的多线程编程,包括为什么需要多线程、如何在Flutter中创建和管

    2024年01月20日
    浏览(15)
  • 一文读懂ElasticSearch中字符串keyword和text类型区别_elasticsearch text和keyword

    一文读懂ElasticSearch中字符串keyword和text类型区别_elasticsearch text和keyword

    可以看到,这里的数据被ES分为了4个词分别是“广” ,“东”,“深”,“圳”。同样,第二条数据也被分为了“广” ,“西”,“南”,“宁”。这里可以理解为 keyword类型存储的数据为“广东深圳”(存储未分词的原始数据) text类型存储的数据为“广” ,“东”,“深

    2024年04月16日
    浏览(5)
  • 一文读懂Partisia区块链的MOCCA 方案:让资产管理可信且可编程

    一文读懂Partisia区块链的MOCCA 方案:让资产管理可信且可编程

    在今年 1 月,Partisia Blockchain 在参加了达沃斯世界经济论坛时,宣布推出一种全新的链上资产管理方案 MOCCA (MPC On-Chain Custody Advanced),即多方计算链上托管高级解决方案。据悉该方案建立在 Partisia Blockchain 基础上,是一种以去中心化、可编程的、多链托管为特点的全新托管

    2024年03月23日
    浏览(14)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包