3分钟,看懂ABtest基本原理

接地气学堂

共 2158字,需浏览 5分钟

 ·

2021-09-27 19:00

↑ 点击上方 “码工小熊” 关注 + 星标 ~ 
第一时间获取最新内容哦  


大家好,我是爱学习的xiong熊妹

今天跟大家分享的是万众期待的ABtest原理。其实ABtest的难度主要在开发上:开发新版本、进行测试、测试数据回传保存等等。在数据上,ABtest原理很简单,只要上一篇《3分钟,看懂假设检验》认真看了的话,能很轻松get哦!

一、ABtest的基本原理

简单来说,ABtest就是当我们在A、B两个方案之间犹豫不决的时候,直接把两个方案测试一把,看看哪个效果好,把测试结果作为参考依据。

因为是抽样测试,所以需要一些统计学方法,估计是否测试能代表整体情况,因此要引用统计学方法。

二、ABtest如何做

ABtest本质上是一个:两总体假设检验问题,要检验A、B两个版本是一样,还是有所区别。和之前介绍的单总体假设检验一样,两总体假设检验,也分步骤:

  • 第一步:明确要检验的A、B两个对象
  • 第二步:明确要检验的指标,是平均值,还是比例
  • 第三步:根据检验目的,给出原假设/备选假设
  • 第四步:根据要检验的指标,选择检验统计量(是不是头都看大了,其实没关系,大部分统计软件,包括excel,都有提供两样本均值的t检验,直接用即可)。


  • 第五步:给定显著性水平,计算统计量,得出结果:支持原假设还是推翻原假设


这里的原理和假设检验是一模一样的,小伙伴们可简单理解成:检验的是两个方案的均值/比例,是否等于0。

是不是头又看大了,没关系,这些计算结果在统计软件中都可以直接给出。小伙伴们只要记得:P值小于0.05推翻原假设,就OK啦!

三、ABtest小例子

来看个具体例子:某电商平台,想提升用户客单价,运营部门做了两套方案:A、B激励方案,想小规模投放优惠给用户,测试下效果。已选出两组各12名用户,测试用户客单价如下图所示。此时可以用excel自带的两总体t检验功能来做

  • 第一步,先准备好A、B两个方案的数据



  • 第二步:明确,要检验的是平均值(检验两个方案的平均客单价是否一致)
  • 第三步:给出原假设。这里可以简单处理,提假设

原假设:方案A客单价均值=方案B客单价均值
备选假设:两者不相等
这样怼翻了原假设,就说明方案A和方案B有差异啦(记得把要怼翻的放原假设哦)

  • 第四步:代入t检验公式计算


  • 第五步:解读结论




既然方案A与方案B不同,A的均值又高于B,那么就认为A更好啦,搞掂!
这样就做完啦!

四、ABtest的注意事项

注意1:测试目标要清晰。在实际工作中,有些产品经理/运营的口头禅就是:“AB一下看看”。可如果目标都没确定的话,连如何写假设,如何找检验统计量都无法确定,更没办法定怎么测试了。

特别注意的是,在一次测试中,是很难兼容两个目标的。比如上边的小例子,如果想提升用户客单价,则要推的是贵的商品,要给的激励是满减型激励,让用户买贵一点。

如果想提升用户消费率,则要推的是便宜的商品,要给的激励是秒杀/超低价,让用户先买一笔再说。这两个目标是很难在一个方案A/B里兼容的。

所以小伙伴们,千万别信了产品经理/运营“你先测测看看”的鬼话。如果一开始目标都很混乱,那方案肯定也是四不像,测出来结果乱七八糟,也是很正常的。事前不想清楚,事后只能瞎着急。

注意2:测试方案合理性。有些测试方案本身设计得就不合理,不是拿相似的方案测试,而是明显一个方案很优惠,一个很鸡肋;一个设计很美观,一个设计很丑陋。这种情况下测了也白测。测试方案本身,要是苹果对苹果,西瓜对西瓜才行。

注意3:测试对象相似性。还以上边小例子举例。参与测试的用户群体,可能自身在客单价/消费力上就有差异。这种测试特征的差异,会直接导致:结果上的差异是由于客群特征,而非方案A/B造成的。这是最差的情况了,这样不但会导致测试无效,而且会误导业务判断。

四、Abtest的局限性

正是由于有以上三点要求,导致ABtest是有门槛的:
  • 要有能力设计相近版本方案
  • 要有足够开发支持,把方案落地
  • 要有足够的用户数据,区分用户特征

这些使得ABtest只有在数据充足、开发资源充足、业务方资源充足且没有私心的时候,才能完美落地。因此,虽然ABtest的原理很简单,但是具体应用,还需要结合实际情况做考虑。具体细节,后续再分享。

以上就是今天的分享,喜欢的话,记得转发、点赞、在看,支持一下小熊妹哦,谢谢大家。



往期精彩回顾
九大数据分析方法之:周期性分析法
九大数据分析方法:结构分析法
九大数据分析方法:矩阵分析法
扎心了!数据分析十大真相
只需八步,做一个完整的数据分析
从0到1,轻松写出数据分析报告
活动分析模板来了!对着抄


学习资料领取


小熊妹给大家整理了很多数据类的学习资料,欢迎领取哦,我打赌你会看的

点击下面名片关注公众号【码工小熊】,在会话栏回复关键字即可领取!

1、回复【SQL】领取Mysql基础查询手册。

2、回复【python合集】领取十份python学习资料。

另外,扫码可添加小熊妹微信,交流学习数据知识哦。

浏览 34
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报