AB测试来源及适用场景
「原理」这个专题,主要介绍数据分析师的常用分析方法和原理。我们先从目前最常用的AB-Test讲起。
AB测试简介
越来越多的公司重视AB测试,按照笔者的经验,之前会Excel就行,SQL是加分项。后来变成了必须懂SQL,AB测试是加分项。再到后来变成了,AB测试和SQL都是必会的东西。
因为从15年至今,人口红利肉眼可见的减少,流量竞争从增量竞争变成了存量竞争。截至2020年底,互联网用户已经高达10亿。微信,支付宝,头条,抖音这些巨型APP基本已经瓜分了用户的大部分时间,别的APP想要存活及增长,精细化运营就变成了必须。
精细化从技术上,又无法避免AB测试。往往产品的认知并不是用户的认知,所以我们需要去测试,去实验用户的喜好。选择一个用户偏爱的功能上线,才会不断提高用户满意度,我们的APP才能活下来,并有一定程度的增长。
AB测试是借鉴了实验的思维,目标是为了归因。通俗来说,就是我们想把条件分开,明确的知道,哪种条件下,用户会买账。这就需要三个条件:有对照组,随机分配用户,且用户量足够。
最早的AB测试本身是起源于医学。当一个药剂被研发后,医学工作人员需要评估药剂的效果。一般就会选择两组用户(随机筛选的用户),构建实验组和对照组。用这两组用户来“试药”。也就是实验组用户给真的药剂,对照组用户给安慰剂,但是用户本身不知道自己是什么组,只有医生指导。之后,在后期的观察中,通过一些统计方法,验证效果的差异性是否显著,从而去校验药剂是否达到我们的预期效果。
这个就是最早期的医学“双盲实验”。互联网行业其实也差不多是这么用。我们需要确认的是,当前改版,是否有效果,也就是说,我们需要验证效果的“药剂”变成了一个“改版”。
业务把将web或者app界面或者流程,拆分为多个版本。然后将流量分层(或者分流),不同的人群使用的某个功能或者触发的策略不同。但是这里的人群一定要满足同质化的特性。所以无论分层还是分流,我们都需要将用户随机分配,且同一用户不能处在两个组内。
通俗来说,AB测试是一种互联网人口红利减少的背景下,为了提高用户满意度,留下用户而使用的一种利用数学原理来精细化运营的评估方法。
AB测试适用场景
AB测试流程
知识点总结
推荐阅读
欢迎长按扫码关注「数据管道」