抖音、Facebook 是怎么用 A/B 测试驱动产品增长的?

数据分析1480

共 2461字,需浏览 5分钟

 ·

2021-05-29 21:38

不知道大家有没有这种感觉,忽然有一天,你发现身边的所有人好像都去了字节,认识的各种朋友前同事,不是在字节,就是在辞职去字节的路上,这两年字节系的产品爆发式增长,走在街上随便看到一个人都在用头条系的产品,这家公司也因为疯狂扩张被戏称为“宇宙条”。

 

那字节成功的秘诀到底是啥?36氪之前有过一个报道 ,

“头条发布一个新 APP,其名字都必须打 N 个包放到各大应用市场进行多次 A/B 测试才能决定。张一鸣告诉同事:哪怕你有 99.9% 的把握那是最好的一个名字,测一下又有神马关系呢?”

 

为了帮助提升创新产品的成功率,头条内部甚至研发出了一套增长引擎,可能你们公司的几个产品运营还在纠结功能按钮排序时,人家头条已经同时进行几十组甚至上百组的 A/B 测试,帮助产品经理和运营们找最优方案。

 

大数据时代,每个公司都在说数据驱动产品和业务的快速迭代,但是要看这间公司到底是不是真·数据驱动,最关键的就是要看它决策流程中到底有没有 A/B 测试这一环节,来提供值得信赖的结果,辅助产品决策。

 

             

产品决策流程

 

就好比一个刚刚研制成功的药品,不经过临床实验就直接推入市场,去治疗病人,那承担的风险是非常高的。因为这样不仅可能无法治愈病人,甚至还可能会产生严重的副作用。而A/B测试,就是保证这个关键环节不出现问题的最佳方案。

 

那用 A/B 测试,到底可以来解决什么具体的业务问题吗?我给你一张总结的表格。 

              

可以说, A/B 测试在产品迭代、算法优化、市场营销等领域都发挥了巨大作用,越来越多的公司开始使用 A/B 测试,对人才的需求量也越来越大。无论是偏技术的数据科学家、数据分析师,还是偏业务和产品的市场营销分析师、产品经理以及增长黑客,都需要在工作中掌握和应用 A/B 测试,A/B 测试也是这些职位面试中必考的一块内容。

 

 

学习 A/B 测试的高效路径是什么?

 

但学A/B 测试有个难点。这是一门实践性很强的工具,如果你只有理论基础而没有实践经验,那么实践过程由于业务场景千变万化,可能就会有各种各样潜在的陷阱在等着你。只有兼顾了理论基础和实践经验,才能得出值得信赖的测试结果。

 

我这里有一套最佳学习路径流程,如下图👇

       

学习路径

 

这张图出自在美国硅谷科技巨头工作的张博伟和极客时间合作的专栏《A/B 测试从 0 到 1》。在专栏里,张博伟老师会先带你建立起一个做 A/B 测试的框架,让你在应对不同业务场景时,都能通过框架来按图索骥,灵活运用。

 

 

新人首单¥59.9

👆扫描上图,免费试读

结算时,输入优惠口令「happy2021」

到手仅 ¥69,立省 ¥30

 


张博伟是谁?

 

张博伟,从毕业后就一直在美国互联网大厂 FLAG 工作,目前是一名资深数据科学家。在过去的7年多时间里,一直在做A/B测试、机器学习建模、大数据分析的相关工作。

 

张博伟老师曾参与从设计测试、实施测试到最后分析测试结果的全过程,后来逐步在团队中主导 A/B 测试领域的相关工作,开发相关数据产品,还和工程团队合作来改进内部的 A/B 测试平台,通过持续的 A/B 测试为公司的新业务带来上百万用户的增长,也为数据分析、营销和产品团队提供数十场 A/B 测试的讲座和上百次的咨询,讲解 A/B 测试的最佳实践以及避坑经验。

 



怎么带你学 A/B 测试?

 

张博伟老师结合他的从业经验,从统计原理、基本流程和进阶实战三个层面,为你梳理出了一条学习 A/B 测试的最佳路径。

 

 

  • 第一模块是“统计篇”。


 
想要做好 A/B 测试,统计原理的学习不可或缺。老师精选了与 A/B 测试密切相关的统计理论,主要讲解 A/B 测试的理论基础-假设检验,以及 A/B 测试指标的统计属性这两块知识,让你有针对性的学习理论知识,真正打好做 A/B 测试的理论基础。
 


  • 第二模块是“基础篇”。


 
在这个模块,老师梳理了做 A/B 测试的几个关键步骤,包括确定目标和假设、确定指标、选取实验单位、计算所需样本大小,以及分析测试结果。会在讲解流程的同时,也告诉你背后的原理,帮助你在实际应用时能举一反三。
 


  • 第三模块是“进阶篇”。


 
想要让做 A/B 测试的技能更上一层楼,你还需要能够识别那些在实际业务场景中潜在的坑,掌握相应的解决方法;了解 A/B 测试的适用范围及替代方法;同时老师也会带你掌握面试中关于 A/B 测试的常见考点及应对方法;手把手带你制作实用的样本量计算器,来解决网上工具参差不齐、适用范围有限等问题。
               
 
 
新人首单¥59.9

👆扫描上图,免费试读
结算时,输入优惠口令「happy2021」
到手仅 ¥69,立省 ¥30
 
 
温馨提示
 
订阅后可通过「极客时间 App」或「极客时间小程序」我的-已购,学习已订阅的专栏。
 
 
👇点击「阅读原文」,一顿饭钱,从原理到实战,吃透A/B测试。
浏览 58
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报