AB Test | 字节产品增长的法宝
共 2342字，需浏览 5分钟
·
2021-10-01 18:36
“A/B测试不一定是最好的评估方法。它不是万能的，但不会A/B测试肯定是不行的。”
字节跳动副总裁杨震原在一次分享会上，表达了他对于A/B测试的理解。
杨震原认为：A/B测试是字节跳动一项非常基础的工具，从公司成立之初就在使用，支撑了抖音、今日头条等产品的增长迭代。目前，字节跳动A/B测试每日新增1500+实验，服务于400多项大大小小的业务，累计做了70多万次实验。这项工具已经实现产品化，通过火山引擎向企业客户开放。
A/B测试广泛应用于字节跳动方方面面，包括产品命名、交互设计、推荐算法等。但杨震原表示，这项工具也存在很多应用局限，比如独立性、置信度、长短期等问题。
其实为了帮助提升创新产品的成功率，头条内部甚至研发出了一套增长引擎，可能你们公司的几个产品运营还在纠结功能按钮排序时，人家头条已经同时进行几十组甚至上百组的 A/B 测试，帮助产品经理和运营们找最优方案。
大数据时代，每个公司都在说数据驱动产品和业务的快速迭代，但是要看这间公司到底是不是真·数据驱动，最关键的就是要看它决策流程中到底有没有 A/B 测试这一环节，来提供值得信赖的结果，辅助产品决策。
产品决策流程
就好比一个刚刚研制成功的药品，不经过临床实验就直接推入市场，去治疗病人，那承担的风险是非常高的。因为这样不仅可能无法治愈病人，甚至还可能会产生严重的副作用。而A/B测试，就是保证这个关键环节不出现问题的最佳方案。
那用 A/B 测试，到底可以来解决什么具体的业务问题吗？我给你一张总结的表格。
可以说， A/B 测试在产品迭代、算法优化、市场营销等领域都发挥了巨大作用，越来越多的公司开始使用 A/B 测试，对人才的需求量也越来越大。无论是偏技术的数据科学家、数据分析师，还是偏业务和产品的市场营销分析师、产品经理以及增长黑客，都需要在工作中掌握和应用 A/B 测试，A/B 测试也是这些职位面试中必考的一块内容。
学习 A/B 测试的高效路径是什么？
但学A/B 测试有个难点。这是一门实践性很强的工具，如果你只有理论基础而没有实践经验，那么实践过程由于业务场景千变万化，可能就会有各种各样潜在的陷阱在等着你。只有兼顾了理论基础和实践经验，才能得出值得信赖的测试结果。
我这里有一套最佳学习路径流程，如下图
学习路径
这张图出自在美国硅谷科技巨头工作的张博伟和极客时间合作的专栏《A/B 测试从 0 到 1》。在专栏里，张博伟老师会先带你建立起一个做 A/B 测试的框架，让你在应对不同业务场景时，都能通过框架来按图索骥，灵活运用。
新人首单￥59
拼团+口令「happy2021」到手仅 ¥69
张博伟是谁？
张博伟，从毕业后就一直在美国互联网大厂 FLAG 工作，目前是一名资深数据科学家。在过去的7年多时间里，一直在做A/B测试、机器学习建模、大数据分析的相关工作。
张博伟老师曾参与从设计测试、实施测试到最后分析测试结果的全过程，后来逐步在团队中主导 A/B 测试领域的相关工作，开发相关数据产品，还和工程团队合作来改进内部的 A/B 测试平台，通过持续的 A/B 测试为公司的新业务带来上百万用户的增长，也为数据分析、营销和产品团队提供数十场 A/B 测试的讲座和上百次的咨询，讲解 A/B 测试的最佳实践以及避坑经验。
怎么带你学 A/B 测试？
张博伟老师结合他的从业经验，从统计原理、基本流程和进阶实战三个层面，为你梳理出了一条学习 A/B 测试的最佳路径。
第一模块是“统计篇”：
想要做好 A/B 测试，统计原理的学习不可或缺。老师精选了与 A/B 测试密切相关的统计理论，主要讲解 A/B 测试的理论基础-假设检验，以及 A/B 测试指标的统计属性这两块知识，让你有针对性的学习理论知识，真正打好做 A/B 测试的理论基础。
第二模块是“基础篇”：
在这个模块，老师梳理了做 A/B 测试的几个关键步骤，包括确定目标和假设、确定指标、选取实验单位、计算所需样本大小，以及分析测试结果。会在讲解流程的同时，也告诉你背后的原理，帮助你在实际应用时能举一反三。
第三模块是“进阶篇”：
想要让做 A/B 测试的技能更上一层楼，你还需要能够识别那些在实际业务场景中潜在的坑，掌握相应的解决方法；了解 A/B 测试的适用范围及替代方法；同时老师也会带你掌握面试中关于 A/B 测试的常见考点及应对方法；手把手带你制作实用的样本量计算器，来解决网上工具参差不齐、适用范围有限等问题。
挺多人表示课程很有用，我截几个给你看看：
新人首单￥59
老用户拼团+口令「happy2021」到手仅 ¥69
点击「阅读原文」，一顿饭钱，从原理到实战，吃透A/B测试。