A/B测试的定义、操作方法、案例与实用工具分享

   

    

     

      

       

        

         作者：Neil Patel
         

        
        

         翻译：黄瑞迪
        
        

         校对：吴振东
        
       
      
     
    
   

无论你做多少调研，每个促销活动都不能保证百分百成功。

这就是为什么A/B测试是一个为你的生意计算出最佳线上宣传和营销策略的绝妙方法。

它可以被用来测试任何东西，从网站正文到促销邮件。这样你就可以找到最有效的促销方式，而不必把所有的预算都花在没用的营销物料上。虽然A/B测试可能会比较费时，但它带来的好处足以抵消其时间成本。

总而言之，一个设计精良的A/B测试可以给你的营销效果带来巨大的变化，因为它可以缩小范围，把一个宣传活动中最有效的元素整合在一起，这样不仅会提高回报率、降低风险，最重要的是，还可以形成一个更强有力的营销计划。

 

什么是A/B测试？它和我有什么关系？

A/B测试是一种销售策略，它会把两个版本的网页、广告、邮件、弹窗或者着陆页进行对比，来看哪一个更加有效。

例如，你可以测试两个不同版本的弹窗，来看哪一个带来的网页端注册量更大；或者可以测试两个不同版本的谷歌广告，来看哪一个带来的销量更大。这样你就会洞悉自己该在什么地方、如何投入销售预算，而且有勇气采取一些存在潜在风险的行动。

在我自己的网站上，我测试了弹窗效果，发现了到底是什么促使用户关注我的品牌。

 

一段时间之后，我们发现主动提供一次免费的网页分析是在我们的目标受众中建立专家口碑、向他们展现我们的价值的最好方式，因为这个网页分析可以给我们的受众带来极大的价值。我们对比了点击量和转化率，以此作为指标来看哪个标题更容易把访问我们网站页面的人留下。

 

A/B测试是怎样工作的？

A/B测试的基本工作原理是，把一个要素的两个不同版本随机分配给不同的用户，比如广告、网页、弹窗、优惠等。随机分配非常重要，因为它可以避免结果有偏向性，从而提供更加准确的信息。

在两个版本中，有一个版本是“控制组”，也就是当前已经投入使用的版本。另一个版本则改变前者的某一个元素。你也可以修改多个元素，但这样在分析具体哪个要素带来了变化时就会比较困难，这种方法被称为“多变量测试”(https://neilpatel.com/blog/ab-testing-vs-multiple-variant/)。

例如，到访你网站的用户中，一半会看到一个蓝色的“马上抢购”的按钮，而另一半则会看到一个红色的。一段时间之后——一般是两周——你就可以比较转化率，看哪个颜色的按钮带来了更多的消费。

大多数营销人员都会使用某种工具来创建和展示不同版本的内容，我们将会在后面的部分中提到A/B测试的常用工具。

 

为什么A/B测试很重要？

准确的A/B测试可以给投资回报带来巨大的变化。通过控制测试和收集实际数据，你可以弄清楚到底哪些营销策略对你的公司和产品最有用。

如果一个版本的效果可能是另一个版本两倍、三倍、甚至四倍，而且还不会有损失大量资本的风险，那么不去测试做比较，就直接运作一个促销计划，显然太粗心了。

如果测试能够持续地进行，它会极大地改善你的结果。因为一旦你知道什么元素能起作用，什么元素不能起作用，而且有证据支持的话，你就可以轻松地做出决策，设计出更有效、适用时间更长的营销策略。

在你的网站和营销材料上有规律地进行A/B测试还有一些其他的好处：

• 它们会帮助你更好地了解自己的目标受众：当你看到你的受众会对哪些类型的邮件、标题或其他特征做出回应后，你会更清晰地知道他们是谁、他们想要什么。

• 更高的转化率：A/B测试是提高转化率最有效的方式。知道什么能用、什么不能用，可以给你切实可行的数据，帮助你提高转化的效率。

• 时刻掌握变化的潮流：预测人们会对什么类型的内容、图像或其他特征做出回应是很难得。经常进行测试可以让你领先于消费者的变动行为。

• 降低跳出率：当造访你网站的人看到他们喜欢的内容时，他们会在这里停留更长的时间。通过测试可以发现你的用户更喜欢什么类型的内容和营销材料，这样能帮助你设计出更好的网页，让用户愿意一直待在这里。

最终，你会重新掌控自己的营销策略。不再需要闭着眼按下“发送”按钮，祈祷着客户们来回应了。

 

怎样设计一个A/B测试？

设计一个A/B测试时，你首先需要弄清楚自己想要测试什么。你要做的是一个网页内的测试，还是网页外的测试呢？

如果是前者，你需要考虑你网页上所有和销量有关的细枝末节，再想好哪些元素需要做区别测试。

你可能会测试这些内容：

• 标题；

• 引导用户去点击的文本；

• 引导用户去点击的位置；

• 弹窗；

• 重要的图像；

• 副本；

• 表单内的字段数量。

如果要做网页外的测试，可能要么测试一个广告，要么是测试一封促销邮件。测试广告副本来看哪一个版本的转化率更高，这可以帮助你集中在广告上的投入。一旦知道你的广告已经达到最高的转化率了，就可以跟轻松地决定跟进更多的资金。

这一点对邮件来说也是一样的。向列表中的用户发送两个版本的邮件，随机选择哪一半收到哪个版本，再跟踪哪一个转化率更高。在邮件中，你可以调试邮件的结构、主题文案、图片，甚至是优惠力度。

知道你的受众对什么内容反响最好，能够让你在将来编辑出更加有效的邮件。一旦你知道了你想给哪些营销材料做A/B测试后，把它们全都列出来。如果你决定测试行动呼吁的材料，你可以测试：

• 它的位置；

• 具体使用的文案；

• 按钮的颜色或背景空间。

A/B测试是一个整体的流程，在做出最终决策之前进行多次拆分测试是很常见的。

 

上手做吧！A/B测试步骤清单

在你开始拆分测试（A/B测试的别称）之前，确保你清楚地知道自己想要看什么结果。你应该已经知道基线结果是什么了，那就是你现有的结果。你想要对比选项A和选项B，但你也想知道，两者中表现更好的那个是否也比现行的版本更好。

或者你也可以把现行版本原封不动地作为控制组A，在B中进行一些修改。

所有的测试必须同时进行以便对时机有最好的把控。你不能今天测试只这个版本，明天只测试另一个版本，因为此一时彼一时，你无法将两天出现的事件都控制成一样的。例如，脸书上可能有一个新的促销活动或一条微博突然爆火，这些都可能影响你的测试结果。

相反，你应该把所有的流量切分好，同时分别分配给不同的版本。

下面是你在做第一次测试前可以用来检查的清单：

1. 确定你要测试的元素；

2. 制作同一则广告、到达页或应用程序等的两个版本；

3. 确定测试的持续时间。我建议至少持续两周，不过也可以根据你的流量大小和行业情况适度调整；

4. 选择一个测试工具（详后）；

5. 启动！

6. 两周后，查看结果，看看哪一个版本赢了；

7. 清洗并重复。A/B测试要持续做才是最有效的。

 

哪些项目最值得测试？

实际上，你可以测试营销材料或网站上的任何东西：标题、行为召唤（CTA）、正文、图片、搜索栏的位置等等。只要你能修改它，你就可以测试它。

但这不意味着你应该花上好几个月的时间测试每一个细节。相反，你应该关注那些更有可能对流量和转化造成重大影响的变化。

在网站上，这些变化可能包括：

• 标题；

• CTA；

• 所有和你的营销效果直接相关的图表；

• 促销文本或产品介绍；

• 特征图片；

• 按钮的大小和位置。

在邮件中，你可以测试标题、图片、链接、CTA或者受众分层。在一个付费的广告汇总，尤其是文本广告中（如搜索广告中），你能修改的东西很少，所以你可以测试主标题、优惠、图像或目标对象。

测试不同的优惠非常关键，只要确保每个人每次收到的优惠力度是一样的。例如，如果一个免费的礼品被发给了组A，一个折扣被发给了组B，那么你需要确保组A中的成员永远是一样的，组B也是一样。

也可以测试全部组合版本的转化率。例如，你可以先同时测试“新闻稿A+着陆页A”的组合与“新闻稿B+着陆页B”的组合。之后你可以再测试“新闻稿A+着陆页B”的组合与“新闻稿B+着陆页A”组合的对比。

这样可以让你更清楚地知道什么东西在起作用，尤其当你得到了一个混合的结果或结果非常接近的时候。这里还有一些其他你可以做的测试：

Other Tests You Can Run：

https://neilpatel.com/blog/9-ab-tests-that-you-can-run-tomorrow-to-double-your-conversions/

 

没有灵感？看几个实例吧

既然我们已经讲完了什么是A/B测试、可以测试什么，以及怎么做A/B测试，现在让我们看一些具体的例子吧。通过这些例子我们可以看到A/B测试的强大力量，而且会让你发现一些不做A/B测试时会忽视的要点。

 

GRENE测试了商品页的纵向布局

GRENE是一家线上零售商，他们通过A/B测试找出了一种让用户更容易找到自己想要的产品的方法，在原来的版本中（左图），一个产品会占据移动设备的整个屏幕，导致用户很难滚动页面查看不同的产品。

这个版本的变体（右图）减少了空白，让用户可以同时看到好几个产品，也更容易滚动页面来查看各种选择。 

 

结果：通过改变商品页面的布局，GRENE的产品点击率增长了15%，转化率增长了16%，而且到达“谢谢惠顾”页面的比率增长了10%，到达这里表示一个用户完成了一次购买。

 

WallMonkeys通过把条图换成搜索栏增加了转化率

WallMonkeys是一家线上墙纸网站，他们想要增加转化率，改善用户体验。通过使用CrazyEgg的热图，他们可以看到哪个区域是绝大多数客户会最先看的。

基于上述信息，他们决定把条状的特色图像（上图）换成搜索栏（下图）。

 

结果：通过去掉特色图像、把搜索栏移到页面中间（基于热图数据），他们的转化率提高了550%。

Unbounce对比了推特版和邮箱版的选择性加入页面 

Unbounce曾经试图寻找增加到达页选择性加入比率的方法。尽管大多数的公司会向用户索要邮箱地址，Unbounce决定看看用户是否会更喜欢收到关于产品的推特推送。

因此，他们比较了这个索要邮箱地址选择性加入页面：

 

而下面这个版本让用户通过发送一条推特来获得同样的课程： 

 

这对注册率有怎样的影响呢？

结果：Unbounce发现用户更倾向于通过填写一个邮箱地址来获得课程。邮箱版本的转换率比推特版高24%。这个结果并不令人惊讶，因为毕竟大多数人已经习惯了填写邮箱地址了，但这个测试让Unbounce有了信心，因为他们着陆页的设计思路是对的。

 

A/B测试需要花多长时间？

A/B测试不是一夜之间完成的。根据你的流量大小，你的测试时长可能持续数天到数周。记住，你一次只能进行一项测试以获得最准确的结果。

测试时长不够会使结果产生偏误，因为你没有聚集从统计上的准确性来说足够多的访问者。然而，测试时长过长也会带来偏误的结果，因为时间越长，你无法控制的因素就越多。

确保自己始终关注那些可能影响测试结果的所有因素，这样你就可以解释结果中数据的异常现象了。一旦有疑问，再进行一次测试就行了。

考虑到A/B测试可能对你的盈亏状况造成的影响，用几周来做适当的测试是很值得的。每次测试一个变量，并且给予每个测试足够的测试时长。

 

我可以一次测试多个元素吗？

这个问题有两种回答。假设你只想测试你的标题，但是你有三种可能的版本。在这种情况下，把你的访问者或邮件的收信人分成三组而不是两组是合理的，然后进行一次测试，这样仍然可以看作是一个A/B测试。

这样比分别进行三个测试效率更高（即A vs. B，B vs. C，和A vs. C）。你可能需要更长的时间来测试，这样你才能收到足够多的结果，确认是什么因素真正在起作用。

一次测试多个元素，如标题和CTA，被称作多变量测试，也更加复杂。这里也有很多关于多变量测试的资源 (https://vwo.com/blog/15-free-ab-split-testing-resources/)。

你还需要考虑你的系统是否能够承受拆分测试，而且有没有员工可以分析多因素的结果，并且将数据整合到可消化的量级。

多变量测试会一下子让你要处理的事情变得很多，但这并不是不能做的。如果你能设计出合适的程序来处理额外的工作，那么去做就好了——但如果你想要一个更简单的方法，一次做一个A/B测试就可以了。

 

如何分析A/B测试的数据？

A/B测试结束后，你会得到一堆数据。怎样知道哪个版本胜出了呢？有时胜者是很明显的。例如，如果一个版本的到达页提升了50%的邮件订阅量，即使不做数据分析你也知道谁胜出了。

但在其他的情况下，结果未必这么显而易见。下面是一些确认哪个版本胜出的方法：

1. 确保你有足够的数据：选出在更长的周期内运行的版本，一个最好的方法就是确保你有两周左右的测试数据，即至少带来了30人次的转化。

2. 使用一个A/B测试重要性计算器：有些工具自带A/B测试重要性计算器，或者你也可以使用我提供的免费工具 (https://neilpatel.com/ab-testing-calculator/)。只要把你的访问量和转化量输入进去就可以知道新版本增加的销量了。

3. 不要只看那些明显的指标：不是所有的指标都同样重要。总的来说，我建议你看转化率和流量。然而，有的公司可能会把注意力集中在其他的指标上，例如平均的订单金额。例如，把你的“购买”按钮换成蓝色可能会带来更多的转化，但这些顾客可能每单的花费明显少很多，所以你还需要继续挖掘。

 

几个不错的A/B测试工具

如果你觉得A/B测试听起来很复杂，不用担心，你并不孤单。很多营销人员和企业老板都不想做A/B测试，因为他们要么觉得工作量太大，要么担心自己会出错。我希望上面的建议会让你有信心，觉得自己可以正确地进行A/B测试。现在我们来谈谈你做A/B测试时可以用的一些工具。

使用什么工具取决于你想测试什么样的元素。例如，如果你想要测试邮件的标题，你的邮箱服务商可能会提供这样的工具（MailChimp和Constant Contact这两家都会提供）。脸书广告也提供这个元素的工具。

这里还有一些便宜或免费的软件可以用来测试网页上的元素，并帮助你发现哪一个元素的变化是最有效的。

 

一个免费的A/B测试显著性计算器

如果你想知道一个页面布局或网页文本的改变对销量有什么影响，那么可以试试我开发的这个工具。在我设计的这个计算器 (My calculator：https://neilpatel.com/ab-testing-calculator/) 中，你可以输入访问量和转化量，然后它就可以告诉你某个变量是否带来了销量的增加、增加了多少。

 

常见问题与解答

1. 什么是A/B测试？它和我有什么关系？

A/B测试是一种营销策略，它会把两个版本的网页、广告、邮件、弹窗或者着陆页进行对比，来看哪一个更加有效。它是增加转化率最高效的方法之一。

2. 怎样设计一个A/B测试？

决定要测试什么，涉及两个版本，决定测试时长，选择一个工具，最后看哪个版本更好即可！

3. 我该测试什么？

付费广告、网页及营销材料中的任何部分都可以测试，包括但不限于弹窗、邮件、着陆页和特征图片。

4. A/B测试需要花多长时间？

绝大多数测试至少需要进行两周，但A/B测试需要持续进行。

5. 我可以一次测试多个元素吗？

在某些情况下可以。但总的来说，最好一次只测试一个元素的两个版本。

6. 我该用哪些A/B测试的工具呢？

谷歌的Optimize是一个免费且功能强大的A/B测试工具。你的邮件平台、着陆页工具或网页插件都有可能提供这项服务。至于付费软件，可以考虑Optimizely (Optimizely: https://www.optimizely.com/)。

 

小结

A/B测试是营销人员最好的朋友。它可以让你看到诸如“哪个广告带来最多的转化”、“你的用户会回应什么样的优惠”、或者“什么样的标题带来最多的流量”等问题的答案。

这里有一系列的工具可供你起步，包括谷歌的Optimize这个免费软件和Optimizely。

如果你想开始着手做A/B测试，你可以通过《如何在Google Analytics上进行A/B测试》 (https://neilpatel.com/blog/how-to-run-an-ab-test-in-google-analytics/) 这篇文章来学习。记住：A/B测试是一个所有营销人员都应该使用的绝妙工具。

 

你尝试过A/B测试吗？如果没有，什么在阻碍你呢？

 

原文标题：

A/B Testing: Definition, How it Works, Examples, & Tools

原文链接：

https://neilpatel.com/blog/ab-testing-introduction/

编辑：黄继彦

校对：林亦霖

译者简介

黄瑞迪，清华大学外国语言学及应用语言学硕士在读，本科毕业于清华大学外国语言文学系。对儿童如何利用环境中的数据迅速学会自己的母语非常感兴趣，同时也希望从纷繁复杂的数据中把握住关键点，让为信息所困的自己和人们不再迷茫。

• 推荐10个鲜为人知的免费学习网站

• 吐血整理：人工智能、机器学习领域13个常见概念

• 数据分析师常用的十种数据分析思路