PlanOutA/B 测试工具
PlanOut 是 Facebook发布的一部分A/B测试源码，帮助数据科学家和其它职工轻松构建、管理和验证A/B测试。为了搞清楚哪个功能或设计更好，每个网站或移动应程序的数据科学家都离不开A/B测试工具。
完整示例：
from planout.experiment import SimpleExperiment
from planout.ops.random import *
class FirstExperiment(SimpleExperiment):
def assign(self, params, userid):
params.button_color = UniformChoice(choices=['#ff0000', '#00ff00'], unit=userid)
params.button_text = WeightedChoice(
choices=['Join now!', 'Sign up.'],
weights=[0.3, 0.7], unit=userid)
my_exp = FirstExperiment(userid=12)
# parameters may be accessed via the . operator
print my_exp.get('button_text'), my_exp.get('button_color')
# experiment objects include all input data
for i in xrange(6):
print FirstExperiment(userid=i)
在 Facebook，每天要运行上千个测试，而这些测试有的是用于优化特定的结果、有的是服务于长期的设计决策。正因为每天要运行这么多次的测试，需要可 靠、稳定的测试程序。许多在线测试都是由工程师们实现的，而他们并非是受过训练经验丰富的统计学家。测试做对的时候很容易解析，但在他们的设计、实现、记 录和解析上又很容易犯错。
所以非常需要一个在线现场测试工具。
关于A/B测试
A/B测试是一种新兴的网页优化方法，可以用于增加转化率注册率等网页指标。使用A/B测试首先需要建 立一个测试页面（variation page），这个页面可能在标题字体、背景颜色、措辞等方面与原有页面（control page）有所不同，然后将这两个页面以随机的方式同时推送给所有浏览用户。接下来分别统计两个页面的用户转化率，即可清晰的了解到两种设计的优劣。（摘 自百度百科）
评论