终于有人把AB实验讲明白了

2022-07-31 12:07

导读：近几年AB实验的曝光度越来越高。AB实验并不是近几年才有的，从推荐系统诞生开始，AB实验就扮演着重要的角色。本文主要介绍AB实验的基本概念，包括AB实验和在线AB实验的定义以及AB实验的常见类型。

作者：刘玉凤

来源：大数据DT（ID：hzdashuju）

01 AB实验的定义

AB实验又称为受控实验（Controlled Experiment）或者对照实验。AB实验的概念来自生物医学的双盲测试，双盲测试中病人被随机分成两组，在不知情的情况下分别给予安慰剂和测试用药，经过一段时间的实验后，比较这两组病人的表现是否具有显著的差异，从而确定测试用药是否有效。

2000年，Google工程师将这一方法应用在互联网产品测试中，此后AB实验变得越来越重要，逐渐成为互联网产品运营迭代科学化、数据驱动增长的重要手段。

从国外的Apple、Airbnb、Amazon、Facebook、Google、LinkedIn、Microsoft、Uber等公司，到国内的百度、阿里、腾讯、滴滴、字节跳动、美团等公司，在各种终端（网站、PC应用程序、移动应用程序、电子邮件等）上运行着大量的AB实验。

这些公司每年进行数千到数万次实验，涉及上亿的用户，测试内容涵盖了绝大多数产品特征的优化，包括用户体验（颜色、字体和交互等）、算法优化（搜索、广告、个性化、推荐等）、产品性能（响应速度、吞吐量、稳定性、延迟）、内容（商品、资讯、服务）生态管理系统、商业化收入等。

因为AB实验被引入互联网公司后，应用场景主要是大规模的在线测试，所以也被称作在线AB实验或者在线对照实验（Online Controlled Experiment，OCE）。

常见的在线AB实验中，用户被随机、均匀地分为不同的组，同一组内的用户在实验期间使用相同的策略，不同组的用户使用相同或不同的策略。

同时，日志系统根据实验系统为用户打标记，用于记录用户的行为，然后数据计算系统根据带有实验标记的日志计算用户的各种实验数据指标。实验者通过这些指标去理解和分析不同的策略对用户起了什么样的作用，是否符合实验预先的假设。如图1-1所示，图中流程概括了AB实验的经典模式。

▲图1-1 AB实验流程

将图1-1所示的流程应用到产品迭代中，就是将具有不同功能、不同策略的产品版本，在同一时间，分别让两个或多个用户组访问。这些参与实验的用户组是从总体用户中随机抽样出来的，一般只占总体用户的一小部分，而且不同组用户的属性、构成成分是相同或相似的。

先通过日志系统、业务系统收集各组用户的行为数据和业务数据，然后基于这些数据指标分析、评估出相比之下更好的产品版本，最后推广到全部用户。

以图1-2为例，我们试图通过AB实验找出哪个颜色的横幅位点击率更高：A组保持浅色横幅不变，B组采用深色的横幅，分析哪个颜色更能引起用户的关注，提升用户的点击率。如果通过实验发现深色横幅的点击率更高，就将深色横幅位推广到全部用户。

当然，在实际应用中，AB实验的效果评估一般没有这么简单，比如除了点击率之外，还需要综合考虑其他的指标。

▲图1-2 AB实验测试哪个颜色横幅位点击率更高

02 AB实验的类型

从不同分类视角来看，AB实验有着不同的类型。

从实验实施的产品形态来看，AB实验可以分为App类型、PC类型、网页页面类型等。
从实验代码运行的机制来看，AB实验可以分为前端页面类型、后端服务类型等。
从实验分流的对象来看，AB实验可以分为用户类型、会话类型、页面类型、元素类型等。
从实验服务调用的方式来看，AB实验可以分为SDK类型、接口服务类型等。
从实验内容来看，AB实验可以分为交互类、算法类、内容类、工程性能类等。

这些是AB实验常见的分类方式。当然，AB实验的分类不局限于以上分类，可以根据实际情况，采用不同的分类方式。不管何种类型的AB实验，都应符合分流→实验→数据分析→决策的基本流程。

本文摘编自《AB实验：科学归因与增长的利器》（ISBN：978-7-111-70713-4），经出版方授权发布。

《AB实验：科学归因与增长的利器》

点击上图了解及购买

转载请联系微信：DoctorData

推荐语：BAT资深数据科学家10余年AB实验工程经验总结，系统阐释AB实验原理、方法和增长实践，融合全球优秀企业经验。

关于作者：刘玉凤，毕业于清华大学，获机器学习和数据挖掘专业硕士学位，某互联网大厂高级数据专家和数据科学家，有多年策略产品和数据产品经验。曾负责该厂AB实验平台的搭建和运营，在AB实验领域积累了丰富的经验。专注数据领域，实践过丰富的业务类型，包括智能硬件、O2O、信息流、出行服务等，在多个业务中担任过数据负责人，不但拥有丰富的2C数据驱动增长的成功经验，还拥有多个2B数据赋能业务的落地经验。