有系统一点的A/B testing方法的教程吗？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

有系统一点的A/B testing方法的教程吗？

有系统一点的A/B testing方法的教程吗？# DataSciences - 数据科学

i*a2014-05-01 07:05

1 楼

看见很多DS职位上面都要求会A/B testing，以前以为A/B testing很简单，类似于做个
t-test什么的。但是在实际business的应用下面好像有很多很复杂的变种，然后面试的
时候问到了也不会回答
想问下大家伙有A/B testing比较系统地课或者online resource吗可以自己学习下的马？
谢谢！

c*t2014-05-01 07:05

2 楼

什么变种？A/B testing好像是marketing的叫法。基本上是design of experiment的内
容吧

p*e2014-05-01 07:05

3 楼

co-ask
We do some split test in our campaigns...I seriously need some training on
it

c*h2014-05-01 07:05

4 楼

有个改进叫multiarm brandis之类的，我是在youtube上搜视频学的

n*o2014-05-01 07:05

5 楼

顶一下...
有没有大牛展开说说？

c*z2014-05-01 07:05

6 楼

Just my 2 cents
1. Before you start answering questions about success metrics, make sure to
ask what does "success" mean to them (i.e. what is the business objective).
2. Make sure that the two samples are randomly generated; if that is not the
case, and it is expensive to repeat the test, you may want to adjust the
result with rim weighting.
3. To compare two samples, K-S test is the default for continuous RV and
permutation test is the default for discrete RV.

i*a2014-05-01 07:05

7 楼

谢谢大牛的！学习了。
想请教一个最近做的project的问题。我需要分析一个针对retailer的marketing
program的effect和ROI。我们有好多不同的marketing programs，是建立在不同的
threshold上的，比如说最基础的marketing program（program A）只需要你买30K的
product就可以给你一些rebate作为incentive，再此基础上如果你买的product超过
100k就会得到另一个marketing program（program B）的rebate。
有过去3年的数据。我想要知道program B的effect，然后我的treatment group是得到
both program A和program B的retailer，而control group是只得到program A的
rebate的retailer。然后用Difference in Difference （DD method）和两年的数据
来分析program B的effect。但是这样有个问题：
treatment group的sample size 比control小很多，因为本来会参加program B的
retailer就是比较大的retailer，数量会少很多。而且用DD method需要找到retailer
在去年没有参加program B，但是在今年参加了，符合这种条件的就更少了。
请问您说的rim weighting能够model这种情况吗？
如果有什么好的建议，希望不吝赐教！
谢谢！～～～

to
the

【在 c***z 的大作中提到】

: Just my 2 cents
: 1. Before you start answering questions about success metrics, make sure to
: ask what does "success" mean to them (i.e. what is the business objective).
: 2. Make sure that the two samples are randomly generated; if that is not the
: case, and it is expensive to repeat the test, you may want to adjust the
: result with rim weighting.
: 3. To compare two samples, K-S test is the default for continuous RV and
: permutation test is the default for discrete RV.

b*o2014-05-01 07:05

8 楼

开眼界了，marketing领域原来是这么做A/B test的。
你这个情况其实是完全没有control。设计control的目的是可能的减少confounder
factor。而正如你自己描述的，你现在的设定可以说充满着confounder。

【在 i**********a 的大作中提到】

: 谢谢大牛的！学习了。
: 想请教一个最近做的project的问题。我需要分析一个针对retailer的marketing
: program的effect和ROI。我们有好多不同的marketing programs，是建立在不同的
: threshold上的，比如说最基础的marketing program（program A）只需要你买30K的
: product就可以给你一些rebate作为incentive，再此基础上如果你买的product超过
: 100k就会得到另一个marketing program（program B）的rebate。
: 有过去3年的数据。我想要知道program B的effect，然后我的treatment group是得到
: both program A和program B的retailer，而control group是只得到program A的
: rebate的retailer。然后用Difference in Difference （DD method）和两年的数据
: 来分析program B的effect。但是这样有个问题：

i*a2014-05-01 07:05

9 楼

你说得对，我原来的想法很多confounder
后来想了想，我的data其实可以变成panel data，然后用fixed effect model来分析，
这样就可以control每个retailer的unobserved variables

【在 b*****o 的大作中提到】

: 开眼界了，marketing领域原来是这么做A/B test的。
: 你这个情况其实是完全没有control。设计control的目的是可能的减少confounder
: factor。而正如你自己描述的，你现在的设定可以说充满着confounder。

W*E2014-05-01 07:05

10 楼

control不了吧。

【在 i**********a 的大作中提到】

: 你说得对，我原来的想法很多confounder
: 后来想了想，我的data其实可以变成panel data，然后用fixed effect model来分析，
: 这样就可以control每个retailer的unobserved variables

W*E2014-05-01 07:05

11 楼

很好奇，这些marketing program 不是随机assigned吧？
1） program A和B不可比吧，因为参加两program的retailer都不尽相同。所以这情况
和A/B testing有差距吧，如mailing campaign中比较两种interest rates，至少还有
randomization。
2) 你数据是什么形式？是具体到参加program的每个retailer每个时间段上消费额？
如果是后者，分析program B参与前和参与后的变化，岂不是你的样本量（retailer数
量）很少？
你们只负责分析？不负责设计？

【在 i**********a 的大作中提到】