中亚商品交易中心 沥青 AB实验分流应该注意哪些?

2022-06-27 14:28:53作者:阅读:
中亚商品交易中心 沥青 AB实验分流应该注意哪些?

1. 分析指标要明确

上面讲了做AB实验一共有三种场景,不管哪种,其本质都是对不同策略的效果对比,既然是对比,就需要把观测的指标明确下来。例如,是对比商品的订单数,转化率,还是点击量?

除此之外还要考虑,这个标准会不会受到其他的指标的影响,会不会影响到其他指标。

例如,点赞量提高了,会不会导致评论数的减少。

只有明确了分析指标,才能正确评估是A桶好还是B桶好。

2. 实验分流要确保相互不影响

同一个产品的不同的功能可能会有不同的实验,而且这些实验针对的是同一批用户。

例如,你可以在做客户端界面的改动的同时,又改了客户端推荐的算法。

那怎样保证这些实验相互之间不影响呢。

答案就是要确保正交。

你可以将实验分成不同的层,不同层之间的用户随机分桶,每个用户会进入所有策略桶都是随机的。这样就能保证进行实验时每组实验之间相互不影响。


3. 样本足够

做AB实验的时候,需要保证不同的桶之间的用户量足够大,用户id足够均匀,才能够尽可能保证每个试验桶的用户数和指标没有差异。

如果我们做的实验只有五十个用户,那么两三个用户的随机行为对策略的指标影响就至少4%。

这样AB实验观测的指标本身会有很大的波动,就无法正常观测实验的效果。

4. 实验前将每个桶调平

在实际的产品运行过程中,我们所观测的指标往往会有一些天然的差异。也就是说AA桶本身就不一定是平的。

在进行AB实验的时候要确保每个桶的直接观测指标的表现是相近的,也就是说AA期的表现要一致,这样在进入AB期之后,指标的提升和降低才具有可信度。

比如说,对于电商平台,你需要观察的是成交订单数和总收入,那么在进行实验之前,你要确保每个桶之间的成交订单和收入天然是一样的,这样做完实验之后你才能看到自己的实验是不是有效。

copyright©2018-2020 ,All Rights Reserved 粤ICP备15022573号