二、关于实验对象

目录2.1 实验单元2.2 用户标签2.3 触发时机2.5 实验的随机分流模式2.1 实验单元实验单元作为触发实验的最小单位决定在什么粒度上触发实验策略常见粒度一般为用户粒度、会话粒度、页面粒度三种。用户粒度最常见的实验单元以单个用户作为触发实验的最小单位。这里注意同一个用户在单一实验中只可出现在一个分组内不可以发生漂移。会话粒度又称Session粒度以单个用户在端内一段时间的行为作为最小单元。举个例子用户A在电商App中每30分钟的行为作为一个实验单元被随机分配到分组中。页面粒度以一个用户的一次页面展现作为最小单元。一般情况下对相同界面进行刷新操作算作两个页面被随机分配到分组中。按照颗粒度的大小来排序用户粒度会话粒度页面粒度。无论哪种实验单元在分组过程中均采用哈希方式随机分配到不同的实验分组中。实际情况中因复杂原因可能导致随机分流的实验组之间出现不均匀的情况。为防止不均匀分配一般在实验开始前需要进行检验如样本比例不匹配[Sample Ratio MismatchSRM]校验、AA实验以确保实验的基础没有偏差。 参见《运行阶段2样本均衡性检验SRMS》选择实验单元的关键考虑因素实验所需要的流量及实验检测精度用户体验的连续性。实验参与单元粒度和实验评估实验随机分流的粒度和评估指标的粒度相匹配。1粗粒度的随机分流实验可以往下兼容评估指标如用户级别的随机分流实验能往下细分评估会话、页面、元素级别的指标。2细粒度的随机分流实验不能往上兼容评估指标。注意若随机化单元比分析单元粒度粗如按用户随机化分析页面点击率是可行的只是需要更细微的分析方法bootstrap或delta方法。2.2 用户标签实验生效策略既可以覆盖全量用户又可仅选择其中一部分用户标签触发。建议最好在实验设计阶段就筛选好需要触发的用户群体以便于后续评估。如对美妆类目进行优化如果对全量用户实施策略会导致实验结果被稀释。在此场景下常常只针对女性群体做实验同时仅分析评估这部分用户群体。2.3 触发时机实验生效策略不仅能筛选触发用户还可对生效的触发节点进行设计。2.5 实验的随机分流模式1单层分流模式指不重复利用用户同一时间用户最多只参与一个实验。通常实验散列函数将用户随机地分配给不同的桶bucket如把1000万用户用散列函数映射到1000个桶中。用户分配到bucket必须是随机的、确定性的、不相交的。再根据实验所需流量选取bucket要求1每个bucket中的用户数量大致相同若按关键维度细分的话各桶的切片数据也大致相同要求2关键指标目标、保护、质量指标应该具有大致相同的值或在正常可变性范围内。2正交分层模式并发实验系统每个用户可以同时进行多个实验。实验方法是拥有多个实验层每一层的行为类似于单层方法。业界通用的正交分层模式为了确保层级实验的正交性用户分配到bucket时会添加层id即盐值通过靠散列函数加盐值的方式来保证层与层之间的正交性来实现流量的复用。分层要避免多个策略碰撞带给用户糟糕的体验可以使用有限层的划分方式。如一层用于UI元素实验一层用于内容实验一层用于后端系统实验一层用于算法实验等。划分关键1同类业务互斥且进入同一层。划分关键2不同类业务可以拆分到不同层并行进行。对于不同层的联合实验情况可在层基础上打通形成贯穿域以进行各种跨层的联合实验。