A/B 实验的结果怎么看？样本量怎么定？

样本量由三个数决定：基线转化率、最小可检测提升（MDE）、显著性水平与功效，用先验功效分析公式或在线计算器得出。结果解读两句话：统计显著但提升极小时业务上不一定值得上；不显著时先看功效够不够，可能是样本不够而不是没差异。护栏指标必须同时看，别改版转化涨了留存崩了。

我讲一个复盘案例：实验组转化率 2.31% 对照 2.20%，显著 p<0.05，直接全量后一周大盘没动静。复盘发现实验命中了高频老用户，对新用户反而负向——分层异质性被整体显著性掩盖。之后的规范：结果必做关键维度分层检验、运行完整周期覆盖周内波动、上线前评估长期效应与新奇效应。

我从实验体系讲：实验前——假设要可证伪、指标分层（核心/护栏/观察）、分流正交且 SRM 校验；实验中——不偷看结论，需要早期监控时用序贯检验控制假阳性；实验后——除显著性外报告效应量置信区间与业务成本，辛普森悖论与浸染效应检查。A/B 的可信度是平台长期信用，一次脏实验毁掉的是决策链。

追问『怎么验证分流的随机性』：SRM 检验——两组样本量比例与设定是否偏离，卡方检验；『多指标多次检验问题』：假阳性放大，用 Bonferroni 或控制族错误率；『能不能实验到一半看效果很好就停』：不能，peeking 会大幅提高假阳性，除非用序贯方法设计。