你会怎么设计一个新功能的 A/B 实验？
五个经典回答示范
我按流程讲：先立假设——改动 X 因为机制 Y 会提升指标 Z；定指标——核心指标一个（如转化率）加护栏指标（留存、投诉率）；算样本量——基于基线、MDE、显著性水平；分流——随机且正交，检查 SRM；跑完整周期覆盖周内波动；解读——显著性与业务意义都看，分层检验防辛普森。
我讲一次完整实验：假设是简化注册流程提升注册率。设计：核心指标注册转化，护栏次日留存与完成资料率；样本量按基线 32%、MDE 相对提升 5%、alpha 0.05、power 0.8 算出每组 4.7 万；跑了 14 天整周期。结果转化 +4.2% 显著，但分层发现老渠道用户提升、新投放渠道下降——信息流用户需要更多信任建立。决策：新版加可跳过的信任模块，全量。
资深视角把 A/B 当科学实验管理：假设质量决定一切——没有机制逻辑的『试一试』实验是彩票；实验平台可信度建设——SRM 常态化校验、指标口径统一、历史 A/A 实验验证平台无偏；组织层面——实验文化比实验工具难建：不显著结果同样有价值要归档分享、避免只报喜的幸存者偏差、实验结论的复用知识库。单个实验是点，实验体系是能力。
追问『实验组互相污染怎么办』：社交类产品要按社交簇分流或用地理分区；『长期效应怎么看』：holdout 长期对照组留 1% 观察数月；『不够流量做实验』：序贯检验提效、代理指标先行、或区域性灰度加谨慎外推；『结果矛盾怎么办』：查指标定义与实验交叉，重跑确认，不挑好看的说。
『A/B 就是上线两个版本看哪个数据好，跑三天差不多得了，数据差不多就选老板喜欢的那个，反正做个实验显得科学。』——点评：无假设无样本量计算无周期控制，三天看不出留存差异；『选老板喜欢的』说明实验是表演不是决策工具。
- 打开 模拟练习，选择「产品经理」方向，限时 3 分钟作答本题。
- 对照上方答题框架，逐点检查：哪些要素没覆盖、哪里表达啰嗦。
- 用自己项目的真实经历替换框架中的占位内容，重讲一遍并录音回听。
这类题在真实面试中常被追问细节，
建议进入限时模式练一遍。