用 AI 做用户增长实验设计：完整方法

上个月把注册流程改了三处，转化率从 11.2% 爬到 12.4%，周会上有人问是哪一处起的作用，会议室安静了几秒。增长团队反复遇到的就是这个场面：改动一直在做，因果一直说不清。把 AI 拉进来做实验设计，省下的不是想创意的力气，而是把假设、指标、样本量、分析口径写到能执行的程度——它不替你跑实验，但能让你在开跑之前就知道这次跑完有没有结论。

改动不少却说不清哪个有用，缺的是能被推翻的假设

「新用户留存低」是一句抱怨，不是假设。假设要能被证伪，得带四个要件：改什么、哪个指标会动、动多少、看多久。写成一句话是：「把首次引导从五步压到三步，次日留存从 32% 提到 35% 以上，观察 14 天」。这句话能跑，因为它给出了失败的样子——14 天后留存还是 32%，假设就被推翻了。

让 AI 干这活有个好处：它不留情面。把现状丢过去，要求输出三条假设并标出哪条最该先验，它通常会挑「改动小、影响面大、一周内能看出方向」的那条。这一步的产出决定后面几步的质量，假设含糊，指标一定跟着含糊。

六步把一次实验从想法做到结论

六步里第三步和第五步最容易被省掉，也最容易让整次实验白跑：

第三行的坑最隐蔽。按「跑一周」定实验，等于把结论交给运气：一周的样本可能只够分辨 5 个点的差异，而你等的是 1 个点。反过来，按样本量算出来要跑 40 天，这个实验本身就该重新设计——周期太长，中途的大促、发版、竞品动作都会混进来，到时候谁也说不清是谁的功劳。

指标要经得起「被刷」

选主指标有两个条件：能反映你要验证的东西，且不容易被短期手段拉高。想验证引导流程是否让人更快上手，主指标用「首次完成核心动作的比例」，别用点击数——按钮做大一点，点击就涨，用户该不会还是不会。

护栏指标是另一半。主指标涨了，崩溃率、退款率、工单量有没有跟着动，这决定这次上涨是不是用别处的损失换来的。让 AI 做反向检查很有用：问它「这个指标上涨，除了假设成立，还有哪三种解释」。它给的答案通常是分流不均、季节性波动、同期其他改动，这三条恰好是复盘时最常漏掉的。

样本不够时，差异只是噪声

两组各 300 人，A 组 12%、B 组 14%，看着差两个点，换算成人数只差 6 个人。这种差距在重复实验里会自己消失。判断能不能下结论，看的是差异相对于波动的比例，这套逻辑在假设检验怎么判断差异是否真实里有完整推导；落到实操上只要两件事：跑之前算好每组要多少人，跑之后报出区间而不只是报一个点。

只报点估计是增长报告的通病。「转化率提升 1.2 个点」听着干脆，却没说这个数字的误差范围。加上区间，写法变成「提升 1.2 个点，区间 -0.3 到 2.7」，读的人立刻知道这次还没跑够。置信区间怎么读这件事，比记住 p 值小于 0.05 有用得多。

它能算清显著性，算不出用户为什么点

模型手上只有你贴进去的数字。它不知道这次改动的动机来自一条客服录音，不知道同期竞品降了价，也不知道销售正在冲季度任务。这些恰恰是数据异动最常见的解释，而它们不在表里。

它给的样本量也建立在你给的基线上。基线转化率填错 2 个点，算出来的样本量能差一倍，而它不会提醒你这个输入值得怀疑。同理，它默认你只检验一个指标；如果你同时看了八个指标、挑最顺眼的那个汇报，显著性就失效了——多重比较的问题得你在流程里挡住，工具不会主动报。

还有一层：统计显著不等于值得做。改动带来 0.4 个点提升，却增加两个长期维护的分支，这笔账只有你算得清。它没有成本信息，也没有组织信息，判断不了该不该上线。

值不值得跑，先问三个问题

改动能不能撤回，决定你敢不敢全量；结论能不能复用，决定这次实验有没有沉淀；现有流量够不够在两周内跑出结论，决定要不要换个更粗的指标先看方向。三个问题里有一个答不上来，这次实验多半会变成一次「改完看看」。

顺带说提示词的写法：把基线数据、观察窗口、判定阈值一起写进要求，比让它自由发挥稳定得多，结构可以照提示词里怎么给约束那套来。复盘时还要看指标本身测得准不准，评估指标怎么选讲的是同一类问题。

速查：一次实验开跑前的检查

• 假设含四要件：改什么、哪个指标、动多少、看多久
• 一个主指标加两三个护栏，主指标要经得起被刷
• 样本量按最小可检测效应算，不按「跑一周」定
• 跑的过程中只监控不改动，中途改动等于重启
• 结论报区间，同时写下三种替代解释