你给两组用户上线不同的 AI 写作助手版本，结果新版本使用次数更高。为什么还不能立刻断定它更好？
考察说明
考查理解 AI 产品实验中的指标口径、随机波动和真实价值。
回答思路
- 先检查用户是否随机分流、实验周期和样本量是否足够，并排除入口曝光、活动流量或埋点变化造成的偏差。
- 使用次数可能来自新奇感、反复重试或结果不满意，必须结合任务完成、采纳、修改幅度和后续留存判断。
- 生成结果存在波动，同一用户的偶然好坏可能影响行为，因此需要观察稳定分布而不是少量截图。
- 还要比较延迟、成本、投诉和高风险错误，新版本即使互动更高也可能在质量或安全上不可接受。
- 实验结论应预先定义主要指标和停止条件，并对不同任务与用户分层，避免事后挑选最有利数字。