某个 AI 功能上线时表现正常,两周后回答质量明显下降,你会怎样判断问题来自模型、数据,还是业务流程变化?
考察说明
考查对 AI 系统持续运营、质量漂移和根因定位的整体认识。
回答思路
- 先确认下降是否真实,按用户群、任务类型、时间段和版本切分成功率与投诉,排除流量结构变化造成的平均值错觉。
- 检查模型、提示词、知识库、检索配置、工具接口和安全策略是否发生版本变更,并把时间点与质量下降曲线对齐。
- 抽样比较近期输入与上线评测集,观察新术语、新产品和问题长度是否发生变化,判断是否出现数据或业务分布漂移。
- 对失败请求回放检索结果、工具响应和最终生成过程,区分资料未召回、资料过期、工具报错和模型没有遵循证据。
- 询问一线人员近期流程、政策或用户行为是否改变,因为系统本身没有发布也可能因外部业务条件变化而失效。
- 修复后要补充对应回归样本和监控指标;严重问题应先回滚、限制能力或转人工,再进行长期优化。