Agent 依赖订单、支付和库存系统,但评测环境不能真的退款或扣库存。你会怎样构建一个可信的工具模拟器?
考察说明
考查可控工具模拟、故障注入及其与真实系统一致性的设计能力。
回答思路
- 模拟器与生产工具共享请求和响应契约,并实现关键状态迁移,不能只对所有调用返回固定成功。
- 为测试场景预置订单、权限和库存状态,使相同输入得到可重复结果且每次运行能够隔离重置。
- 支持注入超时、限流、部分成功、重复请求和脏数据,验证 Agent 的重试、幂等和人工接管路径。
- 记录期望调用序列与最终业务状态,既评估任务结果也检查是否使用了错误工具或跳过确认。
- 定期用脱敏真实响应和契约测试校准模拟器,并保留少量受控端到端验证,防止测试环境长期漂移。