转行 AI 通识面试题更新 2026-08-03

如果 AI 助手能读取企业文档并调用业务系统,你认为上线前最需要防范哪些安全风险?

考察说明

考查对生成式 AI 数据安全、提示注入和工具权限风险的基本认识。

回答思路

  1. 首先建立威胁模型,覆盖敏感信息泄露、越权检索、提示注入、恶意工具调用、生成有害内容以及日志中残留隐私数据。
  2. 模型只能获得完成当前任务所需的最小权限,文档检索和工具调用必须沿用真实用户的身份与授权,不能因为经过模型就绕过访问控制。
  3. 外部网页、上传文件和检索内容都应视为不可信数据,其中出现的操作指令不能覆盖系统规则或自动获得执行权限。
  4. 有副作用的动作要做参数校验、幂等保护和风险分级,付款、删除、发送等高影响操作应要求用户确认或人工审批。
  5. 输入、输出、索引和日志中的个人信息与商业机密需要按用途最小化、脱敏、加密并设置保留期限。
  6. 上线前应进行提示注入、数据外泄和越权调用测试;上线后保留可审计记录、异常告警和快速停用工具的能力。