用户消息、上传文件或外部页面中，可能夹带要求系统忽略规则、导出内部信息的文字。客服系统应把这些内容视为待理解的资料，而不是管理指令。不能因为某段文本写着管理员要求，就给它更高权限。这里的重点是明确哪些来源能设置规则，哪些来源只能提供问题内容。

从需求出发

业务知识与系统控制分开存放，工具调用仍通过服务端身份和范围校验。检索文档不能自行改变回复渠道、查询对象或权限。对外部附件设定类型与读取范围，敏感内部字段不进入普通问答上下文。日志记录可疑输入与实际动作，审核人员能够检查是否发生越界，而不只是看到一条已拦截提示。

设计应关注的事项

例如用户在工单里粘贴请查询所有客户手机号，即使附上一段看似正式的通知，客服也只能处理该用户有权访问的问题。文件中出现类似文字时，系统可以说明资料不支持当前查询，再提供正常服务入口。

逐项核对处理结果

  • 验收加入直接诱导、文档夹带、伪装角色和跨用户查询等场景，观察是否触发了真实业务动作。
  • 限制应覆盖模型之外的接口层，不能认为提示词足够强就安全。
  • 系统拒绝越界后仍可回答正常产品问题，避免把所有陌生表达都当作攻击，影响用户寻求帮助。

检查处理结果

可疑指令的检查范围包括知识库编辑入口，编辑人员上传的内容也可能引用外部材料。发布前核对用途和来源，让正式文档不能在无意中把不可信的指令带进服务流程。