一次演示回答成功,不能说明大模型应用覆盖全部业务。评估样本要包含措辞变化、资料不足和容易混淆的对象,判断标准也需要在测试前明确,避免只展示顺利的问答。
样本选择
从真实工作问题整理测试集,覆盖常见提问、资料不足和容易混淆的情况。样本应有来源依据与预期处理方式,不能只挑最容易回答的问题。
评价维度
分别检查回答是否准确、引用是否相关、权限是否有效以及业务动作是否正确。不同场景需要不同标准,不宜把所有表现汇总成一个没有解释的分数。
版本对照
模型、提示和文档变化后,用同一组样本进行比较并记录差异。评估帮助决定改进方向,不意味着模型在所有新问题上都能达到相同表现。
场景核对
一组样本可同时包含容易回答、措辞相近和资料不足的问题,分别记录结果。这样能看到问题出在哪里,而不是通过只展示成功案例形成不完整的效果判断。
具体验证方法
同义问题检查是否找到同一适用依据;术语相近的问题核对对象是否混淆;资料不足时不补造结论;工具类样本验证权限与结果,每条错误记录注明输入、来源与具体偏差,而不只计一个通过比例。
样本和评判依据明确以后,结果才能用于决定改进位置。资料、检索和流程问题分别定位,后续调整再用同组问题核对,方便观察实际变化。
