质量检查发现空值、重复值后,如果只发一封告警邮件,问题往往会反复出现。数据质量需要处理路径,也需要知道哪些异常确实影响业务。
先明确问题与条件
按照字段用途设置规则,给异常分配责任人与处理期限;区分阻断接入、隔离待核和允许入库但提示三种处置。
把规则放进实际流程
例如地址缺失可能不影响汇总销售,却会影响配送分析,因此应按使用场景评估,而不是给全部空字段相同的严重等级。
用具体场景核对
查看问题能否定位到来源批次、是否可重跑修复,以及重复告警是否被合并;处理结束后还应检查下次同步是否再次出现同类异常。
逐项核对处理结果
- 质量问题页面需要给出可操作的信息:具体异常值、对应规则、影响的报表以及最近一次出现时间。
- 一次任务失败产生上千条相同异常时,可按来源与原因汇总,让负责人先定位根因,再查看明细。
- 规则不能长期只增不减;业务允许为空的字段应修改校验条件,来源已退役的告警应退出。
- 修复时保留原值和修正依据,并明确改的是源系统还是平台副本,否则下次采集仍会覆盖。
- 对业务暂时接受的例外,可设有效期限和说明,期限结束重新核对。
- 告警关闭与数据已经修好需要分别记录,避免把点了确认当成完成治理。
上线前后怎样复查
规则维护可记录误报原因,区分业务条件遗漏与源数据错误。连续被人工判定为合理例外的规则值得重新设计,而不是让负责人每天重复关闭相同告警。
