给创建的稽核任务配置稽核规则,一个任务可配置多个规则。规则支持增删改查,运行并查看结果。
稽核规则是对数据的规定,通过稽核规则验证数据的完整性、一致性、唯一性、正确性、有效性等,并提高数据使用质量,供决策者参考。稽核规则囊括记录数检核、空值检核、唯一性检核、数据格式检核、准确性检核、波动检核、一致性检核和逻辑性检核八大类稽核规则。
图 稽核规则列表
单表稽核规则定义:
数据稽核不考虑表之间的关系,稽核的数据来自单一的数据表。稽核粒度覆盖表级规则和字段级别规则;通过验证稽核对象的记录和属性,校验稽核表的数据是否满足特定的规则。
多表稽核规则定义:
数据稽核校验的依据是表之间的关系,稽核的数据来自多张数据表。通过验证稽核表与参照表之间的关系,校验稽核表的数据是否与参照表一致。
以下按照单表稽核、多表稽核,单表稽核中不同粒度(表级和字段级)分别详细说明各种稽核规则。
1、 记录数检核
记录数检核是对单表记录条数是否在指定阈值范围内的的校验。
2、 空值检核
空值检核是对某一列数据是否含有空值的校验。
3、 唯一性检核
唯一性检核是校验某一稽核列数据是否唯一。
4、 数据格式检核
数据格式检核是对某一列数据的格式进行校验,如手机号,邮箱,身份证等是否符合规范。
5、 准确性检核
准确性检核是对某一列数据的取值是否在一定范围内(包括是否在一定的维度范围内;在一定的阈值范围内)。
6、 波动性检核
波动性检核是对表中的记录数或字段数据值对比之前的业务周期数据值的波动趋势是否在一定范围内。
7、 逻辑性检核(单表)
逻辑校验,对表内的某一列数据或某几列数据的表达式与其他某一列或某几列数据的表达式比较,检查数据逻辑是否正确。例如“可视电话用户情况统计表”中有“未超出套餐使用量的活跃用户数” 、“超出套餐使用量的活跃用户数” 、“活跃用户”这三个字段,逻辑校验“未超出套餐使用量的活跃用户数+超出套餐使用量的活跃用户数=活跃用户”。
8、 一致性检核(COUNT)
一致性检核(COUNT)是对表间的数据量是否一致的校验。
9、 逻辑性检核(多表)
逻辑校验,对稽核表内的某一列数据或某几列数据的表达式与参照表中的某一列或某几列数据的表达式比较,检查数据逻辑是否正确。例如“可视电话用户情况统计”表中的字段“总的出账用户”>=“可视电话用户使用特征统计”表中的字段“记录中总的出账用户”。