新增单表稽核规则
图 新增单表稽核规则
图 新增单表稽核规则配置界面
相关参数说明:
字段 | 说明 |
记录数检核 | |
规则名称 | 稽核规则的业务名称。 |
规则描述 | 稽核规则的业务意义描述。 |
数据库类型 | Hive数据库。 |
数据源 | 所选数据库类型下该项目用户有权限的Hive数据资源名称。 |
稽核表数据库 | 所选的数据源下该项目用户有权限的Hive库名。 |
稽核表 | 所选Hive库下该用户有权限的Hive表名。 |
阈值类型 | 选择“值”或“范围”,选择“值”,下方选项为阈值;选择“范围”,下方选项为“区间”。 |
阈值/区间 | 稽核表记录数的取值/范围。 |
限制条件 | 对稽核数据的限制,如对业务日期,省份等设置。填写语法相当于是sql中where后的语句。 |
空值检核 | |
规则名称 | 稽核规则的业务名称。 |
规则描述 | 稽核规则的业务意义描述。 |
数据库类型 | Hive数据库。 |
数据源 | 所选数据库类型下该项目用户有权限的Hive数据资源名称。 |
稽核表数据库 | 该项目用户有权限的Hive库名。 |
稽核表 | 所选Hive库下该用户有权限的Hive表名。 |
稽核字段 | 所选Hive表中的该用户有权限的字段。 |
限制条件 | 对稽核数据的限制,如对业务日期,省份等设置。填写语法相当于是sql中where后的语句。 |
唯一性检核 | |
规则名称 | 稽核规则的业务名称。 |
规则描述 | 稽核规则的业务意义描述。 |
数据库类型 | Hive数据库。 |
数据源 | 所选数据库类型下该项目用户有权限的Hive数据资源名称。 |
稽核表数据库 | 该项目用户有权限的Hive库名。 |
稽核表 | 所选Hive库下该用户有权限的Hive表名。 |
稽核字段 | 所选Hive表中的该用户有权限的字段。 |
限制条件 | 对稽核数据的限制,如对业务日期,省份等设置。填写语法相当于是sql中where后的语句。 |
数据格式检核 | |
规则名称 | 稽核规则的业务名称。 |
规则描述 | 稽核规则的业务意义描述。 |
数据库类型 | Hive数据库。 |
数据源 | 所选数据库类型下该项目用户有权限的Hive数据资源名称。 |
稽核表数据库 | 该项目用户有权限的Hive库名。 |
稽核表 | 所选Hive库下该用户有权限的Hive表名。 |
格式类型 | 定义稽核数据的格式类型,包括手机号、身份证、邮箱或用户自定义。 |
格式内容 | 格式类型选择“自定义”时,用户需填写正则表达式定义数据格式。 |
稽核字段 | 所选Hive表中的该用户有权限的字段。 |
限制条件 | 对稽核数据的限制,如对业务日期,省份等设置。填写语法相当于是sql中where后的语句。 |
准确性检核 | |
规则名称 | 稽核规则的业务名称。 |
规则描述 | 稽核规则的业务意义描述。 |
数据库类型 | Hive数据库。 |
数据源 | 所选数据库类型下该项目用户有权限的Hive数据资源名称。 |
稽核表数据库 | 该项目用户有权限的Hive库名。 |
稽核表 | 所选Hive库下该用户有权限的Hive表名。 |
稽核字段 | 所选Hive表中的该用户有权限的字段。 |
判断方法 | 判断数据准确性的方法,包括维度和阈值。 |
运算符 | 当判断方法选择维度时,需判断数据与判断条件的关系。包括 “IN”和“=”。 “IN”:稽核字段的维度取值集合包含于用户填写的维度集合中;“=”:稽核字段的维度取值集合和用户填写的维度集合相等。 |
内容 | 当判断方法选择维度时,需给出维度集合内容。 |
阈值类型 | 选择“值”或“范围”,选择“值”,下方选项为阈值;选择“范围”,下方选项为“区间”。 |
阈值/区间 | 稽核数据的取值/范围。 |
限制条件 | 对稽核数据的限制,如对业务日期,省份等设置。填写语法相当于是sql中where后的语句。 |
逻辑性检核 | |
规则名称 | 稽核规则的业务名称。 |
规则描述 | 稽核规则的业务意义描述。 |
数据库类型 | Hive数据库。 |
数据源 | 所选数据库类型下该项目用户有权限的Hive数据资源名称。 |
稽核表数据库 | 该项目用户有权限的Hive库名。 |
稽核表 | 所选Hive库下该用户有权限的Hive表名。 |
稽核表达式 | 一个或多个字段的运算表达式,例如:column1+column2>column3 |
限制条件 | 对稽核数据的限制,如对业务日期,省份等设置。填写语法相当于是sql中where后的语句。 |
波动检核 | |
规则名称 | 稽核规则的业务名称。 |
规则描述 | 稽核规则的业务意义描述。 |
数据库类型 | Hive数据库。 |
数据源 | 所选数据库类型下该项目用户有权限的Hive数据资源名称。 |
稽核表数据库 | 该项目用户有权限的Hive库名。 |
稽核表 | 所选Hive库下该用户有权限的Hive表名。 |
波动类型 | 定义校验记录数或字段数据值得波动情况,包括记录数和字段数据值。 |
稽核字段 | 当波动类型选择“字段数据值”选项时,需给出稽核字段。 包括两部分:计算方法和稽核字段。 计算方法为对所选字段进行算数运算,包括 “sum”、“avg”、“max” 、“min”。 稽核字段为所选Hive表中的该用户有权限的字段。 |
日期字段 | 稽核数据存储日期的字段。 |
业务日期 | 业务日期是对稽核表稽核数据日期的限制。格式与日期字段相对应,如${yyyymmdd}或者${yyyy},${mm},${dd}。具体日期值由工作流传参。 |
波动趋势 | 数据在一定时间范围内变化的趋势, 包括两部分:波动趋势和百分比。 波动趋势包括“绝对值”“上升”“下降”; 百分比指定义表记录数或字段数据值的波动范围。 |
对比周期 | 业务日期的稽核字段数据值与之前数据的对比时间。包括默 “对比上一天”、“对比上周同一天”、“对比最近七天平均”、“对比上月同一天”和“对比最近三十天平均”五种选项。 |
限制条件 | 对稽核数据的限制,如对业务日期,省份等设置。填写语法相当于是sql中where后的语句。 |
新增多表稽核规则
图 新增多表稽核规则
图 新增多表稽核规则配置界面
相关参数说明:
字段 | 说明 |
一致性检核 | |
规则名称 | 稽核规则的业务名称。 |
规则描述 | 稽核规则的业务意义描述。 |
数据库类型 | Hive数据库。 |
数据源 | 所选数据库类型下该项目用户有权限的Hive数据资源名称。 |
稽核表数据库 | 该项目用户有权限的Hive库名。 |
稽核表 | 所选Hive库下该用户有权限的Hive表名。 |
稽核字段 | 所选Hive表中的该用户有权限的字段。 |
限制条件 | 对稽核数据的限制,如对业务日期,省份等设置。填写语法相当于是sql中where后的语句。 |
数据库类型 | 与稽核表对比的数据所在的数据库类型,包括“Hive” 、“MySQL” 、“Oracle”。 |
数据源 | 根据选择的数据库类型不同,加载出配置中心配置的该数据库类型的所有资源名称。 |
参照表数据库 | 数据库类型选择“Hive”时,选择该项目用户有权限的Hive库名。 |
参照表 | 所选Hive库/MySQL数据源/ Oracle数据源下该用户有权限的Hive/MySQL/Oracle表名。 |
参照字段 | 所选Hive/MySQL/Oracle表中的该用户有权限的字段。 |
限制条件 | 对稽核数据的限制,如对业务日期,省份等设置。填写语法相当于是sql中where后的语句。 |
逻辑性检核 | |
规则名称 | 稽核规则的业务名称。 |
规则描述 | 稽核规则的业务意义描述。 |
数据库类型 | Hive数据库。 |
数据源 | 所选数据库类型下该项目用户有权限的Hive数据资源名称。 |
稽核表数据库 | 该项目用户有权限的Hive库名。 |
稽核表 | 所选Hive库下该用户有权限的Hive表名。 |
稽核表别名 | Hive稽核表名的简称,方便sql语句编写及查询。 |
稽核表达式 | 一个或多个字段的运算表达式,例如:money1+money2-(money3+money4) |
关联条件 | 与参照表条件相同,有关联的字段,如相同的city-id,类似sql里join后的条件。 |
限制条件 | 对稽核数据的限制,如对业务日期,省份等设置。填写语法相当于是sql中where后的语句。 |
关系运算符 | 稽核表与参照表数据值比较的运算符,包括“=”、“>” 、“<” 、“≥”、“≤”、“≠”、“IN”。 |
参照表数据库 | 该项目用户有权限的Hive库名。 |
参照表 | 所选Hive库下该用户有权限的Hive表名。 |
参照表别名 | Hive参照表名的简称,方便sql语句编写及查询。 |
参照表表达式 | 一个或多个字段的运算表达式,例如:t2.column1+t2.column2 |
关联条件 | 与稽核表条件相同,有关联的字段,如相同的city-id,类似sql里join后的条件。 |
限制条件 | 对稽核数据的限制,如对业务日期,省份等设置。填写语法相当于是sql中where后的语句。 |