企业🤖AI Agent构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
## 2019/5/9 Version 2.4.5 ### 新功能点 #### 增加数据质量模块 详情见:[数据质量模块](shujuzhiliangmokuai.md) 「数据质量模块」是主要是针对「数据质量任务」相关的功能。目前提供三个功能模块。 一、增加数据质量任务入口 详情见:[创建-数据质量任务](shujuzhiliangmokuai/shujuzhiliangrenwu.md) 「数据质量任务」是针为监控数据的质量而创建的任务,用户可以选择静态数据源(可以是数据库、文件系统,或者一切数据来源)的数据作为检核的对象,从而帮助用户检测出不符合标准的数据。 * 创建「数据质量任务」的核心功能有: 1. 支持用户设置数据任务的度量规则 2. 支持用户设置度量规则的检核方法 3. 支持连接数据库、文件系统、消息队列、API等静态数据源作为检测对象。 4. 支持同时执行多个数据质量任务来完成数据质量的监控工作。 5. 支持定时或执行一次监控数据质量。 6. 有强大的运维数据监控系统。 二、增加数据度量规则入口 详情见:[数据度量规则](shujuzhiliangmokuai/shujuduliangguize.md) 「数据度量规则」是「数据质量任务」的一种重要规则,其主要作用在于监控「数据质量任务」中的数据是否符合相关的规则,其中「数据度量规则」主要依托于「检核方法」中所设置的「检核对象」以及「检核类型」等信息。 1. 支持用户设置「数据度量规则」的名称、描述、类型以及检核系统等信息。 2. 支持添加对应的「检核方法」。 三、增加数据检核方法入口 详情见:[数据检核方法](shujuzhiliangmokuai/shujujianhefangfa.md) 「数据检核方法」是监控「数据质量任务」的重要指标,其主要作用在于监控「数据质量任务」中的「检核对象」是否符合规则。 创建「检核方法」的核心功能有: 1. 支持选择该「检核方法」的度量规则。 2. 支持选择检核类型,包括准确性、一致性、完整性以及唯一性。 3. 支持连接数据库、文件系统、消息队列、API等静态数据源作为检测对象。 4. 支持选择需要检核的的字段。 5. 设置检核字段的规则。