企业🤖AI Agent构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
## 2019/5/16 Version 2.5 ### 新功能点 #### 新增任务流 详情见: [创建-任务流](shujurenwumokuai/ren-wu-liu.md) 「数据任务模块」中,除「数据同步」、「文件同步」外新增「任务流」功能模块。 一、新增「任务流」入口 企业用户需要把多个任务串联在一起,实现各个任务之间的依赖关系,当上游任务完成同步时可自动开启下游任务,实现数据同步的批流一体化。目前支持的组件任务有数据任务、远程命令执行、延时器等。 创建「任务流」能带给用户的核心功能有: 1. 支持同时连接多个任务来实现任务之间的调度。 2. 支持调度的组件任务包括数据任务、组件任务、延时器。 3. 支持设置统一的开始时间,定时去调度整个任务流。 4. 支持设置用户权限。 5. 支持可视化的界面方便用户查看每个组建任务的执行情况。 6. 支持查看任务的执行日志,快速高效地定位问题。 **1.在首页,点击「新建任务流」。** :-: ![](https://img.kancloud.cn/68/79/6879131f43ba48146d129f1fcf8b3eee_1438x900.png =480x) **2.设置「任务流」名称、描述。** :-: ![](https://img.kancloud.cn/37/ee/37eeaebf176cecbb0fe6160a433cf6f4_2782x1506.png =480x) **3.进入任务流配置界面,进行任务流配置。** :-: ![](https://box.kancloud.cn/f5d027b4e81cccb994a4e658c8aff02d_1913x957.png =480x) * 配置面板 * 设置开始任务组件 * 设置数据任务组件 * 设置远程命令执行组件 * 设置延时器 * 设置任务之间的依赖关系 * 权限设置 **4.激活任务流。** * 点击任务流开关,可立即开启整个任务流。 `注:要求所有的组件任务必须是完善状态,否则任务流无法激活。` :-: ![](https://img.kancloud.cn/bd/1f/bd1f7a4fa600147cb9cf1d736990c3ba_2782x1590.png =480x) #### 新增HDFS数据目的地 详情见:[HDFS数据目的地](chapter1/shu-ju-mu-de-di/HDFS.md) 点击「新建数据目的地」,选择「HDFS数据目的地」进行新建操作: :-: ![](https://img.kancloud.cn/c0/ed/c0edf43cd3d31912bc7cf4d29ead785d_1228x914.png =480x) * 数据目的地名称 * HDFS配置 * 点击上传配置文件按钮会出现弹框需要用户选择上传的文件,支持上传XML格式的配置文件。 * 写入目录 * 输入文件的写入目录 * 用户名 * 输入可访问该数据目的地的用户名 * 写入格式 * PARQUET、AVRO、LZO、CSV * 选择CSV要求用户设置分隔符 * 逗号 * 水平制表 * 自定义 * 成功连接后将会自动打开该数据目的地的详情页。 :-: ![](https://img.kancloud.cn/c7/48/c748ee3b13527134f3b7f52b0ae23964_1244x748.png =480x) ### 优化功能点 #### Hive数据目的地 详情见:[Hive数据目的地](chapter1/shu-ju-mu-de-di/Hive.md) * Hive目的地写入格式增加loz :-: ![](https://img.kancloud.cn/dc/1e/dc1e2ee919aa90b45195dec8a0b55d2f_2778x1600.png =480x) #### Hive & HDFS认证方式 详情见:[系统设置](xtsz.md) * 注意: 1. 系统只允许支持一个认证方式和认证信息。 2. 当用户使用Kerberos认证后,修改Kerberos认证信息或者切换为其他类型认证方式时,要求删除所有数据目的地为HDFS(或者Hive)的同步任务,并重启服务(否则,新建的HDFS(或Hive)目的地将无法使用。 * 提供三个选项:无、LDAP、Kerberos :-: ![](https://img.kancloud.cn/d8/a8/d8a873ca6cd2661db7aaef2f6c12eca9_2766x1142.png =480x)