多应用+插件架构,代码干净,二开方便,首家独创一键云编译技术,文档视频完善,免费商用码云13.8K 广告
[TOC] # DataPipeline v2.6.5版本介绍 **2019年10月21日** Version 2.6.5包括以下新增功能和优化。 ***** ## **新增功能** #### **1. FTP支持主动连接模式** 详情见:[FTP数据源](chapter1/shu-ju-yuan/pei-zhi-ftp.md)、 [FTP数据目的地](chapter1/shu-ju-mu-de-di/FTP.md)、[FTP文件源](pei-zhi-FTP-wen-jian-yuan.md) 在使用FTP数据源、FTP数据目的地以及FTP文件源时,可以自由选择连接模式。在以前版本支持被动模式的基础上,本版本补充支持主动模式的选择,满足更多场景支持。 :-: ![](https://img.kancloud.cn/e9/58/e9583b29d7da446fbc4cb3c8a8da30ca_1440x1347.png =480x) #### **2.数据源支持实例级别** 详情见:[MySQL数据源](chapter1/shu-ju-yuan/pei-zhi-mysql-shu-ju-yuan.md)、[SQL Server数据源](chapter1/shu-ju-yuan/pei-zhi-sql-server.md)、[Hive数据源](chapter1/shu-ju-yuan/Hive.md) 在新建数据源时,数据库支持实例级别和单库(已支持),解决用户在访问一个实例下的多个数据库时避免多次创建数据源和数据任务的情况,节省用户的使用成本。 :-: ![](https://img.kancloud.cn/75/9e/759ed15e2f957423765eccb03c80584d_1222x1362.png =480x) #### **3.数据目的地写入并发数量全局设置** 详情见:[MySQL数据目的地](chapter1/shu-ju-mu-de-di/pei-zhi-aws-rds-shu-ju-mu-de-di.md)、[Oracle数据目的地](chapter1/shu-ju-mu-de-di/pei-zhi-oracle-shu-ju-mu-de-di.md)、[SQL Server数据目的地](chapter1/shu-ju-mu-de-di/SQLServer.md)、[Greenplum数据目的地](chapter1/shu-ju-mu-de-di/Greenplum.md)、[Redshift数据目的地](chapter1/shu-ju-mu-de-di/pei-zhi-redshift-shu-ju-mu-de-di.md)、[TIDB数据目的地](chapter1/shu-ju-mu-de-di/TIDB.md)、[AnalyticDB for PostgreSQL数据目的地](chapter1/shu-ju-mu-de-di/HybridDBforPostgreSQL.md) 在新建数据目的地时,可以设置目的地的全局并发数量。之前的版本中每个任务的写入并发数量都是独立的,本版本中支持全局并发数量的设置,可以解决所有数据任务共用最大并发数量的问题,提供写入并发数量的使用效率。 :-: ![](https://img.kancloud.cn/4c/13/4c133d1b65bb16adae96c628b7edfdb4_1222x1494.png =480x) #### **4.自定义数据源** 详情见:[自定义数据源](zidingyi.md) 目前支持多种关系型数据库、文件系统、数据仓库、消息队列以及API等数据源,在此基础上支持自定义数据源的功能,用户通过上传jar包的方式可以应对更多的使用场景。 :-: ![](https://img.kancloud.cn/ca/77/ca777cd713dbd19d243d50535c902ec2_1242x1354.png =480x) ## **优化功能** #### **1.Hive数据源读取分区设置** 详情见:[Hive数据源读取分区设置](Hive数据源读取设置.md) ##### Hive数据源同步到任意目的地,要求支持同步分区字段。 :-: ![](https://img.kancloud.cn/3c/4a/3c4a130336025b4b6586671b55da6a33_2770x1592.png =480x) ##### Hive数据源支持读取分区的设置 1、引用`max_partition()`函数,读取已同步分区中分区字段的最大值 2、支持动态分区的读取,如读取当前日期减一天的分区等动态变化的分区 3、以某一个日期分区作为读取条件,每次只读取大于某一个日期的分区数据。 :-: ![](https://img.kancloud.cn/a9/c7/a9c7a36de9010c5bb9b021608fe8d816_1974x1328.png =480x)