## 2018/11/30 Version 2.3 ### 新功能点 #### 1、新增数据源API 详情见：[API数据源](chapter1/shu-ju-yuan/pei-zhi-api.md) * 点击「新建数据源」，选择「API数据源」进行新建操作： :-:  * 数据源名称：是该数据源在DataPipeline的唯一标识 * 保存成功连接后将会自动打开该数据源的详情页 * 创建API数据任务，进入配置规则界面需要用户去添加API * 用户可以去设置API名称、URL、请求方式、API请求频率、参数设置等信息 * 选择完本次任务需要的API后，点击保存 * 同步列表显示对应的API名称 * 用户勾选了多少个API，同步列表显示对应个数的目的地表设置入口。 * 完成目的地表结构设置后，点击【保存】，然后激活任务即可开始执行API数据源到目的地的同步工作。 #### 2、支持修改和删除数据源和目的地 详情见：[数据任务模块—数据源](chapter1/shu-ju-yuan.md) * 数据源和数据目的地详情页添加编辑按钮 * 允许用户去修改数据源和目的地配置信息，但仅限于未被任务占用的数据源和目的地，否则无法进行编辑和删除 * 修改成功后，数据源和目的地详情页会显示出最新的信息  * 元数据管理-数据源详情页同样支持数据源的编辑和删除，逻辑与修改数据源和目的地保持一致  #### 3、元数据管理数据源和表支持手动刷新 详情见：[元数据管理](shu-ju-zi-dian.md) * 元数据管理所有数据源的表结构采取定时每天更新一次的策略，定时刷新之余，用户可以手动刷新出数据源和表最新结构 * 数据源增加手动刷新功能，点击【刷新】按钮，要求刷新出最新的数据源信息、表或视图 list  * 表级别增加手动刷新功能，点击【刷新】要求展示出最新的表结构信息和视图信息（技术元数据、业务元数据、样例数据）  #### 4、数据源支持设置元数据管理开启或关闭 * 新建数据源时，用户可以设置开启或关闭该数据源的元数据管理功能 * 关闭后，用户无法在元数据管理页面查看和编辑该数据源信息 * 用户在元数据管理数据源详情页也可以设置开启或者关闭元数据管理  #### 5、元数据管理表级别增加tab评论区 详情见：[元数据管理](shu-ju-zi-dian.md) * 支持用户在评论区对表进行评论 * 自己其他人可以查看和回复评论，每条评论和回复都支持回复，允许多次回复。  * 当有人对表进行评论，要求给表负责人发送通知；当有人对评论进行回复时，要求给表负责人和评论创建人发送通知；当有人对回复进行回复时，要求给表负责人、评论创建人和回复人发送通知。 #### 6、系统设置 详情见：[系统设置](xtsz.md) * DataPipeline顶部菜单添加【系统设置】Tab * 只允许管理员组可见，所有管理员的设置状态是同步的，要保证该服务器下的所有用户的系统设置是一致的。 * 支持用户系统设置数据任务、元数据管理 * 要求用户主动选择每个错误通知邮件是否包含错误栈信息。 * 要求用户主动去设置表结构刷新频率。   #### 7、目的地支持设置表和字段名称大小写 详情见：[创建数据同步—任务设置](rwsz.md) * 任务设置-目的地设置列增加设置表和字段名称大小写选项 * 支持用户根据需要设置目的地表和字段名称大小写 * 选择【自定义】，任务执行后，系统会根据用户自定义的表和字段名称写入到目的地。 * 选择【全部大写】，任务执行后，系统会将用户设置的所有表和字段名称转换为大写（只包含英文）后写入到目的地。 * 选择【全部小写】，任务执行后，系统会将用户设置的所有表和字段名称转换为小写（只包含英文）后写入到目的地。 * 本版本任务激活前和激活后均不支持修改 ### 优化功能点 详情见：[元数据管理](shu-ju-zi-dian.md) #### 1、元数据管理搜索功能支持字段搜索 详情见：[元数据管理](shu-ju-zi-dian.md) * 搜索关键词增加字段级别的搜索 * 搜索结果增加Tab，顺序为：数据源、表、视图、字段。 * 点击字段Tab，显示搜索结果内容为：字段名称、标签、别名、描述、表名称、数据源名称。 * 点击任意搜索结果字段，立即跳转到该字段所属的表信息详情页。  #### 2、Where语句自定义优化功能 * where语句任务级别隔离，where语句只服务于当前任务，用户若创建新的任务并同样使用了已在别的任务使用了where语句的数据源表，要求where语句区域为空，并支持设置不同的where语句。 #### 3、动态加减表优化 * 支持所有的SQL类型（MYSQL、SQL Server、Oracle、Postgre SQL）数据库都支持加减表，操作逻辑与mysql一致 #### 4、表重新同步需求优化 详情见：[管理数据同步—数据任务详情页—概览信息](yun-wei-guan-li/shu-ju-ren-wu-xiang-qing-ye/gai-lan-xin-xi.md) * 支持数据源为SQL类型（MYSQL、SQL Server、Oracle、Postgre SQL），任务详情页的表同步列表在增加一列：多选项，都支持重新同步表全量数据。 #### 5、S3和FTP数据源支持所有数据目的地同步任务 | 数据源类型<p style="width:120px"></p> | 数据源表结构类型<p style="width:110px"></p> | 可支持的数据目的地<p style="width:350px"></p> | | --- | --- | --- | --- | | S3 | 静态表结构 | MySQL、SQL Server、Oracle、TiDB、Greenplum、FTP、Kafka、Redshift、Hive | | S3 | 动态表结构 | Kafka、FTP、Hive（未开启hive）、Greenplum | | FTP | 静态表结构 | MySQL、SQL Server、Oracle、TiDB、Greenplum、FTP、Kafka、Redshift、Hive | | FTP | 动态表结构 | Kafka、FTP、Hive（未开启hive）、Greenplum | #### 6、Redshift数据目的地增加S3写入目录配置项 详情见：[Redshift数据目的地](chapter1/shu-ju-mu-de-di/pei-zhi-redshift-shu-ju-mu-de-di.md)