ThinkChat🤖让你学习和工作更高效,注册即送10W Token,即刻开启你的AI之旅 广告
## 2018/8/13 Version 2.0 ### 新功能点 #### 1、显示与修改目的地字段类型、长度、精度和Not Null &支持增减字段 详情见:[创建数据同步—配置规则](pzgz.md) ①数据源表结构: * 数据源为SQL类型数据库 * 显示数据源表名称、字段名称、字段类型、长度、精度、Not Null、主键 * 数据源为文件系统 * 显示字段名称。 ②数据目的地表结构: * 数据目的地类型:SQL类型数据库、或Redshift * 显示目的地表名称、字段名称、字段类型、长度、精度、Not Null 、主键 * 数据目的地类型:文件系统 * 显示目的地文件名、字段名称 * 数据目的地类型:kafka * 显示:Topic名称、字段名称、字段类型 * 支持修改目的地字段类型(包括主键) * 支持修改长度、精度、Not Null * 支持修改主键,目的地可设置多个主键。 * 支持删除目的地字段 * 支持新增目的地字段 ③关于自增_id需求变化 * 当数据源表没有主键字段,或数据源为文件系统: * 目的地为SQL类型(MySQL、Oracle、SQL Server、Redshift),目的地表结构首行默认添加_id字段作为主键,_id作为主键可去重目的地重复数据。 * 支持用户编辑和修改_id作为主键的功能,用户可选择其他的字段作为主键。 ![](https://img.kancloud.cn/3b/9f/3b9f4d5e1d20b0d2544a2266d1e64cd5_2880x1800.png =360x) #### 2、数据源变化后表结构更新 详情见:[管理数据同步—配置规则](yun-wei-guan-li/shu-ju-ren-wu-xiang-qing-ye/pei-zhi-gui-ze.md) ①数据源删除正在同步的表 * Table list界面该表显示为划线状态 ,并标注已删除 ![](https://img.kancloud.cn/c2/d5/c2d5494441d311977947474e83dc3486_2500x990.png =360x) * 任务激活前,修改目的地字段表结构更新 * 任务激活前,用户已删除该字段的同步。 * 连接线要求被断开 * 目的地字段区域为空 * 字段要求被忽略 * UI与字段正常同步无区别,只是【同步】列按钮设置为关闭 ②同步的表字段被删除 * Table list界面发生变化的表名后面标注已变更, * 数据源表对应字段显示为划线状态,并标注已删除 ![](https://img.kancloud.cn/0a/ee/0aee57d2dde9616f4961dd874003fd82_2482x924.png =360x) * 若用户选择传空值或暂停数据任务 * 数据源字段标记为已删除,其他UI无变化。 * 若用户选择删除目的地字段 * 数据源字段标记为已删除 * 连接线断开 * 目的地字段区域为空。 ③同步的表发现新增字段 * Table list界面发生变化的表名后面标注已变更 * 数据源表对应字段在后方提示为新增状态 ![](https://img.kancloud.cn/f6/6c/f66c592d618b5174c1b532223d29dd37_2466x674.png =360x) * 若用户选择继续同步该字段。 * 数据源字段标记【新增】提示 * 连接线连接数据源和目的地 * 若用户选择【忽略新增字段】 * 数据源字段标记【新增】提示 * 连接线断开 * 目的地字段区域为空。 #### 3、产品激活码到期提醒 DataPipeline会以邮件的形式通知用户产品即将到期的信息,以方便用户及时更换激活码,避免任务被暂停。 ![](https://img.kancloud.cn/ff/d6/ffd6aabd2be5974af2e4ac8cd460a2de_2000x936.png =360x) * 到期10天/7天/3天前10点钟向用户发送邮件,通知用户及时申请新的激活码。 ### 优化功能点: #### 1、元数据管理-总览列表-新增搜索功能 * 搜索范围:数据源名称、用户名或Schema、表名称、视图名称 ![](https://img.kancloud.cn/e4/eb/e4eb39da578871326bd381e34b194e3a_1439x1100.png =360x) #### 2、文件系统数据源迭代 ①数据源为文件系统-CSV格式(静态表结构) * 新增输入表结构区域 * 支持用户输入表头名称,多个用英文逗号分隔 ![](https://img.kancloud.cn/92/1b/921b5bd3b90d11538084a59c342b757b_2880x2304.png =360x) ②当数据源为文件系统-本地时 * 目录一项:显示其根目录(比如默认是:/data/则直接根据后端配置显示出来)。 * 支持用户输入相对路径,允许为空 ![](https://img.kancloud.cn/83/72/8372f86d90a78646855a1a95404bb4f4_1286x1204.png =360x) #### 3、选表界面优化 1、用户选择表和视图,增加提示文案:已勾选表xxx项,视图xxx项。 ![](https://img.kancloud.cn/4a/76/4a7693bacd21f7d127a60d97e6dfee28_1440x900.png =360x) #### 4、数据字典修改为元数据管理 ![](https://img.kancloud.cn/0a/88/0a883f26aeb1d786feb128a4f86d2047_2648x802.png =360x) #### 5、数据源变化文案修改 ①、同步的表字段被删除 * 继续同步,该字段传空值修改为继续同步,目的地该字段传空值 (默认) * 删除目的地该字段,并继续同步修改为继续同步,目的地该字段被删除 ②、同步的表发现新增字段 * 忽略新增字段,按原始表结构同步修改为继续同步新增字段(默认) * 按照新的表结构进行同步修改为忽略新增字段 ③、已同步的数据在数据源被删除 * 忽略,不对数据目的地数据进行删除操作修改为忽略,数据目的地数据保留(默认)