[TOC] ## 2018/8/3 Version 1.9.6 ### 新功能点 #### 1、新增TIDB 详情见：[TIDB数据目的地](chapter1/shu-ju-mu-de-di/TIDB.md) 点击「新建数据目的地」，选择「TIDB」进行新建操作：  #### 2、新增Greenplum 详情见：[Greenplum数据目的地](chapter1/shu-ju-mu-de-di/Greenplum.md) 点击「新建数据目的地」，选择「Greenplum」进行新建操作：  ### 优化功能点 #### 1、数据源权限优化 * 最新策略：DataPipeline会逐步校验DB、Schema、table是否有select和view change tracking/logminer/wal2json或decoderbufs（PostgreSQL）权限，如果没有此权限则无法支持CDC方式读取增量数据（实时同步）。 例如， 当部分表未开启Change Tracking时要求： 1、显示该表名称 2、要求置灰，无法勾选 3、鼠标移动到该表名称区域，要求提示：未开启Change Tracking ## 2018/7/12 Version 1.9.5 ### 新功能点 #### 1、新增复制任务功能 详情见：[管理数据同步-数据任务详情页-基本信息](yun-wei-guan-li/shu-ju-ren-wu-xiang-qing-ye/ji-ben-xin-xi.md) ①.打开数据任务详情页后，点击任务名称右侧复制按钮后复制一个该任务。  ②.不论原任务何种状态，复制后的任务均为未激活或去完善的状态，允许用户点击编辑，修改任务名，配置信息等 ③.复制的数据任务创建人和时间以实际操作者和操作时间为准 ④.不复制任务概览信息、消息记录和错误队列等任务运行后相关记录 #### 2、 文件系统远程-数据源、目的地支持本地和远程读取写入 * 配置文件系统数据源 * 若选择Log4j格式的数据源，操作如下。  * 文件位置：支持本地和FTP协议两种。 * 若选择CSV格式的数据源，操作如下。  * 文件位置：支持本地和FTP协议两种。 * 配置文件系统数据目的地 点击「新建数据目的地」，选择「文件系统」进行新建操作： :-:  * 文件位置：支持本地和FTP协议两种。 ### 优化功能点 #### 1、目的地表结构显示目的地实际字段类型 ①.当数据源为：MySQL、SQL Server、Oracle、PostgreSQL时：目的地Redshift、Oracle、SQL Server、MySQL要求按照数据目的地真实的字段类型进行展现。  ②.当目的地为文件系统（HDFS、CSV、Kafka）时，目的地的字段类型显示为String。  ③.当数据源和目的地数据库类型为同一个：要求字段类型（包括长度和精度）保持一致。  #### 2、错误队列操作记录 详情见：[管理数据同步—数据任务详情页—错误队列](yun-wei-guan-li/shu-ju-ren-wu-xiang-qing-ye/cuo-wu-dui-lie.md) :-:  * 用户点击导出后， * 消息列表提示：“xxxxx导出了错误队列的数据。” * 若失败，则在通知中心和消息列表中告知用户：“该项操作失败，请重试。” * 点击重试后， * 消息列表提示：“用户重试了错误队列的数据传输。” * 若失败，则在通知中心和消息列表中告知用户：“该项操作失败，请重试” * 点击忽略后， * 消息列表提示：“用户忽略了错误队列的数据。” * 若失败，则在通知中心和消息列表中告知用户：“该项操作失败，请重试。” #### 3、前端轮询逻辑优化 * 要求错误队列概览的数字和下方全选的数字一致 * 前端轮询保持和现在一致 #### 4、 文件系统远程-数据源、目的地支持本地和远程读取写入 #### 5、 Drop Table模式改为delete或truncate * sink 1. 将数据从kafka中先写入一张临时表table_abc_tmp 2. 将临时表的数据复制到目的地表，insert into table_abc select * from table_abc_tmp ## 2018/6/29 Version 1.9.0 ### 新功能点： #### 1、新增数据字典功能 详情见：[元数据管理](shu-ju-zi-dian.md) ①用户可以在数据字典查找所有已创建的数据源详情。 ②用户可查看各个数据源下的表和字段的技术元数据。 ③用户可查看每张表的数据样例。 * 用户可以通过筛选功能搜索查询数据源/表/视图。 :-:  * 用户可以点击查看总览，查看所有的数据源以及数据源下的表和视图技术元数据。 :-:  * 用户可以在搜索结果页通过筛选功能，筛选数据源类型和创建人来查询数据源/表/视图。 :-:  :-:  * 支持用户点击任意搜索结果查看数据源/表/视图详情。 :-:  #### 2、SQL类型数据view展现与同步。 * 用户在同步内容时，增加视图的展现与同步，页面展现tables和views。 * 当用户选择SQL类型的数据源，并且在读取数据方式上选择增量识别字段时，用户可查看和选择所需视图。  * 当用户选择SQL类型的数据源，并且在读取数据方式上选择CDC时，用户可以查看视图名称但无法勾选。  ### 优化功能点： #### 1、 SQL Server的数据源和数据目的地自定义Schema。 * 用户在创建SQL Server数据源时可以自定义Schema。  * 用户自定义Schema，可以输入多个Schema，用英文逗号分隔。 * SQL Server数据源显示Schema目录设置情况  * 用户在创建SQL Server目的地时可以自定义Schema。 * 用户自定义Schema，只允许输入一个Schema。 ## 2018/6/8 Version 1.8.6 #### 1、SQL Server数据目的地 详情见：[SQL Server数据目的地](chapter1/shu-ju-mu-de-di/SQLServer.md) * 用户可新建SQL Server数据库作为数据目的地。 * 所有的数据源可同步数据到SQL Server数据目的地。 * 暂不支持高级功能-数据源变化部分（无法与设置数据源变化时的目的地操作行为，下个版本会支持）。 * 目前仅支持同步到SQL Server的默认Schema：dbo（下个版本可支持自定义Schema） #### 2、优化文件系统数据源 * 文件系统的同步任务将视为全量数据的同步。 * 当系统扫描发现新增文件时会同步到数据目的地。 * 当系统扫描发现已同步文件的修改时间发生变化时，会重新同步到数据目的地，并覆盖旧文件。 ## 2018/5/24 Version 1.8.5 #### 1、增加高级清洗功能 详情见：[新建数据同步—配置规则—清洗脚本](pzgz/qxjb.md) * 在配置规则界面，允许用户开启高级清洗功能;  * 支持用户输入或粘贴清洗逻辑，查看样例数据，并可以对清洗逻辑进行试运行；  * Couchbase 暂不支持高级清洗。 #### 2、新增PostgreSQL数据源 详情见：[PostgreSQL数据源](chapter1/shu-ju-yuan/pei-zhi-postgresql.md) * 支持wal2json、decoderbufs插件实时读取模式； * 支持增量识别字段定时读取模式。  #### 3、优化消息记录 * 现在每次发起操作请求时，就会记录该条信息进入消息列表； * 若该操作失败，将在消息列表提示用户操作失败； * 任务的错误信息将尽可能提供详细信息例如具体发生错误的数据表信息等。 #### 4、CSV数据目的地优化 * 现在将显示数据写入路径，例：`/data/任务ID/user/`。  #### 5、支持设置读取条件 * 用户在配置规则页面，可以针对每个数据表设置读取条件； * 设置后任务将有条件性的读取数据。  #### 6、优化首页加载速度 * 现在首页将优先展示基本信息，异步加载进度信息；  #### 7、 新增数据源变化设置 * 在任务设置-高级设置中，用户可对数据源变化做出详细的配置； * 数据源变化包括有： * 数据源删除正在同步的表； * 同步的表字段被删除； * 同步的表发现新增字段； * 已同步的数据在数据源被删除。 * 当数据源发生相应变化时，数据任务将按照用户的设置暂停或继续同步任务。  #### 8、界面文案等细节优化 * 最新更新时间显示位置移到最右侧； * HDFS数据目的地的目录提示文案优化； * 数据任务主页底部增加了当前版本信息； * 「Schema」一词根据实际应用场景替换为更加精确的表述; * 数据任务概览页面，最近同步时间位置优化； * 文件系统取消增量数据概念。 ## 2018/4/16 Version 1.8.0 #### 1、优化任务创建流程 * 增加任务名称限制长度； * 新建 MySQL、Oracle、SQL Server 数据源优化： * 现在新建时除验证数据源连接以外还将检验数据源版本、权限等信息； * 数据源详情将对应展示数据源的版本、权限信息以及支持的读取模式； * 点击数据源详情页的重新连接，系统将重新按照配置内容重新连接数据源检测各个信息。  #### 2、增加任务设置流程： * 参与人设置： * 参与人能够浏览、编辑该任务，并受到该任务相关通知； * 增量数据读取模式设置（ 支持 MySQL、Oracle、SQL Server 数据源）； * 数据读取、写入设置，包含： * 读取并发数、读取速率限制； * 写入并发数、写入速率限制。 * 高级设置： * 错误队列设置： 支持设置错误队列预处理行数，错误率阈值等； * 邮件设置：支持勾选需要邮件通知的信息。  * 增加同名表检测 * 选择完同步表后，将实时检测表名称是否符合目的地表名称要求； * 若存在同名表将会提示用户「目的地已存在同名的表」；  * 目的地为Kafka的任务，将检验目的地是否已经存在的Topic名称，若不存在将提示「Topic名称不存在」  #### 3、数据任务详情页增加任务设置Tab #### 4、支持用户随时对任务设置进行修改。 * 邮件通知界面优化，优化阅读体验  #### 5、 优化数据表更新逻辑 * 减少创建任务流程中的等待时间； * 尽可能保证用户看到实时的数据表结构。 * 优化数据任务搜索功能 * 提供多个标签项，允许用户点击标签项后再进行关键词搜索，提高搜索效率。  #### 6、 优化错误通知 * 部分错误信息提供查看原始error code的入口； * 在通知中心、消息列表或错误提示内点击查看详情即可查看错误具体信息。  #### 7、优化数据源表结构用户名前缀 * 部分支持多用户名的数据源，在选表界面能够更加清晰地查看到各用户的数据表； * 增加提示，提高用户名与表名的区分度。  #### 8、优化错误队列时间选择 * 单独设置开始和结束时间； * 优化输入体验。 ## 2018/3/23 Version 1.7.8 #### 1、搜索功能支持输入正则表达式。 * 选择同步表页面，用户可根据JavaScript正则表达式搜索相同命名规则的表，提高选表效率  #### 2、优化数据任务详情页统计数据准确性 #### 3、修复数据任务同步过程中出现的异常问题 ## 2018/3/16 Version 1.7.7 #### 1、MySQL、Oracle、SQL Server 为源的数据任务支持表和字段名称修改 * 在任务创建过程时： * 支持对目的地表名称的自定义修改； * 支持对目的地表的字段名称的自定义修改； * 通过展开、收起源 Schema 快速查看数据源表和目的地表的映射关系。 * 此功能可以帮助用户把多个表结构一样的表同步到目的地同名的表，只需用户把几个表名称同样的表设置同一个目的地表名称即可（默认为数据源的表名称）。  * 数据任务详情页也同步支持查看数据源和目的地的映射关系。  #### 2、 数据任务详情页优化 * 优化原有的数据任务详情页样式，丰富内容，提供更多与任务相关的图表、速率等信息； * 数据同步量分为全量数据和增量数据进行统计； * 提供读取速率、写入速率、已完成数据量等数据信息； * 允许用户对概览页的数据单位进行切换； * 提供新增数据量和同步速率的数据图表，可视化呈现任务同步状态； * 通知消息直接呈现于概览页面，快速查看关于本任务的最新消息记录； * 数据任务详情页的错误通知窗口不再显示，错误通知等消息均消息列表中查看，报错信息增加技术支持按钮，点击后可以对该条错误申请技术支持； * 各数据表提供更多的速率和同步信息，方便用户对于单表进度的观察。  #### 3、数据任务主页优化 * 数据任务列表的错误通知窗口不再显示，所有的错误通知消息均可在通知中心或数据任务的消息列表中查看。 * 数据任务卡片中任务的状态UI更新，采用和数据任务详情页一致的统计状态。  #### 4、 错误队列处理新增重试功能 * 支持对错误内容进行单条或批量重试操作； * 重试操作将重新尝试向目的地传输保存在错误队列中的数据。  ## 2018/3/2 Version 1.7.6 #### 1、增强增量识别字段勾选的提示 * 定时模式的任务将在Schema列表明显位置提示用户选择增量字段； * 若对所有Schema选择增量识别字段，保存时将会再次提醒用户。  #### 2、 支持选表过滤配置文件 * 支持自定义编写配置文件对数据源的数据表进行白名单过滤。配置成功后，用户选择对应数据源时，只会显示过滤后的数据表，提高选表效率。 #### 3、 优化速度进度性能 * 现在能够更加准确的显示任务的实际读取速率。 #### 4、修复bug * 修复logminer 在数据被更新后立即删除下不能正确同步的问题。 * 优化任务停止重启时候的报错机制。 * 修复在系统压力巨大的情况下会丢失数据的问题。 * 修复了 Oracle 不能正确找到小写表名表的问。 ## 2018/1/28 Version 1.7.5 #### 1、无主键表同步的支持 * 现在支持选择无主键的数据表并进行同步，增加了数据同步的使用场景。 #### 2、任务调度系统优化，支持更多表的同时同步 * 支持单任务上百张表进行同时同步，优化调度避免任务崩溃的情况出现。 #### 3、提供配置说明和同步规则 * 新建数据源/目的地和选择同步Schema时，会在页面提供详细的规则说明，协助更好地理解并使用平台。 #### 4、修复bug * 修复Oracle的Interval类型映射问题并取消sink的drop column逻辑。 * 修复Oracle数据源表不存在会报错，并不断重启的问题。 * 修复CSV-CSV同步时速率较慢的问题。 ## 2018/1/24 Version 1.7.4 #### 1、支持联合主键 * 现已支持同步由2个或2个以上的字段组成主键的数据表。 保证数据目的地的数据表主键结构和数据源结构一致。 #### 2、优化任务状态的获取 * 所有状态的任务现在都会不断轮询最新状态，严格保证数据任务在平台界面展示的状态和实际后端运行状态一致。 #### 3、优化Oracle写入速度 * Oracle sink 端的临时表与主表，调整为 nologging 模式，并且在应用程序代码所调用的 SQL 中指定了并行追加的执行计划，提升 sink 端数据库服务器的 CPU 使用率，提高了50%的写入速度。 #### 4、优化表结构更新 * 数据源表结构发生变化后，平台在更新表结构时，将检查表是否存在主键，不存在主键的表能被正确显示（无法选择，提示用户该表不存在主键）。 #### 5、修复bug * 修复 Oracle Logminer 不能正常同步数字的问题。 * 修复 SQL Server 不能正确处理数据源删除事件的问题。 * 修复 Oracle 数据源 Raw 类型字段作为主键无法同步的问题。 * 修复 Mysql 数据源 仅有主键的表无法同步到 Oracle 并进入错误队列的问题。 * 修复任务无法正确删除，删除超时后自动重启报「读取数据任务配置失败」的问题。 * 修复删除任务未清空对应任务的错误队列的问题。 * 修复数据任务无法正常显示操作记录的问题。 ## 2018/1/5 Version 1.7.3 #### 1、 FTP数据源（远程文件系统） * 支持远程文件系统为数据源，定时同步文件数据。 * 支持动态Schema的文件传输。以每个文件的首行作为表头作为Schema进行传输，可支持每个文件的表结构不同的情况。 #### 2、 产品优化 * 增加错误队列类型，帮助用户更快的定位进入错误队列的原因。 * binary double类型主键的Oracle数据源，同步到Mysql的sink会报出「主键类型长度过长」的问题。 * Oracle数据源的长度精度识别问题。 * 优化部分任务速率不准确的问题。 * 新建任务点击下一步后的检验链接过程中不允许进行任意操作。 * 优化错误通知「主键类型过长」的问题。 ## 2017/12/20 Version 1.7.2 #### 1、 新增通知中心 * 现在有了统一的入口用于浏览所有的错误通知和其他消息。 * 优化错误通知的浏览方式，为数据任务列表页添加其他信息流出空间。 * 用户可以在通知中心快速切换所有通知与未读通知，并将他们标记已读或清除。 * 点击错误通知可以前往对应的数据任务页面查看具体信息。  #### 2、 新增错误队列预警功能 * 当数据任务的错误队列不为空且到达一定数量时，会第一时间在通知中心提醒用户任务存在错误队列，让用户快速了解数据任务的错误情况。 * 根据设定的不同阈值，错误队列的错误率达到对应值时会对数据任务采取不同的预警方式，包括对任务的暂停等，防止过多错误的产生。 * 任务采取预处理机制，保证错误率的平均度，同时保证低数据量的任务的正常运行。 * 错误队列数量达到上限时，系统会暂停产生错误的任务，防止平台溢出崩溃。 #### 3、新增错误队列处理功能 * 支持在错误队列页面查看错误内容来源、错误产生原因等错误内容的详细信息。 * 提供错误队列的基本处理功能，目前提供了对错误内容的导出和忽略。 * 支持对错误内容的单选、多选、全选并进行批量操作。 * 丰富筛选功能，提供对表、错误类型、时间段的筛选及关键词搜索。  #### 4、Couchbase支持输入Bucket密码 * 在Couchbase为数据源的数据任务编辑过程中，支持输入Couchbase的Bucket密码让平台能够成功读取数据。  #### 5、修复bug * 修复logminer读取模式下间隔报错的问题。 * 修复点击技术支持会不断报错的问题。 * 修复消息记录无法加载更多的问题。 * 选择完数据源和目的地点击下一步的过程中不再能够对现有内容进行更改防止误操作。 #### 6、优化了空场景的提示文案 * 数据任务没有错误内容时现在会正确显示：“错误队列为空”。 * 通知中心没有未读通知是现在能正确提示：“无未读通知”。 * 错误队列中无效信息删除优化。 ## 2017/12/4 Version 1.7.1 #### 1、 Oracle数据源采用LogMiner技术 * LogMiner是Oracle数据库提供的一个工具，它用于分析重做日志和归档日志所记载的事务操作。 * 现在您在新建Oracle数据源时，读取模式选择为实时处理时，将采用LogMiner技术对数据源进行读取操作。  * LogMiner部署轻便、调试简单，且该工具完全免费。 ## 2017/11/20 Version 1.7.0 #### 1、新增Couchbase数据源  #### 2、 新增Kafka数据目的地  #### 3、优化数据任务对数据库的连接性能 * 使用了hikari连接池限制了同时与同一个数据库的最多连接数。 * 以此避免同步每张表都建立一个新的连接。 #### 4、优化同时同步大量表的处理能力。 * 支持用少量固定线程同时同步三百张表。 * 一个数据任务可勾选三百个以上的表作为数据读取对象。 ## 2017/11/13 Version 1.6.9 #### 1、优化了编辑中任务被激活后的操作逻辑： * 当该数据任务已被激活，当您再次修改SCHEMA配置点击保存时，将在右上角提示“SCHEMA所属数据任务已激活，无法编辑。”  * 若您未修改schema配置，点击保存后则会直接进入数据任务详情页，并展示数据任务当前的实际进度。 </br> #### 2、优化了提示文案，现在您可以更直观的看到操作对应的提示内容： * 包含数据任务、数据源/目的地的提示文案都统一了格式。  </br> #### 3、完成了csv数据源的压力测试和多样性测试。 ## 2017/10/31 Version 1.6.8 #### 1、CSV为数据源的数据任务流程优化 * 用户在使用同一个类型为CSV的数据任务时，可选择历史相关数据任务的Schema，无需重新设置目的地Schema。 * 在目的地配置页面中，点击【导入Schema】，立即弹窗显示历史数据任务中使用同一个数据源的信息。 * 用户可根据数据任务名称、Schema名称、数据任务创建时间选择需要的Schema。 * 支持导入JSON类型文件来设置数据任务的目的地Schema。  #### 2.优化：数据任务删除功能 * 当用户二次确认删除数据任务后，系统会后台处理删除请求。 * 系统完成删除任务后，会在页面右上方提示用户删除成功与否。 * 用户可继续操作其他任务，不需要在当前页面等待数据任务删除请求。 ## 2017/10/24 Version 1.6.7 #### 1、优化：空场景UI * 错误队列Tab和消息列表Tab数据为空，以及SQL类型数据库未选择表时的场景UI进行优化，界面更加简洁清晰。  #### 2、优化：空表处理 * 现在空表能够正确地显示进行状态，并且处理增量数据。 </br> #### 3、优化：分隔符 * 分隔符现提供常见的逗号和水平制表作为选项方便快速选择，同时也支持自定义输入， * 规范输入规则，为含空格字符串提供特殊说明避免歧义。  #### 4、修复Bug ## 2017/10/13 Version 1.6.6 #### 1、优化：同步表勾选页面优化 * 不存在主键的表将无法勾选，鼠标移动到勾选区域将提示：该表不存在主键。  #### 2、新增搜索功能 * 点击搜索按钮，输入关键字进行搜索，系统根据关键字筛选表名称 * 用户可在搜索结果列表中，勾选对应的表。  #### 3、优化：任务状态的设计与交互细节 * 统一了任务各个状态时的视觉细节，使得整体更加统一。   #### 4、优化：错误提示 * 现在的错误提示将更加正确地反馈错误内容。 </br> #### 5、修复Bug ## 2017/09/20 Version 1.6.5 #### 1、优化：schema配置错误提醒 #### 2、新增：schema配置的规则限制 #### 3、修复Bug ## **2017/09/08 Version 1.6.1** #### 1、新增错误队列功能 * 可收集数据任务执行过程中所有数据相关错误，并提供给用户查看。 * 显示总错队列，并支持分表查询错误队列。 * 每个错误包括：Schema名称、错误类型、收集时间、原始数据 * 支持用户自定义时间段查询错误队列  ## **2017/08/24 Version 1.6.0** #### 1、新增数据目的地：AWS RDS * DataPipeline新增了一个数据目的地，用户可以把数据源数据同步到数据目的地AWS RDS; #### 2、修复Bug ## 2017/08/17 Version 1.5.5 #### 1、新增功能：允许用户删除已创建的数据源和数据目的地的 * 用户可在新建任务第一步，数据源和数据任务列表中点击【详情】，便可找到目标删除入口。  * 当目标被其他数据任务使用时用户点击“删除”按钮，会提示：其他数据任务证咋使用该数据源，无法删除。用户需要删除所有与该目标相关的数据任务，才可以删除。  #### 2、数据源和数据目的地Schema独立 * 从本版本开始，每个数据源在被同时多个数据任务使用时，系统会根据目的地创建独立的数据目的地Schema，每个数据任务可拥有唯一的Schema。简而言之，一个数据源可在不同的数据任务里按照不同的Schema结构同步数据到目的地。 ## **2017/07/28 Version 1.5.0** #### 1、新增数据目的地：CSV、Oracle、S3 * DataPipeline新增了三个数据目的地，用户可以把数据源数据同步到数据目的地S3、Oracle，还有CSV ![](https://datapipeline.kf5.com/attachments/download/3829268/001597eaa1a01ae201b7a1cccf7e381/?filename=image.png "image.png" =360x) #### 2、支持删除数据源与数据目的地 #### 3、修复数据任务创建流程中的交互优化 #### 4、修复Bug ## **2017/07/03 Version 1.4.0** #### 1、新增：输入激活码功能 * DataPipeline用户可以数据激活码的方式延长产品使用期限，不需要DataPipeline工程师重新部署产品或更新产品版本。 ![](https://datapipeline.kf5.com/attachments/download/3708742/0015959aa45cb8a9e7d424ffb90fe42/?filename=image.png "image.png" =360x) #### 2、优化：DataPipeline用户界面细节 * 更新产品新logo到DataPipeline * 搭配新logo，调整产品主色调 * 优化错误通知处理方式，让用户更方便地处理每个数据任务的错误通知 ![](https://datapipeline.kf5.com/attachments/download/3709019/0015959b371f17bf2e98c437dcd92ea/?filename=image.png "image.png" =360x) ## **2017/06/16 Version 1.3.5** #### 1、新增：消息列表 * 数据任务增加【消息列表】功能，可在数据任务详情页【消息列表】Tab下找到。 * 可查看每个数据任务发生事件，包括：激活、暂停、重启、错误通知、错误通知操作。 * 每个消息显示：操作人、信息详情、发生时间。 ![](https://datapipeline.kf5.com/attachments/download/3647020/00159438ab90d2a9aba9add915eb587/?filename=image.png "image.png" =360x) ## **2017/06/09 Version 1.3.0** #### 1、新增：用户权限2.0 * 管理员可添加小组，并划分用户到各个小组。 * 用户只能浏览、编辑同一个小组用户创建的数据任务、数据源、数据目的地。 * 用户无法浏览其他小组用户创建的任务信息。 * 只有数据任务创建者与管理员可以删除数据任务。 * 删除小组，该小组下的用户会自动移到公共组。 ![](https://datapipeline.kf5.com/attachments/download/3619816/001593a3f26108e49486fb00586a01c/?filename=image.png "image.png" =360x) ## **2017/06/06 Version 1.2.0** #### 1、最新版本着重解决了DataPipeline的交互问题，包括： * 数据任务列表的错误通知样式、任务卡片提示信息与按钮样式。 * 优化新建数据任务第一步提示功能：当有问题时，用户更加清楚地了解到是哪一块需要修改。 * 在Schema设置页面，用户可浏览相关数据源与数据目的地详情。 * 在Schema设置页面，字段详情列表改为平铺交互方式，减少了用户手动设置Schema的成本。 * 优化数据任务详情页交互方式，把更重要的数据任务状态、速率等信息放在更重要的位置。 ## **2017/05/31 Version 1.1.5** #### 1、新增：数据目的地Kafka * 用户可以建立数据任务把数据源数据同步到Kafka数据目的地。 #### 2、新增：数据目的地TiDB * 用户可以建立数据任务把数据源数据同步到TiDB数据目的地。 #### 3、优化：数据任务连接错误处理方式 * 当数据任务连接数据源或数据目的地时连接失败，除了系统自动发出错误通知，系统会不断尝试重新连接数据源或数据目的地。连接成功后，会发出恢复连接的通知。 ## **2017/05/11 Version 1.1.2** #### 1、优化：DataPipeline错误信息用户体验 * 在配置数据源、数据目的地，管理数据任务时用更易懂的错误信息提升用户体验。 * 优化了错误信息和操作反馈信息的展现方式，让用户更好的理解当前任务情况。 #### 2、优化：MySQL数据源到数据目的地的同步数据稳定性与速率** * 减少MySQL数据源任务异常情况发生概率。 * 提升MySQL数据源到HDFS、Redshift、Infobright等数据目的地同步速率。 ## **2017/05/02 Version 1.1.1** #### 1、新增：DataPipeline试用版 * DataPipeline部署到试用企业的产品是试用版本，有效期为14天，客户需要在14天内试用DataPipeline并提出使用问题或试用问题。 ## **2017/04/21 Version 1.1.0** #### 1、新增：错误通知【技术支持】按钮 * 用户收到错误通知后，若无法自己处理可点击错误通知中的【技术支持】按钮，系统会自动将错误详情发送给DataPipeline 工程师帮助用户解决问题。 #### 2、优化：任务状态 * 任务状态更加准确的反映了当前任务执行状态，并且支持系统发现任务有错误信息时，用户可以自己操作暂停或重启。 #### 3、优化：任务速率和进度 * DataPipeline支持同步数据源的全量数据（历史数据）和增量数据（实时数据），系统会实时提供当前任务同步速率。 * 任务在同步全量数据时，每个Schema的同步状态会显示剩余完成时间（指全量数据）。 * 任务在同步增量数据时，每个Schema的同步状态会显示当前正在同步的增量数据的产出时间。 ## **2017/04/11 Version 1.0.8** #### 1、新增：SQL-Server数据源 * DataPipeline用户可以添加SQL-Server数据源。支持把SQL-Server数据库全量数据和增量数据实时 同步到数据目的地（Redshift、HDFS、 Infobright）。 ![](https://datapipeline.kf5.com/attachments/download/3432658/00158f4613ead73407345b89a62ef37/?filename=blob.png "blob.png" =360x) #### 2、优化Redshift数据目的地配置 * 用户配置Redshift数据目的地时，可以设置Schema来指定数据存放的位置。在配置过程中，我们会默认把数据同步到Public公共区，用户也可以根据自己的需求指定Schema。 ![](https://datapipeline.kf5.com/attachments/download/3432650/00158f460e97e661463ecbd7c2c51a1/?filename=blob.png "blob.png" =360x) ## **2017/04/11 Version 1.0.7** #### 1、新增：Oracle数据源 * DataPipeline用户可以添加Oracle数据源。支持把Oracle数据库全量数据和增量数据实时 同步到数据目的地（Redshift、HDFS、 Infobright）。 ![](https://datapipeline.kf5.com/attachments/download/3406281/00158eaf2eecdfd6556d8fefe7af313/?filename=blob.png "blob.png" =360x) #### 2、修复Bug * 提高数据任务的速率准确性。 ## **2017/03/30 Version 1.0.6** #### 1、新增：帮助中心 * 用户可以在页面右上方看到【帮助中心】入口，可以浏览DataPipeline的使用说明，并且可以提出问题或评论。 ![](https://datapipeline.kf5.com/attachments/download/3389479/00158e45e2a8f0b169678b072924e3e/?filename=blob.png "blob.png" =360x) #### 2、修复Bug * 数据任务列表、数据任务详情页、用户管理页面提示交互。 * 用户管理遗留的问题。 ## **2017/03/24 Version 1.0.5** #### 1、新增：用户管理功能 * 普通用户可向管理员申请添加账号后，可通过用户名或邮箱登录DataPipeline。 * 管理员可以赋予其他用户管理员权限或普通用户权限。 * 管理员可以对已创建账号进行冻结或解除冻结，避免无效账号登录DataPipeline。 * 数据任务详情页面中会显示数据任务、数据源、数据目的地的创建人的用户名，方便其他用户寻找负责人。 ![](https://datapipeline.kf5.com/attachments/download/3485079/0015909540a08192d2e5572f69a28da/?filename=blob.png "blob.png" =360x) ## **2017/03/20 Version 1.0.1** #### 1、新增：错误通知功能 * 系统发现每个数据任务出现数据错误、系统错误、安全问题等，会第一时间通过邮件通知相关人员，并且在首页显示错误通知信息。 用户可以点击查看详情后，针对错误信息进行操作。 ![](https://datapipeline.kf5.com/attachments/download/3485082/00159095428a705d77245afbb519407/?filename=blob.png "blob.png" =360x) ## **2017/03/15 Version 1.0.0** #### 1、新增：数据任务列表 * 用户可以看到全部数据任务，可直接看到每个任务的任务名称，相关数据源和数据目的地名称，当前状态。点击即可查看该任务详细信息。 ![](https://datapipeline.kf5.com/attachments/download/3340828/00158d0d55353af96bfa885546ed784/?filename=blob.png "blob.png" =360x) #### 2、新增：数据任务详情页 * 任务详情页中用户可看到该任务当前完成进度和详细的配置信息。 ![](https://datapipeline.kf5.com/attachments/download/3341332/00158d0e3fe6aed7f804138e9dfdf47/?filename=blob.png "blob.png" =360x) #### 3、优化：创建任务流程 * 分三步：1.选择数据源和数据目的地 2.设置Schema 3.激活数据任务。优化了创建流程用户体验，帮助用户更方便的管理数据任务。 #### 4、优化：创建数据源和数据目的地的方式 * 当用户在创建任务过程中没有所需的数据源或数据目的地，可以当前页面下添加数据源和数据目的地。此外，添加的数据源和数据目的地可以被重复使用。