# 基本信息 :-:  ### A. 数据任务名称 内容：数据任务名称、编辑按钮、删除按钮、复制按钮。 * 数据任务名称 * 是该数据任务在DataPipeline的唯一标识。 * 允许修改数据任务名称，但当数据任务激活后不可修改。 * 编辑按钮 * 点击后立即跳转到数据任务编辑页面，可修改数据任务的一切配置细项。 * 数据任务激活后，无法编辑数据任务。 * 删除按钮 * 用户确认删除数据任务后，无法恢复该数据任务。 * 数据任务激活后，用户需要暂停该数据任务后才能删除。 * 只允许创建人和管理员删除数据任务。 * 点击后页面会直接跳转到数据任务主页，系统会在后台对该任务进行删除。 * 期间用户可以在数据任务主页看到该任务的状态或者再次进入该任务的详情页。 * 当任务被完全删除后，系统会在平台右上角提示用户任务删除成功。 :-:  * 复制按钮 * 点击任务名称右侧复制按钮后复制一个该任务 * 复制任务后跳转到新任务的详情页，并在右侧提醒复制成功； * 若已存在“原任务名称_copy”，则复制后的名称后加数字，为“原任务名称_copy1，原任务名称_copy2”...依次类推 :-:  * 若复制后名称超过限制长度50个字符，则后缀“_copy”作为最后结尾字符 例如 复制名称为 “Maximxx...xxtest（50字符）”的数据任务，复制后的名称应为“Maximxx...x_copy(50字符)” :-:  * 数据源/目的地/任务设置/配置规则等均与原任务保持一致 * 其中复制的新任务的参与人第一位应该为操作复制者，其他参与人不复制，即：新任务参与人仅包括：新任务复制（创建）人 * 若复制时，部分原任务配置例如部分表已删除不可选择，或原任务读取模式已经无法使用等，则应弹窗提示用户。 :-:  * 不论原任务何种状态，复制后的任务均为未激活或去完善的状态，允许用户点击编辑，修改任务名，配置信息等 * 复制的数据任务创建人和时间以实际操作者和操作时间为准 * 不复制任务概览信息、消息记录和错误队列等任务运行后相关记录 * 回滚按钮 * SQL类型数据源实时模式作为增量数据的读取方式时，提供回滚机制 * 回滚功能依托于用户新建数据源时设置的打点频率和打点范围 * 打点频率决定了回滚的最小粒度。假设打点范围为一天，意味着只能从一天前的打点时间回滚；如果设置打点频率为一小时，系统就会每小时记录一个打点位置。 :-:  * 目前不支持单个表的回滚，只能回滚该任务下的所有表。 * 回滚时下游用户需要自己决定是否进行数据清理。DataPipeline是不会在回滚前去删掉下游的数据的。 * 同时，用户得保证自己缓存的日志最大范围。假设我们打了3天的点，但用户如果每天清除binlog的话也是无法追溯的。 * 激活状态下，设置回滚机制后，立即生效，开始数据回滚 * 暂停状态，编辑回滚机制后，点击重启开始生效 :-:  * 点击「回滚」，立即弹窗显示「回滚设置」 * 用户可以选择回滚的方式：有两个选项，一：按回滚时间（默认），二：按回滚位置 * 按回滚时间（默认） * 用户可点击日历按钮选择过去时间 :-:  * 选择完要回滚的时间后，展示后端返回的真实打点位置线，打点间隔根据用户设置的打点频率进行变动 * 默认直接定位到离该时间点最近的时间戳上，鼠标浮上下方展示出该时间戳，并且要求位置线下方展示出该时间戳的具体位置信息，每个数据源展示不同。 * 数据源为mysql            显示Binlog Postion、Binlog文件名称、GTID * 数据源为：Oracle       显示LogMiner scn * 数据源为：SQL Server        显示Change tracking version * 数据源为：PostgreSQL       显示lsn * 默认展示出附近十条打点位置 * 用户可以鼠标拖拽至自己想回滚的时间戳，下方时间戳具体位置信息根据用户选择随时变动，方便用户查看 :-:  * 按回滚的位置 * 用户选择按回滚位置进行回滚时，不同的数据源显示不同。 * 数据源为mysql * 显示Binlog Postion（必填）、Binlog文件名称（必填）、GTID（选填） * 数据源为：Oracle * 显示LogMiner scn（必填） * 数据源为：SQL Server *  显示Change tracking version（必填） * 数据源为：PostgreSQL * 显示lsn （必填） :-:  * 用户设置完毕后，可点击保存 * 点击「保存」后，任务将从用户指定的时间点开始重新同步该任务所有表的增量数据。 * 再次点击回滚按钮，要求弹窗显示和第一次回滚页面一致。 * 数据源未被任务占用时，允许修改打点频率和打点范围，修改后的数据源按照新设置进行打点。 * 每个数据源独立存在，当数据源配置信息一致时可设置不同的打点频率和打点范围。 ### B. 单位切换按钮 数据任务详情页默认的统计单位为：行。用户可根据需求切换为：MB。 ### C. 数据任务状态栏 内容：状态、操作按钮、数据源/目的地信息。 * 状态 * 目前数据任务状态有：去完善、未激活、进行中、已暂停、获取失败（还有一些过渡状态，如：启动中、暂停中、删除中等） * 未激活：指数据任务尚未被用户激活，此时用户可以修改数据任务配置细项。 * 进行中：数据任务已开始执行任务，用户可以通过操作按钮暂停，但不允许修改数据任务数据源和数据目的地。 * 已暂停：数据任务已被用户或系统暂停，用户可以点击“重启”要求系统继续执行数据任务。 * 获取失败：数据任务已开始执行任务，但由于网络等原因，数据暂时获取失败，等待任务自动恢复。 :-:  * 操作按钮 * 根据数据任务状态，自动显示所对应的按钮。 * 未激活 * 若该数据任务尚未完成激活所需要的设置，则会显示「去完善」按钮，用户点击后会立即跳转到数据任务编辑页面。 * 若该数据任务完成设置，则会显示「立即激活」按钮，用户点击后会开始执行数据任务。 * 进行中 * 会显示「暂停」按钮，用户点击后该数据任务会暂停所有数据同步工作。 * 已暂停 * 会显示「重启」按钮，用户点击后该数据任务会继续执行该数据任务。 * 获取失败 * 不显示额外的按钮，用户需要耐心等待系统自动恢复该任务。 * 用户暂停或重启数据任务不会发生数据丢失情况。 * 当数据任务同步工作发生异常情况，系统会自动暂停数据任务。 * 不建议频繁点击「暂停」「重启」，建议合理使用该功能。 * 数据源： * 显示该数据任务使用的数据源名称、图标显示数据源类型。 * 点击「详情」，可浏览该数据源的配置信息详情。 * 数据目的地： * 显示该数据任务使用的数据目的地名称、图标显示数据目的地类型。 * 点击「详情」，可浏览该数据目的地的配置信息详情。 ### D. 全量数据统计 * 全量数据统计是指用户点击「立即激活」前，数据源已存在的数据的同步情况。 * 全量数据统计按百分比显示同步情况。 * 完成百分比 = 已完成全量数据同步的表数量/该数据任务需要同步的表数量×100%。 * API、FTP、Kafka为源的任务，不显示增量信息，此处仅显示全量数据同步情况，进度条代表上次扫描时已完成的文件量/总文件量。 :-:  ### E. 增量数据统计 * 增量数据统计是指用户点击「立即激活」后，数据源新增数据的同步情况。 * 会存在三个状态：未完善（未激活）、进行中-未同步增量数据、进行中-已开始同步增量数据。 * 未完善（未激活） * 指任务未被激活。 * 文案显示：任务尚未激活。 * 进行中-未同步增量数据 * 指数据任务已被激活，但未读取增量数据。 * 文案显示：全量数据同步中。 * 进行中-已开始同步增量数据 * 当全量数据同步完毕，并发现增量数据。 * 文案显示： * 已同步：XX（数据量）。 * 最近同步时间：XXXXX（最后一次写入增量数据的时间）。 ### F. 读取速率 * 指DataPipeline从数据源读取数据的速率。 ### G. 处理速率 * 指DataPipeline处理数据的速率 * 最近同步时间： * 指最近一次数据写入目的地的时间。 ### H. 数据任务创建信息 内容：创建人、创建时间 * 创建人 * 显示该数据任务创建人名称 * 只允许创建人和管理员删除数据任务。 * 创建时间 * 显示该数据任务被创建的时间。 ## 常见问题 ### Q1：读取模式失效的，复制任务后任务以何种方式读取数据？ 原任务读取模式失效，复制后的任务采用任务设置的默认选择。 </br></br></br> * * * * * </br></br></br> ### Q2：数据表失效的，复制任务后的任务是否还同步失效的表？ 数据表选择失效的，复制后新任务不再选择失效表。