NIUCLOUD是一款SaaS管理后台框架多应用插件+云编译。上千名开发者、服务商正在积极拥抱开发者生态。欢迎开发者们免费入驻。一起助力发展! 广告
# 概览信息 :-: ![](https://box.kancloud.cn/085aed16b98fa9430d75e4ea1d8edc99_700x753.png) ### A. 已完成数据量 主要为用户数据显示该数据任务的数据同步情况。 内容:已读取数据量、已写入数据量、错误队列。 * 已读取数据量 * 指DataPipeline已从数据源读取的数据量。 * 当DataPipeline系统重启,会根据断点续传机制从上一次读取记录点开始重新读取数据,重复读取的数据量不会记录到已读取数据量里。 * 无主键的定时同步时全量替换数据,故每次定时读取全量数据,数据源没有更新的数据会再次读取。 * 已处理数据量 * 指DataPIpeline写入数据到数据目的地的数据量。 * 当DataPipeline系统重启,会根据断点续传机制从上一个读取记录点开始重新写入部分数据,但这部分数据不会记录到已写入数据量里。 * 已写入数据量是已写入目的地的数据量和错误队列数据量。 * 错误队列 * 指已读取的数据在写入目的地过程中发现无法写入到目的地的错误队列数据量。 > 注:处理流式数据的过程中,可能会不可避免地出现部分数据偏差,但已读取数据量和已处理数据量会逐渐增加并最终趋于接近。若您发现两个数据相差过大或出现长时间停滞或下降的异常情况,您可以尝试重启任务,进行问题排查,或联系我们进行Debug。 ### B. 数据量折线图 * 用折线图方式显示该数据任务的数据读取和处理情况。 * 显示内容为:读取数据量、处理数据量、错误队列数据量。 * 默认显示近24小时变化,支持用户查看近7天、近15天、近30天的数据图像。 ### C. 同步速率折线图 * 用折线图方式显示该数据任务各个时间点的数据读取和处理速率。 * 显示内容为:读取速率、处理速率。 * 默认显示近24小时变化,支持用户查看近7天、近15天、近30天的数据图像。 ### D. 同步表详情 * 该区域用户可查看该任务下各个表的同步详情。 * 内容:表名称、读写速率、读取量、处理量、错误队列,以及完成进度。 * 完成进度指该表的全量数据(指任务被激活前已在数据源的数据)的完成进度。 * 若数据任务正在同步全量数据,状态栏会显示全量数据预计完成时间(例:预计15分钟完成)。 * 若数据任务正在同步增量数据,状态栏会显示已完成的增量数据的产生时间(例:已同步 4分钟前的增量数据)。 * 当任务状态暂停时,对应的进度条颜色将变为黄色,同步状态变为已暂停。 * 速率可能不立刻变为0,此时已经暂停传输新的数据,系统会把已经进入传输队列尚待完成的数据传输完毕。 * 数据源为mysql、oracle、pg、sql server、API时,支持表排序功能 * 表名称/API名称、已读取数据、已处理数据、错误队列、完成进度提供排序功能 * 仅支持对一项列名进行排序,不支持多个同时排序 * 当数据源为SQL类型数据源时,任务详情页的表同步列表在增加一列:多选项 * 用户勾选一个或多个对象后,表头区域显示: * 已勾选个数。 * 点击表头的勾选项则视为全选。 * 要求显示用户已勾选多少项,文案为:已勾选XXX张表 * 表头右侧区域显示【重新同步】按钮(原有的表头要求被隐藏)。 * 当任务状态为:未完善、未激活、暂停、启动中、暂停中、删除中时不允许【重新同步】表,只允许在任务状态为【进行中】时可选择。 * 点击【重新同步】,要求弹窗二次确认 * 标题:重新同步 * 主文案:确认重新同步已勾选的表吗? * 副文案:系统将读取已勾选表的全量数据,重新同步到目的地中。 * 点击【确认】,则立即执行重新同步操作 * 操作成功,要求右上角显示:【重新同步】操作成功 * 操作失败,要求右上角显示:【重新同步】操作失败,请重试 * 重启成功后: * 数据任务会暂停增量数据同步任务,将会优先同步点击【重新同步】对应表的全量数据。 * 重新同步的对应表进度条变为0%(可能会有一定的延迟,系统需要把之前已读取的数据同步完毕后,开始同步全量数据)。 :-: ![](https://box.kancloud.cn/160afd10e889799632c0ca9a7da0a608_2704x684.png) ### E. 最新消息 * 显示该数据任务的所有消息通知,包括:操作信息、错误通知、错误队列预警、重新同步表信息、技术支持等。 * 点击「查看详情」,会跳转到消息列表查看该数据任务的历史所有操作信息,最新消息只显示最近10条左右信息。 **常见问题:** ### Q1:为什么部分表已读取已写入等都为0,但完成进度为100%? 这是由于这部分表为空表,已读取和已写入等数据反应了数据表真实情况。我们默认把空表视作已完成全量,若您的任务选择了同步增量数据,则后续有新增数据时,这些数据将会实时更新。 :-: ![](https://box.kancloud.cn/a23467c1abcbccf71c319154b6406514_2448x444.png)