🔥码云GVP开源项目 12k star Uniapp+ElementUI 功能强大 支持多语言、二开方便! 广告
### Q:任务详情页中的数据读写量具体含义是?为什么有时候还会减少? * 已读取数据量是指数据任务被激活后系统从数据源读取的数据量: * 当数据任务由于断点续传机制重新读取已读取的数据时不会重新记录到已读取数据量中,只有该数据被更新时会算作新的数据来记录到已读取数据量中。 * 已写入数据量是指系统读取数据后已经被处理的数据量: * 所以已写入数据量不仅仅包括已同步到目的地的数据,还包括错误队列的数据和用户要求过滤的数据。已写入数据量也遵循当数据任务断点续传发生的重复写入数据不会记录到已写入数据量中。 * 读写数据量在某一段时间内会突然减少的原因是: * DataPipeline为了在传输过程中不丢失任何数据,若需要同步的表存在主键时可以支持断点续传。当数据任务由于突发情况导致重启时,数据任务会从上一个记录的读取数据点开始重新同步数据,此时已读写的数据统计值会回到上一个记录的读写点上,由此用户会看到统计值会减少的现象。 * 注意:当数据任务已读写统计值频发出现减少是DataPipeline同时进行读写的数据任务过多的信号,需要增加节点的方式解决。您如果经常遇到该情况,请联系DataPipeline专业工程师帮助您解决问题。