💎一站式轻松地调用各大LLM模型接口,支持GPT4、智谱、星火、月之暗面及文生图 广告
### Q: 采用实时同步的情况,新建同步任务时,源端的数据表有大量的存量数据,如何通过产品实现数据同步的一致性的? * DataPipeline实时任务在读取存量的时候如果出现读取中断的情况,重启后系统会重新开始读取存量。对于增量的读取,当用户开启了读写事务的一致性,DataPipeline 从数据源读取增量数据后,系统定期记录读取的进度,数据对应的进度被成功记录了,才会被允许写入到目的地。当系统出现重启时,系统会按照真实的读取进度进行继续同步,从而目的地不会出现重复数据。