多应用+插件架构,代码干净,二开方便,首家独创一键云编译技术,文档视频完善,免费商用码云13.8K 广告
### Q :请简述产品支持的目标端冲突数据处理机制? A: 对于SQL类型的数据目的地,有主键情况下,DataPipeline提供了覆盖机制,根据主键进行插入或覆盖。如果用户希望保留历史数据,DataPipeline也支持增加DML列(Insert、Update、Delete)不断追加数据。文件类型、Kafka、Hive目的地,数据是不断追加的,DataPipeline同样可以将DML类型(Insert、Update、Delete)作为额外列写入,便于下游进行业务去重。