企业🤖AI Agent构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
### Q:DataPipeline支持的目标端冲突数据处理机制是什么? A:对于SQL类型的数据目的地,有主键情况下,DataPipeline提供了覆盖机制,根据主键进行插入或覆盖。如果用户希望保留历史数据,DataPipeline也支持增加DML列(Insert、Update、Delete)不断追加数据。文件类型、Kafka、Hive目的地,数据是不断追加的,DataPipeline同样可以将DML类型(Insert、Update、Delete)作为额外列写入,便于下游进行业务去重。