💎一站式轻松地调用各大LLM模型接口,支持GPT4、智谱、星火、月之暗面及文生图 广告
### Q:分布式架构指的是什么样的框架? A:DataPipeline底层是基于Kafka Connect框架的。提供了集群化部署、容错恢复、任务动态负载均衡等机制。为了降低Kafka Connect任务Rebalance的影响,DataPipeline进一步封装了任务内部的线程池以提高单任务并行度。