🔥码云GVP开源项目 12k star Uniapp+ElementUI 功能强大 支持多语言、二开方便! 广告
### Q:DataPipeline的并发任务是线程还是进程? A:线程。源端一个任务是一个source task,用线程池做并发,目的端一个任务是多个独立的sink task,每个sink task是一个线程。运行环境支持分布式部署,根据需要起一个或者多个source worker和sink worker实例,每个实例是独立的jvm进程,运行在容器里。sink端用多个consumer提升消费性能,kafka connect本身提供了这种并行能力,所以就不需要自己做线程池了。source端如果做成独立的task,task之间的协调需要额外的通信,否则简单hash分配的话容易不均衡,所以是一个任务一个source task。 </br></br></br> * * * * * </br></br></br>