ThinkChat🤖让你学习和工作更高效,注册即送10W Token,即刻开启你的AI之旅 广告
### Q:DataPipeline有多少独立的服务?各容器的作用是什么? A:DataPipeline各容器及其作用如下: | 容器 | 作用 | | --- | --- | | zookeeper | 存储Kafka配置。 | | kafka | 需要同步的数据源所有数据存到kafka。 | | schema_registry | 数据序列化和反序列化组件。 | | dp-thrall-mysql | webservice所有的业务数据库。 | | dp-thrall-redis | webservice和datasystem需要的缓存;webservice的任务,数据源、目的地等数据;logminer读到的oracle的在线或归档日志。 | | dp-thrall-es | 元数据搜索索引。| | dp-thrall-webservice | 所有数据源、目的地,任务信息、schame等信息。| | sourcedp | 读取数据源数据写入到kafka消息队列中。| | sinkdp | 消费kafka中消息队列写入到目的地数据库,读数据,清洗,写入。| | manager | 管理任务,获取数据样例。| | dashboard | Nginx代理的前端。|