🔥码云GVP开源项目 12k star Uniapp+ElementUI 功能强大 支持多语言、二开方便! 广告
### Q:Redshift并发数设置是50,DataPipeline对100个表并发插入的方案?对Redshift性能的影响?DataPipeline对大数据量并发插入Redshift的处理方式? A: 1. DataPipeline会根据Redshift的最优的性能来设置Redshift的并发数,没有一个固定值50个并发同时写就是最优的写入方案。 2. 我们可以进行100张表的并发写入,单高并发对DataPipeline服务器内存、磁盘有很大的消耗,根据测试环境配置并发数量。 3. DataPipeline是通过Redshift 客户端写入到Redshift,大量并发的情况下会影响性能,所以在测试时需要根据源端、目的地端配置及性能对写入并发进行设置。 4. DataPipeline先将数据写成文件,当文件到一定size的时候load到Redshift。