多应用+插件架构,代码干净,二开方便,首家独创一键云编译技术,文档视频完善,免费商用码云13.8K 广告
### Q: 目前进行数据任务的时候,读取速率远大于写入速率,其中,已读取且还未写入的数据会暂时存储在Kafka上,但是由于Kafka存储空间有限,超出后容易造成数据的丢失,这怎么办? * 目前2.6版本支持用户开启动态限速功能来定时检查kafka的最大存储空间,通过设置一个时间间隔来确认已读取且还未写入的数据量是否大于设定的Kafka的最大存储空间,从而判断是否需要暂停数据的读取。直到下一次确认,已读取且还未写入的数据量小于设定的Kafka的最大存储空间,则启动数据任务的剩下数据读取。