企业🤖AI智能体构建引擎,智能编排和调试,一键部署,支持知识库和私有化部署方案 广告
### Q: 目前进行数据任务的时候,读取速率远大于写入速率,其中,已读取且还未写入的数据会暂时存储在Kafka上,但是由于Kafka存储空间有限,超出后容易造成数据的丢失,这怎么办? * 目前2.6版本支持用户开启动态限速功能来定时检查kafka的最大存储空间,通过设置一个时间间隔来确认已读取且还未写入的数据量是否大于设定的Kafka的最大存储空间,从而判断是否需要暂停数据的读取。直到下一次确认,已读取且还未写入的数据量小于设定的Kafka的最大存储空间,则启动数据任务的剩下数据读取。