ThinkChat🤖让你学习和工作更高效,注册即送10W Token,即刻开启你的AI之旅 广告
### Q:FTP源的文件在不断写入的情况下,DataPipeline的读取与写入的模式是怎样的? A:数据源FTP的逻辑是边读边写,DataPipeline会按照用户设定的读取频率去读取文件内容,每次写完成后系统会从上次记录的最后一条继续读取。假设已经读过的文件发生了变化,则系统每次读会根据文件的修改时间读取增量,之前读过的数据将不会再读,FTP会先备份一个副本所以在读的时候数据发生了变化也不会有影响。