多应用+插件架构,代码干净,二开方便,首家独创一键云编译技术,文档视频完善,免费商用码云13.8K 广告
## 读取设置 :-: ![](https://img.kancloud.cn/d4/13/d413163c5287be75d021252000f31ebf_1916x999.png =480x) * 读取设置界面主要包括同步列表、传输队列设置以及设置读取条件等三个方面的内容。 ### 同步列表 * 读取列表显示该任务需要读取的表,点击任一表名称右侧显示该表的表结构。 * 提供搜索功能,主要支持搜索表名称。 * 点击「编辑」,可重新选择读取对象。 * 提供「批量设置」功能,包括:批量移除读取对象,批量设置执行语句。具体可见:[批量功能](批量功能.md) ### 传输队列设置 :-: ![](https://img.kancloud.cn/f6/29/f629b9faf3b8d520c19567f16d3b0c06_995x442.png =480x) * 各个数据源的传输队列设置均一致。 * 传输队列最大缓存值 * 任务开始读取数据后,单个任务默认缓存10GB数据(读写数据量差),用户可自定义。 * 读写数据量差达到10GB(最大缓存值时),根据先进先出的原则,旧数据将会被回收。 * 当任务数据读写速率失衡,读写数据量差大于10GB(最大缓存值)时,将会出现部分数据被回收,未能成功写入数据目的地的情况。 <br/> * 传输队列回收时间 * 任务开始读取数据后,但个任务默认缓存3天数据,用户可自定义。 * 缓存数据达到回收时间,旧数据将会被回收。 * 当任务数据读写速率失衡,超过回收时间的数据尚未被写入到目的地,将会出现部分数据被回收,未能成功写入数据目的地的情况。 <br/> * 数据任务动态限速 * 开启后该数据任务读写数据量差达到「最大缓存值」,任务将会暂停数据读取工作。当实际缓存数据量小于「最大缓存值」时会重新开始读取数据。 * 可根据用户情况自定义「检查频率」 ***任务设置中的传输对列和单表中的传输队列同时设置时,系统会优先采用单表级别的传输队列设置信息**。* ### 设置读取条件 由于根据数据源类型,读取条件的设置不同,请点击具体的数据源类型查看如何设置: * [SQL类型数据源读取设置](数据源为SQL类型.md) * [Hive数据源读取设置](Hive数据源读取设置.md)