# **DataPipeline部署要求**
[toc]
## **一、部署环境要求**
<table>
<tr bgcolor="#CCCCCC">
<td colspan="2"><b>名称</b></td>
<td><b>要求</b></td>
<td><b>备注</b></td>
</tr>
<tr>
<td colspan="2">服务器数量</td>
<td>集群版3台或以上；单机版1台；</td>
<td>推荐集群版配置,单机版无法测试性能；</td>
</tr>
<tr>
<td rowspan="3">硬件配置</td>
<td>cpu</td>
<td>至少四核,推荐八核及以上；</td>
<td>无</td>
</tr>
<tr>
<td>内存</td>
<td>至少16G,推荐32G及以上；</td>
<td>无</td>
</tr>
<tr>
<td>硬盘</td>
<td>阿里云高性能云盘同等性能,容量200G及以上,建议使用SSD硬盘；</td>
<td>1.所需容量取决于拟测试的同步任务数据量。建议至少准备拟同步任务总数据量*2大小的数据盘；<br />
2.最好用空白硬盘单独挂在到服务器,单独为DataPipeline使用；<br />
3.文件系统为XFS的需要开启ftype,命令如下:mkfs.xfs -n ftype=1 /path/to/your/device（磁盘设备）；</td>
</tr>
<tr>
<td colspan="2">操作系统</td>
<td>CentOS 7.4 以上；<br />
RHEL 7.4以上；<br />
Ubuntu 16.04及以上；</td>
<td>必须要有yum源或apt-get源；</td>
</tr>
<tr>
<td colspan="2">网络/端口</td>
<td>1.部署服务器与数据源及数据目的地的特定端口可达（例如mysql的3306、sqlserver的1433）；
<br />2.Web服务器对用户访问终端IP开放80和5000端口；<br />
3.如是集群版,需保证集群服务器之间所有网络端口可达；</td>
<td>实际部署环境的可开放端口如有调整,请联系DataPipeline工程师修改产品配置文件,或根据实际端口调整网络安全策略；</td>
</tr>
</table>
<br /><br />
## **二、数据库配置要求**
### **1、数据源**
DataPipeline默认会全速进行同步,可能会造成源和目的地,尤其是目的地较大的压力。如果需要对源和目的地进行资源保护,请咨询DataPipeline技术人员修改部署脚本中的限速参数,使之符合业务环境的要求。
<br/> 关于数据源和数据目的地的基本配置要求详见下文。
<table>
<tr bgcolor="#CCCCCC">
<td><b>数据源类型</b></td>
<td><b>版本要求</b></td>
<td colspan="2"><b>用户权限要求</b></td>
<td colspan="2"><b>其他要求</b></td>
</tr>
<tr bgcolor="#EDEDED">
<td>MySQL（实时）</td>
<td>5.5 、 5.6 、 5.7 、8.0 版本的非只读数据库（当前只支持INNODB引擎，集群架构只支持MHA）</td>
<td colspan="2">相关视图和表的 select 权限,<br />replication slave,<br />replication client</td>
<td colspan="2">1.BINLOG修改为ROW模式:<br /> MYSQL BINLOG MODE = 'ROW'<br /> BINLOG_ROW_IMAGE = 'FULL'（此参数在mysql5.6及以上版本需要设置）
<br />2.BINlOG保留时间建议>=72小时
;<br />3.不支持只读从库;<br /><a href="../mysql-binlog-config.md">查看 BINLOG配置手册</a></td></td>
</tr>
<tr>
<td>MySQL（定时）</td>
<td>5.5 、 5.6 、 5.7 、8.0 版本（只支持INNODB引擎）</td>
<td colspan="2">相关视图和表的 select 权限</td>
<td colspan="2">要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号 （例:SequenceID）,更新时间戳 （例: UpdatedAt）</td>
</tr>
<tr bgcolor="#EDEDED">
<td>Oracle（实时）-Logminer</td>
<td>LOGMINER模式下支持 ORACLE 11.2.0.4单实例非只读数据库、12C的 NON CDB单实例非只读数据库；<br /></td>
<td colspan="2">select any transaction,<br />logmining,<br />execute on dbms_logmnr_d,<br />execute on dbms_logmnr,<br />execute on dbms_flashback, <br />create session,<br />resource,<br />select any dictionary,<br />flashck any table,<br />execute_catalog_role,<br />以及相关视图和表的select权限</td>
<td colspan="2">1、提供Oracle Logminer;<br />2、12c以下版本不需要logmining权限;<br />3、日志补全至少需要开启primary key、all、unique级别的日志级别;<br />4、Archive LOG保留时间建议>=72小时;<br />5、不支持Oracle只读实例;<br /><a href="../oracle-log-miner-config.md">查看 LOGMINER配置手册</a></td>
</tr>
<tr>
<td>Oracle（实时）-Agent</td>
<td>AGENT模式下支持 ORACLE 12c NON CDB单实例非只读数据库、ORACLE 11g单实例非只读数据库， ADG模式下，只支 持基于归档的解析(时延较大)；<br /></td>
<td colspan="2">alter database add supplemental log data;<br />alter database add supplemental log data(all,primary key,unique) columns;<br />create role FZS_role,<br />grant connect to FZS_role,<br />grant lock any table to FZS_role,<br />grant select any table to FZS_role,<br />grant select any dictionary to FZS_role,<br />grant alter system to FZS_role,<br />grant execute on dbms_flashback to FZS_role,<br />grant FZS_role to FZS,<br />grant select on v_$locked_object to FZS_role,<br />grant select on dba_objects to FZS_role,<br />grant select on v_$database to FZS_role<br /></td>
<td colspan="2">以上授权可在FZS配置页面上进行</td>
</tr>
<tr>
<td>Oracle（定时）</td>
<td>ORACLE 10G、11G、12C版本的 NON CDB数据库</td>
<td colspan="2">相关视图和表的 select 权限</td>
<td colspan="2"> 要求需要同步的表拥有增量识别字段,用于同步增量数据。<br />选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,<br />如:<br />更新序列号 （例:SequenceID）,更新时间戳 （例: UpdatedAt）</td>
<tr>
<tr bgcolor="#EDEDED">
<td>SQLServer（实时）</td>
<td>SQLSERVER 2008、2012、2014版本的单实例非只读数据库</td>
<td colspan="2">select on table;<br />view change tracking on table;<br />view change tracking on schema</td>
<td colspan="2">1、如果default schema为dbo,可以直接授权select和view change tracking权限:<br />grant select on schema::dbo to user；<br />grant view change tracking on schema::dbo to user;<br />2、如果主体模式不是dbo就需要按照表为单位进行view change tracking的授权,比如:<br />grant view change tracking on object::rpt.表名 to user;<br />3、SQLServer Change Tracking不支持只读数据库;<br /><a href="../sql-server-change-tracking-config.md">查看Change Tracking配置手册</a></td></td>
</tr>
<tr>
<td>SQLServer（定时）</td>
<td>SQLSERVER 2008、2012、2014版本</td>
<td colspan="2">select on schema</td>
<td colspan="2">要求需要同步的表拥有增量识别字段,用于同步增量数据。<br />选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号 （例:SequenceID）,更新时间戳 （例: UpdatedAt）</td>
</tr>
<tr bgcolor="#EDEDED">
<td>PostgreSQL（实时）</td>
<td>WAL2JSON:POSTGRESQL 9.4、9.5、9.6版本的单实例非只读数据库；<br />DECODERBUFS:POSTGRESQL 9.6版本的单实例非只读数据库;</td>
<td colspan="2">PostgreSQL replication角色、PostgreSQL login角色,需要同步的表的select/update权限;</td>
<td colspan="2">PostgreSQL-decoderbufs、PostgreSQL-wal2json两种插件满足实时同步,无法支持PostgreSQL RDS</td>
</tr>
<tr>
<td>PostgreSQL（定时）</td>
<td>POSTGRESQL 9.4、9.5、9.6版本</td>
<td colspan="2">相关视图和表的 select 权限</td>
<td colspan="2">要求需要同步的表拥有增量识别字段,用于同步增量数据;选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号 （例:SequenceID）,更新时间戳 （例: UpdatedAt）</td>
</tr>
<tr bgcolor="#EDEDED">
<td>FTP</td>
<td>无</td>
<td colspan="2">登录、访问和写入权限</td>
<td colspan="2">无</td>
</tr>
<tr>
<td>AWS S3</td>
<td>无</td>
<td colspan="2">相关视图和表的 select 权限</td>
<td colspan="2">无</td>
</tr>
<tr bgcolor="#EDEDED">
<td>API</td>
<td>无</td>
<td colspan="2">无</td>
<td colspan="2">无</td>
</tr>
<tr>
<td>Apache Kafka</td>
<td> 0.10.x、0.11.x、1.x.y、2.0.x、2.1.x、2.2.x; 0.9.x 只 支持JSON和String格式</td>
<td colspan="2">无</td>
<td colspan="2">无</td>
</tr>
<tr bgcolor="#EDEDED">
<td>Apache Hive</td>
<td> 1.x.y、2.x.y LDAP认证模式只适配1.2.y（支持的格式：PARQUET、CSV）</td>
<td colspan="2">需要hive home 目录的读写权限</td>
<td colspan="2">无</td>
</tr>
<tr>
<td>阿里云OSS</td>
<td>无</td>
<td colspan="2">无</td>
<td colspan="2">无</td>
</tr>
</table>
### **2、数据目的地**
<table>
<tr bgcolor="#CCCCCC">
<td><b>数据目的地类型</b></td>
<td><b>版本要求</b></td>
<td colspan="2"><b>用户权限要求</b></td>
<td colspan="2"><b>其他要求</b></td>
</tr>
<tr bgcolor="#EDEDED">
<td>Oracle</td>
<td>ORACLE 10G、11G、12C版本的NON CDB数据库；</td>
<td colspan="2">create session,<br />resource,<br />select on v$session</td>
<td colspan="2">授予SELECT ON V_$SESSION权限用于处理死锁导致的任务中断;</td>
</tr>
<tr>
<td>MySQL</td>
<td>MySQL 5.5 或5.6或5.7(只支持InnoDB引擎)</td>
<td colspan="2">select/create object/insert/update/delete</td>
<td colspan="2">无</td>
</tr>
<tr bgcolor="#EDEDED">
<td>SQLServer</td>
<td>SQLServer 2008、2012、2014版本</td>
<td colspan="2">insert/update/delete/alter/exec/create/references/select on schema/alter any connection</td>
<td colspan="2">授予ALTER ANY CONNECTION权限用于处理死锁导致的任务中断;</td>
</tr>
<tr>
<td>AWS RedShift</td>
<td>无</td>
<td colspan="2">无</td>
<td colspan="2">无</td>
</tr>
<tr bgcolor="#EDEDED">
<td>Apache Kafka</td>
<td> 0.8.x、0.9.x、0.10.x、0.11.x、1.x,y、2.0.x、 2.1.x、2.2.x</td>
<td colspan="2">无</td>
<td colspan="2">无</td>
</tr>
<tr>
<td>FTP</td>
<td>无</td>
<td colspan="2">登录、访问和写入权限</td>
<td colspan="2">无</td>
</tr>
<tr bgcolor="#EDEDED">
<td>Apache Hive</td>
<td> 1.x.y、2.x.y（支持的格式：PARQUET、CSV、LZO、ORC、AVRO）</td>
<td colspan="2">需要hive home 目录的读写权限;</td>
<td colspan="2">不同版本兼容情况未知,需要注意不同版本兼容问题; </td>
</tr>
<tr>
<td>GreenPlum</td>
<td> 4.x.y、5.x.y、6.x.y</td>
<td colspan="2">select/create object/insert/update/delete</td>
<td colspan="2">无</td>
</tr>
<tr bgcolor="#EDEDED">
<td>Aliyun AnalyticDB for PostgreSQL</td>
<td>HybridDB 4.3版本</td>
<td colspan="2">select/create object/insert/update/delete</td>
<td colspan="2">需要阿里云后台调整max_stack_depth>=4MB</td>
</tr>
<tr>
<td>TIDB</td>
<td> 2.x.y</td>
<td colspan="2">select/create object/insert/update/delete</td>
<td colspan="2">无</td>
</tr>
<tr bgcolor="#EDEDED">
<td>HBase</td>
<td> 2.1.x</td>
<td colspan="2">写入表的最大控制权限(包括读和写)</td>
<td colspan="2">无</td>
</tr>
<tr>
<td>HDFS</td>
<td> 2.6.x、2.7.x</td>
<td colspan="2">对应目录的读写权限</td>
<td colspan="2">无</td>
</tr>
</table>
**北京数见科技有限公司 | www.datapipeline.com**
<br/>
<br/>
<br/>
- DataPipeline产品手册
- 产品更新日志
- v2.7.0 版本介绍
- v2.6.5 版本介绍
- v2.6.0 版本介绍
- v2.5.5 版本介绍
- v2.5.0 版本介绍
- v2.4.5 版本介绍
- v2.4.1 版本介绍
- v2.4.0 版本介绍
- v2.3 版本介绍
- v2.2.5 版本介绍
- v2.2 版本介绍
- v2.1 版本介绍
- v2.0.5 版本介绍
- v2.0 版本介绍
- v2.0 以前版本介绍
- 环境和数据库的部署要求
- Mysql - BINLOG配置方法
- Oracle - LOGMINER配置方法
- SQL Server - Change Tracking配置方法
- Postgre SQL-decoderbufs配置方法
- Postgre SQL-wal2json配置方法
- 常见场景操作
- 场景一：实时同步异构数据库数据（例：MySQL到Oracle）
- 场景二：批量同步异构数据库数据（例：SQL Server到MySQL）
- 场景三：API数据同步到关系型数据库（例：API到MySQL）
- 场景四：Hive数据同步到关系型数据库（例：Hive到SQLServer）
- 场景五：关系型数据库数据同步到Hive（例：Oracle到Hive为例）
- 场景六：Kafka数据同步到关系型数据（例：Kafka到MySQL为例）
- 场景七：一对多场景介绍
- 产品入门
- 数据同步任务
- 创建数据同步
- 配置数据源&数据目的地
- 配置数据源
- 配置MySQL数据源
- 配置Oracle数据源
- 配置SQL Server数据源
- 配置PostgreSQL数据源
- 配置FTP数据源
- 配置S3数据源
- 配置API数据源
- 配置Kafka数据源
- 配置Hive数据源
- 配置阿里云 OSS数据源
- 配置腾讯云TDSQL数据源
- 配置自定义数据源
- 配置数据目的地
- 配置MySQL数据目的地
- 配置Oracle数据目的地
- 配置SQL Server数据目的地
- 配置Greenplum数据目的地
- 配置Redshift数据目的地
- 配置TIDB数据目的地
- 配置FTP数据目的地
- 配置HBase数据目的地
- 配置HDFS数据目的地
- 配置Hive数据目的地
- 配置AnalyticDB for PostgreSQL数据目的地
- 配置Kafka数据目的地
- 数据同步的任务设置
- 读取设置
- 数据源资源组设置
- 批量功能
- SQL类型数据源读取条件设置
- 分数据源读取设置
- MySQL读取设置
- Oracle读取设置
- SQLServer读取设置
- PostgreSQL读取设置
- FTP文件系统读取设置
- S3文件系统读取设置
- Hive读取设置
- Kafka读取设置
- 阿里云OSS读取设置
- API读取设置
- 腾讯云TDSQL读取设置
- Hive数据源读取分区设置
- 其他设置
- 错误队列设置
- 邮件通知设置
- 任务分组设置
- 写入设置
- 批量功能
- 设置清洗脚本
- 数据目的地资源组设置
- 数据目的地设置
- 子任务设置
- 数据源变化设置
- 写入端数据一致性
- 批量读取后，先写入到临时表，再转存到实际表
- 高级设置
- 子任务设置
- Hive分区设置
- Column family 设置
- 数据同步任务管理
- 数据任务监控
- 重要任务
- 故障任务
- 非激活状态
- 性能关注
- 数据任务分组
- 管理数据同步
- 复制功能
- 回滚功能
- 重新同步功能
- 错误队列
- 消息列表
- 文件同步任务
- 创建文件同步
- 配置文件源
- 配置S3文件源
- 配置FTP文件源
- 配置文件目的地
- 配置HDFS文件目的地
- 文件同步的任务设置
- 任务流
- 核心功能介绍
- 新建任务流
- 配置核心组件
- 配置开始任务组件
- 配置数据任务组件
- 配置远程命令执行组件
- 配置延时器组件
- 配置权限设置
- 激活任务流
- 元数据管理
- 查看总览
- 搜索页
- 详情页
- 系统设置
- 数据任务
- 元数据管理
- 用户管理
- 常见问题
- 部署要求
- Docker安装的集群部署方式?
- DataPipeline的并发任务是线程还是进程？
- 分布式架构指的是什么样的框架？
- 生产环境配置推荐及回答？
- DataPipeline的服务是统一管理还是私有化部署?若是私有化部署若要升级怎么操作?
- DataPipeline的Kafka如果与客户目前使用的Kafka版本不一样，是否需要适配？
- 请说明产品的HA和容灾方案 ？
- DataPipeline有多少独立的服务？各容器的作用是什么？
- 在从节点上装mysql，对单表导入1000万数据对任务有影响吗？
- 数据传输
- 数据源/数据目的地
- 基本要求
- 数据源或目的地可以重复使用吗？
- 数据源多个表是否可以写到目的地一张表？
- 数据源或目的地连接失败怎么办？
- 数据源
- MySQL
- DataPieline如何应对Mysql数据库表和字段名称大小写不敏感问题？
- DataPipeline Mysql数据源的实时处理模式下，暂时无法读取哪些字段类型？
- Mysql数据源实时处理模式下，暂不支持那些语句操作的同步？
- Oracle
- Oracle实时模式为LogMiner时，为什么还需要设置读取频率?
- SQL Server
- SQL Server数据源读取方式选择Change Tracking时需要注意什么？
- SQL Server实时模式为Change Tracking时，为什么还需要设置读取频率?
- PostgreSQL
- Hive
- Hive数据源支持哪些文件格式？
- Kafka
- FTP文件系统
- FTP数据源CSV静态表结构时，用户为什么需要确认首行是否为字段名称？
- FTP数据源静态表结构和动态表结构的区别是什么？
- FTP源的文件在不断写入的情况下，DataPipeline的读取与写入的模式是怎样的?
- FTP数据源支持哪些编码方式？
- S3文件系统
- 阿里云OSS文件系统
- API
- 腾讯云TDSQL
- 数据目的地
- MySQL目的地常见问题
- 时区问题需要注意什么？
- SQL Server目的地常见问题
- 行级的物理删除，使用Change Tracking的方式，是否获取的到?DataPipeline会如何处理这类的数据?
- 数据源实时模式是否可以同步视图?
- Oracle目的地常见问题
- TiDB目的地常见问题
- 目的地TIDB同步表时，需要注意什么？
- Redshift目的地常见问题
- Redshift 并发数设置是50,DataPipeline对100个表并发插入的方案？对Redshift 性能的影响？DataPipeline对大数据量并发插入Redshift 的处理方式？
- Hive目的地常见问题
- 如何避免Hive目的地出现小文件问题？
- DataPipeline同步数据到Hive目的地表时，数据源发生变化会怎么样？
- 我们目前对已做好Hive分区逻辑的目的地，是不是不支持继续往里写？只能写新表？
- 配置Hive目的地是需要注意哪些？
- Hive目的地时字段转换需要注意哪些问题？
- GreenPlum目的地常见问题
- Kafka目的地常见问题
- kafka目的地支持设置新的分区吗？
- 多个表结构不一致的表，可以同步至kafka的同一个topic吗？
- HDFS目的地常见问题
- FTP文件系统目的地常见问题
- 目的地FTP时，我们现在是按什么逻辑创建文件的?
- AnalyticDB for PostgreSQL目的地常见问题
- Hbase目的地常见问题
- 目的地常见问题
- 各个数据目的地的写入方式分别是采用什么形式?
- DataPipeline支持的数据库的目标端的连接方式是什么？
- DataPipeline支持的目标端冲突数据处理机制是什么？
- 任务设置
- 读取模式相关问题
- 任务设置中读取频率的实现原理是什么样的？
- 采用实时同步的情况，新建同步任务时，源端的数据表有大量的存量数据，如何通过产品实现数据同步的一致性的？
- 定时批量清目标表数据的逻辑是什么样的？
- 数据源端基于日志的实时模式，是源库推送还是我们做捕获？
- 关系型数据如MySQL，如果出现大量的数据修改，BinLog日志如何抓取，如何实现及时的消费？
- 读取与写入的速率限制是按照任务还是按照表？
- 我们的无侵入性是如何实现的？是完全无侵入性，还是侵入性很小？是否无侵入性就意味着源端服务器没有访问请求的压力，那目的端写入是否还存在压力？
- 动态限速的策略是什么？
- 读写一致性的逻辑是什么？
- v2.6版本增量的逻辑如何实现？
- 重新同步策略问题
- 如果任务激活后进行重新同步，目的地数据会清空吗？
- 读取设置
- 如何设置数据读取条件where语句？有哪些注意事项？
- 用户选择实时模式时，选表时发现有一些表置灰不能同步要想同步这些表该怎么办？
- 同步完成后暂停，取消表后又新加入此表，DataPipeline对于此表的处理策略是什么样的？
- 写入设置
- 表和字段问题
- 目的地表名称和字段名称最长字符长度有什么特定限制吗？以及表名称和字段名称的输入规则要求是什么？
- 同步数据到异构数据库，字段类型会有变化吗？
- 表结构中的精度和标度是什么意思？
- DataPipeline所支持的不同数据类型有哪些？kafka schema的数据类型和不同库间的数据库转换规则？
- 数据源端支持哪些字符集类型？
- Hive作为目的地表需要注意什么？
- Hive作为数据源且格式为parquet时需要注意什么？
- 如何新增一个字段？
- 主键相关问题
- 无主键的表的同步逻辑是怎样的？
- 选择增量识别为主键，如何保证源端和目标的数据一致性呢，如果该记录有修改，系统是怎么处理的？
- 数据目的地ODS有大量无主键表，同步时DataPipeline是如何处理的？
- 表结构变化问题
- 任务激活前后，数据源变化表结构变化有什么不同?
- 当数据源表结构更新时DataPipeline是如何处理的？
- 如果目的地端已经存在了数据库表，但表结构不相同，我们能否将数据写入到该表？
- DataPipeline是否支持将不同的数据表（在不同的数据库中，但是表结构一致，同时有主键和唯一性识别的字段），导入同一个目的端表？
- 管理数据同步
- 基本概念
- 错误通知是什么？
- 错误队列是什么？
- 哪些数据错误会进入错误队列？
- 请简述产品支持的目标端冲突数据处理机制？
- 错误队列里的原始数据是指源端读取的原始数据还是说经过清洗规则后的数据？
- 激活任务后，有哪些参数可以修改？
- 同步状态
- 部分表已读取已写入等都为0，但完成进度为100%？
- 任务详情页中的数据读写量具体含义是？为什么有时候还会减少？
- 如何去查看FTP源和FTP文件中的文件有没有同步完成？
- 数据任务激活后是不允许修改任何设置吗？
- 激活任务后，数据百分比为什么会往回条，如：从99% 跳到30%
- 同步逻辑
- 自动重启逻辑是怎样的？
- 目前数据同步的暂停重启策略是什么样的？暂停和重启后是如何读取和写入数据的？
- 目前进行数据任务的时候，读取速率远大于写入速率，其中，已读取且还未写入的数据会暂时存储在Kafka上，但是由于Kafka存储空间有限，超出后容易造成数据的丢失，这怎么办？
- 如果一条数据多次、频繁变化，在DataPipeline产品侧如何保证数据的并行和保序是如何保证的？
- 用户导入数据后，hdfs认证机制，数据哪些用户可以使用，用户数据安全如何确保？
- 请简述目标端性能可管理性（可提供的性能监控、分析、调优手段等）
- DataPipeline是否支持远程抽取数据？
- 如果一条数据多次、频繁变化，在DataPipeline产品侧如何保证数据的并行和保序是如何保证的？
- 产品到期问题
- 产品使用期限到期所有任务都会被暂停任务，那么如何提前获知产品使用期限是否到期以避免任务被暂停？
- 实际场景中，目的地服务器每周可能会有aws升级，需要暂停服务器，DataPipeline有没有对应的方案能够满足?
- 任务报错
- redis连接异常任务暂停了怎么办？
- 文件传输
- FTP文件源同步整个文件时是如何同步的？
- 任务流
- 如何使用远程命令执行脚本来调取另外一个任务流？
- 任务流开启状态下，任务此时关闭掉任务流，正在同步的组件任务的处理逻辑是什么样的？
- 任务流中上游组件有多个组件任务时，上游任务全部完成才能开启下游任务吗？
- 任务既连了开始键，又配置了依赖，执行逻辑会是什么样的？
- 任务流中新建任务为何只有读取方式为增量识别字段，没有binlog？
- 任务监控
- 什么样的实时传输任务会在性能关注中显示？