[TOC]
## 详情页
点击任意搜索结果,立刻跳转到对应的详情页。
### 1. 「数据源」搜索结果
:-: ![](https://img.kancloud.cn/2b/29/2b29d2e35fdc639ec4cb56e333461a07_1930x1144.png)
#### 「添加标签」
* 用户可以添加数据源标签
* 支持添加标签
a . 默认为空,显示【添加】按钮。
b. 点击添加按钮,立即显示文案编辑框,用户可直接输入标签文案。
c. 不能为空,否则提示不能为空。
d. 标签不能重名,否则提示“标签已存在”
d. 最多可输入20个字符。
e. 完成编辑后,鼠标点击空白处即可添加成功,否则提示【添加失败】。
f. 最多可添加20个标签。
g. 添加20个标签后,添加按钮置灰,鼠标移到按钮区域提示:已达到上限。
h. 标签添加成功后,右上角显示删除按钮,点击可以直接删除标签
#### 「添加负责人」
* 用户可以点击添加按钮,添加负责人
:-: ![](https://img.kancloud.cn/2b/65/2b6531e45a613986d4d81326c46ad4a4_1918x944.png)
#### 「查看数据源相关任务」
* 用户可以查看该数据员相关的所有数据任务,点击查看可查询数据任务详情。
:-: ![](https://img.kancloud.cn/ac/fd/acfd0f9ea54e72cc04886d45ea4c59d7_1250x650.png)
#### 「编辑和删除功能」
* 已被任务占用的数据源、编辑和删除按钮置灰,不可编辑
* 鼠标放在编辑按钮上提示“其他任务正在使用该数据源,无法编辑”
* 鼠标放在删除按钮上提示“其他任务正在使用该数据源,无法删除”
* 未被任务占用的数据源可进行编辑和删除
* 编辑后的数据源将以新数据源方式呈现,数据源信息以及表和视图信息均为新数据源信息
* 表和视图技术元数据、业务元数据以及样例数据均为最新信息,业务元数据保存的信息清空。
* 点击编辑按钮,弹窗出现数据源配置界面
![](https://img.kancloud.cn/12/47/124742566327c41fd5616108b84db761_2790x1584.png)
* 内容为:数据源配置项,与新建数据源逻辑一致,各项均可编辑
* 配置信息除密码显示已填信息,用户可以编辑修改各项信息,修改完毕后点击连接
* 密码默认展示原始密码,用六个星表示
* 点击密码右侧【密码可见】按钮,不显示真实密码,仍然显示六个星
* 用户可以自己设置新密码,不支持只修改密码部分字段,点击右侧【密码可见】要求显示出用户新设置的密码。
* 连接成功,则在右上角弹窗提示数据源【 hyr】连接成功
* 连接失败,则提示出具体的失败原因,逻辑与新建数据源一致
* 编辑成功后,数据源、表和视图信息都更新至最新
* 右侧数据源详情展示修改后的详细信息
* 表和视图均为新数据源下的表和视图
* 点击删除按钮,出现弹窗提示用户,同数据任务删除逻辑
* 标题:删除数据源
* 主文案:确认删除数据源?
* 副文案:删除后将无法恢复
* 删除按钮:点击删除后,该数据源及其数据源下的表和视图也将一并删除。
#### 「支持手动刷新数据源」
* 元数据管理所有数据源的表结构定时每天更新一次。(可在系统设置里设置频率)
* 展开左侧数据源下表和视图仅保留上次刷新的表和视图。
* 数据源添加【刷新】按钮
* 点击【刷新】按钮,要求刷新出最新的表或视图 list
* 增减的表和视图也要求更新至最新
:-: ![](https://img.kancloud.cn/43/69/4369992a502967e2aff0b9903b9618a7_2794x1524.png)
#### 「支持开启和关闭元数据管理」
* 关闭元数据管理
![](https://img.kancloud.cn/4c/15/4c1501bcb46b1436e5e7c399bda5dbec_2790x1534.png)
* 关闭后,不支持用户进行元数据管理相关操作
* 左侧数据源不支持展开,展开按钮消失。
* 开启和关闭按钮,右侧文案:元数据管理
* 提示文案:开启元数据管理,允许用户进行元数据管理相关操作,包括查看和编辑数据源、表以及视图相关信息。关闭元数据管理,不允许用户进行元数据管理相关的操作,只允许修改和删除未被占用的数据源。
* 关闭和开启可互相转换
* 从关闭到开启,开启后数据源展示出上次刷新的最新信息
* 从开启到关闭,页面真实展示数据源基本信息、数据源详情、负责人和数据任务
* 数据源基本信息:编辑和删除按钮允许编辑。
* 数据源详情:标签添加按钮置灰不可编辑,提示文案:无法编辑,请开启元数据管理
* 负责人:添加按钮置灰不可编辑,提示文案:无法编辑,请开启元数据管理
* 设置开启和关闭,新建数据源数据源详情页也要求展示出最新状态
* 各个数据源之间相互独立
* 关闭后,元数据管理首页搜索框搜索不到该数据源,但总览列表中会包含该数据源。
* 开启元数据管理
![](https://img.kancloud.cn/2b/29/2b29d2e35fdc639ec4cb56e333461a07_1930x1144.png)
* 数据源详情页支持一切元数据管理的操作,数据源、表和视图的信息均可查看和编辑,与当前逻辑一致
* 开启和关闭逻辑同上
* 开启和关闭数据源要区分进行一定的排序
* 开启元数据管理的数据源位于列表上方,其中最新创建的数据源位于最上方
* 关闭元数据管理的数据源位于列表的下方,其中最新创建数据源位于最上方
<br/>
### 2.「表」搜索结果
点击任意搜索结果,立即跳转到总览对应的表详情页。
用户可以查看业技术元数据、业务元数据、样例数据和评论区。
![](https://img.kancloud.cn/f5/fb/f5fb6aab1bb0f819d815277e1d053644_1312x1080.png)
#### 「支持手动刷新表结构」
* 表级别会采取手动【刷新】策略
![](https://img.kancloud.cn/4a/3e/4a3e1d44aad38e20645cc9c45e85efaf_2782x1508.png)
* 首次刷新,系统自动去刷新右侧表详情页,要求展示出最新的表结构
* 刷新过的表,则右侧表详情页展示出上次刷新的表结构。
* 鼠标移至表名称上显示出【刷新】按钮
* 点击【刷新】要求展示出最新的表结构信息(技术元数据、业务元数据、样例数据)
* 表已经被删除时,点击【刷新】右侧表详情页提示用户该表不存在
:-: ![](https://img.kancloud.cn/ce/c5/cec5ec871a8c2b19b315a4e125d68924_2094x924.png)
<br/>
#### 「技术元数据」
:-: ![](https://img.kancloud.cn/f5/fb/f5fb6aab1bb0f819d815277e1d053644_1312x1080.png)
* 表结构展示字段名称、字段类型、精度、标度、Not Null、Comment
* 用户可以查看表结构变化,显示的种类有:新增字段、删除字段、字段类型修改、Not Null的修改、Comment修改
<br/>
#### 「业务元数据」
(1)基本信息
* 安全级别(单选):三个选项:高、中、低,默认为:高
* 数据是否可用(单选):三个选项:未知、是、否,默认为:未知
* 描述:
* A.默认为空,点击【编辑】
* B.会立即显示文案编辑框,用户可直接输入描述内容。
* C.完成编辑后,点击【保存】即可完成保存,右上角提示【保存成功】。
* D.点击【取消】,会立即返回浏览模式。
* E.最大字符数为300字,要求显示全部文案,不做展开与收起处理。
* 标签
* 默认为空,点击【添加】
* 立即显示文案编辑框,用户可直接输入标签文案。
* 最大字符数为20。
* 完成编辑后,点击【保存】即可添加成功,右上角提示【添加成功】。
* 最多添加20个标签。
![](https://img.kancloud.cn/19/e5/19e5246fc03050239fc6748b016ddd7d_1292x390.png)
(2)导入业务元数据
* 点击【导入业务元数据】,立即弹窗显示【本地上传】入口。
* 用户需先点击【注意事项】中的模板(允许用户自己根据模板拟制)
* 在模板完成业务元数据和标签的设置后,点击【本地上传】该文件即可。
:-: ![](https://img.kancloud.cn/e6/60/e660ed0bcd8114f9c3337251844d858b_1094x678.png)
* CSV下载文件
* 点击下载后,要求文件内容与该表的业务元数据完全一致
* 表结构完全一致,字段与当前该表的字段一致。
* 标签列显示该表目前已添加的标签信息。
* 其他列也要求显示用户已输入的信息。
* 输入完成后,需要将文件另存为CSV UTF-8(逗号分隔)(.csv)
* 本地上传后,要求判断以下内容:
* 字段、标签列名称要求一致(不允许修改该列的column name),否则上传你失败,并提示:列名有误,请重新上传
* 字段列下的字段名称要与当前该表结构的字段名称一致,否则上传失败,并提示:表结构不一致,请重新上传
* 若格式有误,则上传失败,并提示:文件格式有误,请重新上传
:-: ![](https://img.kancloud.cn/f0/22/f022cfea01043c2f4a3010d8f103aa88_676x544.png)
<br/>
#### 「评论区」
* 支持用户在评论区里对表添加评论以及回复评论
* 进入评论区显示评论人的头像以及评论提示栏。
:-: ![](https://img.kancloud.cn/09/b6/09b6c782043971243d47acd01640e6ab_2794x1442.png)
* 点击提示框,出现输入框、发布和取消按钮。
* 用户可以在输入框写下评论内容,最多可输入300个字,点击发布按钮即可创建自己的评论
* 输入框不允许为空,否则提示“不能为空”
* 点击取消按钮评论框消失,展示之前的页面。
:-: ![](https://img.kancloud.cn/9f/d4/9fd4339d1117ccd08ed782bb45f837d0_2784x1510.png)
* 评论成功后,页面要求展示出评论人的头像、用户名、完整的评论内容、评论的具体时间和回复按钮
* 多条评论时,要求评论内容可以滚动查看,页面顶部浮层一直显示评论提示框。
* 评论按创建时间排序,最新评论在上,评论早的在下
:-: ![](https://img.kancloud.cn/1b/3c/1b3ce83bc59b26c01712888e0c11f0a1_2796x1534.png)
* 用户自己或者其他人可以回复评论,点击回复按钮进行回复,每条评论或者回复左下方都要求显示回复按钮,可多次回复。
* 点击回复按钮,要求在评论下一层级展示出“回复人信息、回复框,发布和取消按钮。
* 评论与回复有明显的页面层级显示,所有回复隶属于该评论之下
* 输入框不允许为空,否则提示“不能为空”,最多可输入300个字
* 点击发布,则回复评论成功,点击取消则要求展示回复前的页面。
:-: ![](https://img.kancloud.cn/b6/7f/b67fcf0838de3d7c3312e1c7bc8bf8c7_2790x1568.png)
* 回复给创建人
* 回复给创建人,要求显示出回复人(头像➕用户名)、回复具体时间、回复内容以及回复按钮
* 回复成功后,评论人区域右侧显示收起回复按钮,点击收起回复,则该评论下的所有回复被隐藏
* 收起回复后,要求出现展开回复按钮,点击展开回复,则该评论下的所有回复均被展示出来
* 回复给回复人
* 回复层级为同一个层级,点击回复按钮,要求在回复最下方展示出谁回复给谁、输入框、发布及取消按钮,逻辑与评论和回复一致。
* 回复成功需要明确显示谁回复给谁,要求显示出回复人(头像➕用户名)回复 创建回复人、具体时间、回复内容以及回复按钮
* 多条回复,则回复早的在上,回复晚的在下
:-: ![](https://img.kancloud.cn/a6/d3/a6d345e8ce061a8ffd9609d3177def7d_2786x1560.png)
* 多条评论
* 页面有多个评论或回复时,要求评论和回复内容可以滚动查看,页面顶部浮层一直显示评论提示框。
* 点击评论提示框,则要求下方展示出输入框、发布与取消按钮。
* 多条评论,要求按照评论的时间先后排序,最新评论在上,评论早的在下
:-: ![](https://img.kancloud.cn/91/88/91882ddcf611cdd5701c4404eca4a264_2782x1576.png)
* 删除评论
* 只允许自己删除自己创建的评论或者回复,只有自己创建的评论或者回复下方,回复按钮右侧才显示出删除按钮
* 评论人删除自己的评论
* 点击删除按钮,弹窗提示用户
* 点击删除按钮,此评论及此评论下的回复均被删除
* 回复人删除自己的回复,每条回复都独立存在,只会删除本条回复
* 点击删除按钮,弹窗提示用户
* 点击删除按钮,此回复被删除
:-: ![](https://img.kancloud.cn/8b/cb/8bcb38e64d71d9748fd9727cf0aba43e_2792x1598.png)
### 3. 「视图」搜索结果
用户可以查看技术元数据、业务元数据和样例数据。
#### 「技术元数据」
:-: ![](https://img.kancloud.cn/02/c0/02c0611af25e0cf65da83d8783bf30ac_2652x1408.png)
* 用户可以查看视图结构。
* 用户可以查看视图结构变化。
#### 「业务元数据」
:-: ![](https://img.kancloud.cn/86/ad/86ade875081d420ebafbb33a9df9c647_2532x1404.png)
* 基本逻辑与表的业务元数据逻辑一致
#### 「 支持手动刷新视图结构」
* 基本逻辑与表的刷新逻辑一致
<br/>
### 4. 「字段」搜索结果页
* 点击任意搜索结果字段,立即跳转到该字段所属的表信息详情页。
* 要求定位到表结构该字段,字段位置居中与页面,并要求高亮3秒,3秒后消失特殊效果。
- DataPipeline产品手册
- 产品更新日志
- v2.7.0 版本介绍
- v2.6.5 版本介绍
- v2.6.0 版本介绍
- v2.5.5 版本介绍
- v2.5.0 版本介绍
- v2.4.5 版本介绍
- v2.4.1 版本介绍
- v2.4.0 版本介绍
- v2.3 版本介绍
- v2.2.5 版本介绍
- v2.2 版本介绍
- v2.1 版本介绍
- v2.0.5 版本介绍
- v2.0 版本介绍
- v2.0 以前版本介绍
- 环境和数据库的部署要求
- Mysql - BINLOG配置方法
- Oracle - LOGMINER配置方法
- SQL Server - Change Tracking配置方法
- Postgre SQL-decoderbufs配置方法
- Postgre SQL-wal2json配置方法
- 常见场景操作
- 场景一:实时同步异构数据库数据(例:MySQL到Oracle)
- 场景二:批量同步异构数据库数据(例:SQL Server到MySQL)
- 场景三:API数据同步到关系型数据库(例:API到MySQL)
- 场景四:Hive数据同步到关系型数据库(例:Hive到SQLServer)
- 场景五:关系型数据库数据同步到Hive(例:Oracle到Hive为例)
- 场景六:Kafka数据同步到关系型数据(例:Kafka到MySQL为例)
- 场景七:一对多场景介绍
- 产品入门
- 数据同步任务
- 创建数据同步
- 配置数据源&数据目的地
- 配置数据源
- 配置MySQL数据源
- 配置Oracle数据源
- 配置SQL Server数据源
- 配置PostgreSQL数据源
- 配置FTP数据源
- 配置S3数据源
- 配置API数据源
- 配置Kafka数据源
- 配置Hive数据源
- 配置阿里云 OSS数据源
- 配置腾讯云TDSQL数据源
- 配置自定义数据源
- 配置数据目的地
- 配置MySQL数据目的地
- 配置Oracle数据目的地
- 配置SQL Server数据目的地
- 配置Greenplum数据目的地
- 配置Redshift数据目的地
- 配置TIDB数据目的地
- 配置FTP数据目的地
- 配置HBase数据目的地
- 配置HDFS数据目的地
- 配置Hive数据目的地
- 配置AnalyticDB for PostgreSQL数据目的地
- 配置Kafka数据目的地
- 数据同步的任务设置
- 读取设置
- 数据源资源组设置
- 批量功能
- SQL类型数据源读取条件设置
- 分数据源读取设置
- MySQL读取设置
- Oracle读取设置
- SQLServer读取设置
- PostgreSQL读取设置
- FTP文件系统读取设置
- S3文件系统读取设置
- Hive读取设置
- Kafka读取设置
- 阿里云OSS读取设置
- API读取设置
- 腾讯云TDSQL读取设置
- Hive数据源读取分区设置
- 其他设置
- 错误队列设置
- 邮件通知设置
- 任务分组设置
- 写入设置
- 批量功能
- 设置清洗脚本
- 数据目的地资源组设置
- 数据目的地设置
- 子任务设置
- 数据源变化设置
- 写入端数据一致性
- 批量读取后,先写入到临时表,再转存到实际表
- 高级设置
- 子任务设置
- Hive分区设置
- Column family 设置
- 数据同步任务管理
- 数据任务监控
- 重要任务
- 故障任务
- 非激活状态
- 性能关注
- 数据任务分组
- 管理数据同步
- 复制功能
- 回滚功能
- 重新同步功能
- 错误队列
- 消息列表
- 文件同步任务
- 创建文件同步
- 配置文件源
- 配置S3文件源
- 配置FTP文件源
- 配置文件目的地
- 配置HDFS文件目的地
- 文件同步的任务设置
- 任务流
- 核心功能介绍
- 新建任务流
- 配置核心组件
- 配置开始任务组件
- 配置数据任务组件
- 配置远程命令执行组件
- 配置延时器组件
- 配置权限设置
- 激活任务流
- 元数据管理
- 查看总览
- 搜索页
- 详情页
- 系统设置
- 数据任务
- 元数据管理
- 用户管理
- 常见问题
- 部署要求
- Docker安装的集群部署方式?
- DataPipeline的并发任务是线程还是进程?
- 分布式架构指的是什么样的框架?
- 生产环境配置推荐及回答?
- DataPipeline的服务是统一管理还是私有化部署?若是私有化部署若要升级怎么操作?
- DataPipeline的Kafka如果与客户目前使用的Kafka版本不一样,是否需要适配?
- 请说明产品的HA和容灾方案 ?
- DataPipeline有多少独立的服务?各容器的作用是什么?
- 在从节点上装mysql,对单表导入1000万数据对任务有影响吗?
- 数据传输
- 数据源/数据目的地
- 基本要求
- 数据源或目的地可以重复使用吗?
- 数据源多个表是否可以写到目的地一张表?
- 数据源或目的地连接失败怎么办?
- 数据源
- MySQL
- DataPieline如何应对Mysql数据库表和字段名称大小写不敏感问题?
- DataPipeline Mysql数据源的实时处理模式下,暂时无法读取哪些字段类型?
- Mysql数据源实时处理模式下,暂不支持那些语句操作的同步?
- Oracle
- Oracle实时模式为LogMiner时,为什么还需要设置读取频率?
- SQL Server
- SQL Server数据源读取方式选择Change Tracking时需要注意什么?
- SQL Server实时模式为Change Tracking时,为什么还需要设置读取频率?
- PostgreSQL
- Hive
- Hive数据源支持哪些文件格式?
- Kafka
- FTP文件系统
- FTP数据源CSV静态表结构时,用户为什么需要确认首行是否为字段名称?
- FTP数据源静态表结构和动态表结构的区别是什么?
- FTP源的文件在不断写入的情况下,DataPipeline的读取与写入的模式是怎样的?
- FTP数据源支持哪些编码方式?
- S3文件系统
- 阿里云OSS文件系统
- API
- 腾讯云TDSQL
- 数据目的地
- MySQL目的地常见问题
- 时区问题需要注意什么?
- SQL Server目的地常见问题
- 行级的物理删除,使用Change Tracking的方式,是否获取的到?DataPipeline会如何处理这类的数据?
- 数据源实时模式是否可以同步视图?
- Oracle目的地常见问题
- TiDB目的地常见问题
- 目的地TIDB同步表时,需要注意什么?
- Redshift目的地常见问题
- Redshift 并发数设置是50,DataPipeline对100个表并发插入的方案?对Redshift 性能的影响?DataPipeline对大数据量并发插入Redshift 的处理方式?
- Hive目的地常见问题
- 如何避免Hive目的地出现小文件问题?
- DataPipeline同步数据到Hive目的地表时,数据源发生变化会怎么样?
- 我们目前对已做好Hive分区逻辑的目的地,是不是不支持继续往里写?只能写新表?
- 配置Hive目的地是需要注意哪些?
- Hive目的地时字段转换需要注意哪些问题?
- GreenPlum目的地常见问题
- Kafka目的地常见问题
- kafka目的地支持设置新的分区吗?
- 多个表结构不一致的表,可以同步至kafka的同一个topic吗?
- HDFS目的地常见问题
- FTP文件系统目的地常见问题
- 目的地FTP时,我们现在是按什么逻辑创建文件的?
- AnalyticDB for PostgreSQL目的地常见问题
- Hbase目的地常见问题
- 目的地常见问题
- 各个数据目的地的写入方式分别是采用什么形式?
- DataPipeline支持的数据库的目标端的连接方式是什么?
- DataPipeline支持的目标端冲突数据处理机制是什么?
- 任务设置
- 读取模式相关问题
- 任务设置中读取频率的实现原理是什么样的?
- 采用实时同步的情况,新建同步任务时,源端的数据表有大量的存量数据,如何通过产品实现数据同步的一致性的?
- 定时批量清目标表数据的逻辑是什么样的?
- 数据源端基于日志的实时模式,是源库推送还是我们做捕获?
- 关系型数据如MySQL,如果出现大量的数据修改,BinLog日志如何抓取,如何实现及时的消费?
- 读取与写入的速率限制是按照任务还是按照表?
- 我们的无侵入性是如何实现的?是完全无侵入性,还是侵入性很小?是否无侵入性就意味着源端服务器没有访问请求的压力,那目的端写入是否还存在压力?
- 动态限速的策略是什么?
- 读写一致性的逻辑是什么?
- v2.6版本增量的逻辑如何实现?
- 重新同步策略问题
- 如果任务激活后进行重新同步,目的地数据会清空吗?
- 读取设置
- 如何设置数据读取条件where语句?有哪些注意事项?
- 用户选择实时模式时,选表时发现有一些表置灰不能同步要想同步这些表该怎么办?
- 同步完成后暂停,取消表后又新加入此表,DataPipeline对于此表的处理策略是什么样的?
- 写入设置
- 表和字段问题
- 目的地表名称和字段名称最长字符长度有什么特定限制吗?以及表名称和字段名称的输入规则要求是什么?
- 同步数据到异构数据库,字段类型会有变化吗?
- 表结构中的精度和标度是什么意思?
- DataPipeline所支持的不同数据类型有哪些?kafka schema的数据类型和不同库间的数据库转换规则?
- 数据源端支持哪些字符集类型?
- Hive作为目的地表需要注意什么?
- Hive作为数据源且格式为parquet时需要注意什么?
- 如何新增一个字段?
- 主键相关问题
- 无主键的表的同步逻辑是怎样的?
- 选择增量识别为主键,如何保证源端和目标的数据一致性呢,如果该记录有修改,系统是怎么处理的?
- 数据目的地ODS有大量无主键表,同步时DataPipeline是如何处理的?
- 表结构变化问题
- 任务激活前后,数据源变化表结构变化有什么不同?
- 当数据源表结构更新时DataPipeline是如何处理的?
- 如果目的地端已经存在了数据库表,但表结构不相同,我们能否将数据写入到该表?
- DataPipeline是否支持将不同的数据表(在不同的数据库中,但是表结构一致,同时有主键和唯一性识别的字段),导入同一个目的端表?
- 管理数据同步
- 基本概念
- 错误通知是什么?
- 错误队列是什么?
- 哪些数据错误会进入错误队列?
- 请简述产品支持的目标端冲突数据处理机制?
- 错误队列里的原始数据是指源端读取的原始数据还是说经过清洗规则后的数据?
- 激活任务后,有哪些参数可以修改?
- 同步状态
- 部分表已读取已写入等都为0,但完成进度为100%?
- 任务详情页中的数据读写量具体含义是?为什么有时候还会减少?
- 如何去查看FTP源和FTP文件中的文件有没有同步完成?
- 数据任务激活后是不允许修改任何设置吗?
- 激活任务后,数据百分比为什么会往回条,如:从99% 跳到30%
- 同步逻辑
- 自动重启逻辑是怎样的?
- 目前数据同步的暂停重启策略是什么样的?暂停和重启后是如何读取和写入数据的?
- 目前进行数据任务的时候,读取速率远大于写入速率,其中,已读取且还未写入的数据会暂时存储在Kafka上,但是由于Kafka存储空间有限,超出后容易造成数据的丢失,这怎么办?
- 如果一条数据多次、频繁变化,在DataPipeline产品侧如何保证数据的并行和保序是如何保证的?
- 用户导入数据后,hdfs认证机制,数据哪些用户可以使用,用户数据安全如何确保?
- 请简述目标端性能可管理性(可提供的性能监控、分析、调优手段等)
- DataPipeline是否支持远程抽取数据?
- 如果一条数据多次、频繁变化,在DataPipeline产品侧如何保证数据的并行和保序是如何保证的?
- 产品到期问题
- 产品使用期限到期所有任务都会被暂停任务,那么如何提前获知产品使用期限是否到期以避免任务被暂停?
- 实际场景中,目的地服务器每周可能会有aws升级,需要暂停服务器,DataPipeline有没有对应的方案能够满足?
- 任务报错
- redis连接异常任务暂停了怎么办?
- 文件传输
- FTP文件源同步整个文件时是如何同步的?
- 任务流
- 如何使用远程命令执行脚本来调取另外一个任务流?
- 任务流开启状态下,任务此时关闭掉任务流,正在同步的组件任务的处理逻辑是什么样的?
- 任务流中上游组件有多个组件任务时,上游任务全部完成才能开启下游任务吗?
- 任务既连了开始键,又配置了依赖,执行逻辑会是什么样的?
- 任务流中新建任务为何只有读取方式为增量识别字段,没有binlog?
- 任务监控
- 什么样的实时传输任务会在性能关注中显示?