# **配置API数据源**
在进行配置之前,请务必检查您的API数据源是否符合平台要求,参考如下:
| 数据源类型<p style="width:120px"></p> | 版本要求<p style="width:80px"></p> | 用户权限要求<p style="width:100px"></p> | 其他要求<p style="width:120px"></p> |
| --- | --- | --- | --- |
| API数据源 | 无 | 无 | 无 |
点击「新建数据源」,选择「API数据源」进行新建操作:
:-: 
* 数据源名称:是该数据源在DataPipeline的唯一标识
* 保存成功连接后将会自动打开该数据源的详情页
:-: 
创建API数据任务,进入配置规则界面需要用户去添加API
:-: 
* 点击添加API按钮,进入API配置界面
* 用户可以去设置API名称、URL、请求方式、API请求频率、参数设置等信息
* API名称
* 提示文案:请输入API名称。
* 该API名称为该API数据源下的唯一标识
* URL
* 提示文案:请输入URL地址。
* 不能为空,否则提示:不能为空。
* 不限字数。
* 请求方式
* 选项:Post(默认)、Get
* 参数设置
* Post请求方式
* tab有 Parameters、Headers、Body
* 默认显示Headers tab下信息
* Parameters、Headers、Body下tab允许为空
* Headers和Parameters的Tab设置内容
* Key
* 允许输入50个字符,超出给出提示
* 不允许为空,否则提示:不能为空。
* 可选择四种格式:Text、Web Services、Timestamp、Depend on
* 用户可点击下拉框选择对应的参数值来获取类型。
* Value
* 当Key选择Text
* Value显示一个输入框
* 不限制字符数
* 不能为空,否则给出提示
* 允许填写数组,用逗号分隔
* 当Key选择Web Services
* Value区域显示输入框
* 不能为空,否则给出提示
* 不限制字符数
* 当Key选择Timestamp
* Value值区域显示:已选择Timestamp
* 当Key选择Depend on
* Value区域显示输入框,并提示:请输入关联参数名称
* 该参数值是通过关联参数的Web Service地址获取的,所以要求关联参 数的Value类型要求为Web Services。(未来会考虑Value为数组的场景)
* 选择类型为Depend on的参数值与关联参数是一一对应的关系。
* 未关联的参数名称之间是遍历关系。
* 最大请求频率
* 两个选项:开启、关闭(默认)
* 默认为开启,输入框为空
* 若用户选择开启最大请求频率,输入框不能为空。
* 其他逻辑与定时同步的频率设置一致。(不提供Cron表达式)
* 分页参数设置
* 是指针对数据源指定的url是否需要分页相关设置。
* 两个选项:开启、关闭(默认)
* 点击【开启】
* 指定Current Page参数名称。
* 要求用户输入每次请求交易所时用哪个参数,以此判断请求页面位置。
* 不能为空,否则提示:不能为空。
* 输入的参数要求在key列中存在,否则提示:未找到该参数
* 指定Page Size参数名称。
* 要求用户输入该识别返回页面条数的参数名称。
* 不能为空,否则提示:不能为空。
* JSON返回数组路径
* 不能为空,否则提示:不能为空。
* 签名设置
* 两个选项:开启、关闭(默认)
* 点击【开启】
* 指定签名参数名称
* 不能为空,否则提示:不能为空。
* 输入的参数要求在key列中存在,否则提示:未找到该参数
* 分隔符设置
* 分隔符设置逻辑与FTP数据源分隔符设置一致;
* 默认为逗号。
* 可选择水平制表或自定义。
* 若选择自定义则不允许为空。
* Body tab的设置内容
* 参数格式有x-www-form-urlencoded 、form-data、raw、binary
* 参数格式本次版本只支持: x-www-form-urlencoded
* 其他格式暂不支持,鼠标移动到该区域提示:暂不支持
* 参数设置区域也是显示为表格形式,有两列:Key、Value
* Key、Value、分页参数、签名设置以及分隔符设置均与Parameters、Headers逻辑一致
* Get请求方式
* 若用户选择Get请求方式:
* 只激活Parameters和Headers-Tab。
* 允许Parameters或Headers-Tab为空
* 要求置灰Body。
:-: 
* 点击保存后,显示配置API界面
* API列表
* API列表显示的API是与数据源相关的,在该数据源下添加API信息不会在其他API数据源中显示。
* 内容:勾选区域、API名称、URL、操作
* 勾选区域
* 默认为空,允许用户多选。
* 点击【全部】勾选项,要求勾选全部API,再次点击要求勾选掉所有API。
* 点击【全部】勾选项,标明勾选了多少个,文案为:已勾选XX项。
* 当用户勾选了所有API,要求【全部】的勾选项也被勾选。
* API名称:显示用户针对该API填写的API名称。
* URL:显示API地址。
* 操作:删除、编辑。
* 点击编辑,弹窗进入API编辑页面。
* 点击删除,要求二次确认。
:-: 
* 选择完本次任务需要的API后,点击保存
* 同步列表显示对应的API名称
* 用户勾选了多少个API,同步列表显示对应个数的目的地表设置入口。
* 同步列表显示该数据任务激活后将会在目的地创建的Table List,Table的数量取决于用户添加的API数据源添加的URL个数。
* 在同步列表,点击任意一个表名称右侧默认显示一个空表,用户需要:
* 输入表名称,不能为空,否则提示:不能为空
* 设置表结构:点击【新增字段】,即可出现一行表结构输入区域。
* 用户可针对每一个字段设置:字段名称、字段类型、精度、标度、NotNull、主键等信息。
* 清洗脚本
* 用户点击配置规则页面右上角【清洗脚本】,即可编辑API数据源中对应的API接口返回数据的解析逻辑。
* 每个目的地表都要单独设置一个清洗脚本。
* 样例数据
* 默认显示一个API请求结果
* 点击【获取样例】,更新样例数据
* 当数据源为API:取消【随机】下拉框,每次只能获取一个请求返回的样例数据。
:-: 
* 完成目的地表结构设置后,点击【保存】,然后激活任务即可开始执行API数据源到目的地的同步工作。
* 目的地未添加任意字段时,要求提示用户去勾选目的地字段
* 同步列表中提示“未完成”
* 目的地主键上方提示:请添加目的地字段,否则任务无法激活。
:-: 
* 如果仍有未添加目的地字段的,或者缺少配置内容时,点击保存
* 提示用户:主文案:未完成
* 副文案:您尚未完成配置,为正常使用该数据源,建议您继续设置。
* 返回仍然无法保存,与当前逻辑一致
* 数据任务激活后支持修改API配置。
* 同步列表显示【编辑】入口。
* 点击【编辑】,在当前页面弹窗显示【设置同步API】
* 不允许增减API。
* 允许编辑API配置。
* 修改API配置后,从下一次请求开始使用新的API配置。
* 若用户在新的API作为数据源的任务过程中修改了已经被其他任务使用的API,所有任务会根据新的API配置执行请求。
* 点击【删除】API。
* 若API已被任意任务所启用,则报错提示。
* 若API未被其他任务所启用,则允许删除。
注:目的地未添加新增字段,不允许任务被激活。
- DataPipeline产品手册
- 产品主要界面介绍
- 创建-数据任务
- 数据源
- 配置MySQL数据源
- BINLOG配置手册
- 配置Oracle数据源
- LOGMINER配置手册
- 配置SQL Server数据源
- Change Tracking配置手册
- 配置FTP数据源
- 配置Couchbase数据源
- 配置PostgreSQL数据源
- 配置S3数据源
- 配置API数据源
- 配置Kafka数据源
- 数据目的地
- 配置Redshift数据目的地
- 配置Oracle数据目的地
- 配置MySQL数据目的地
- 配置Kafka数据目的地
- 配置SQL Server数据目的地
- 配置FTP数据目的地
- 配置TIDB数据目的地
- 配置Greenplum数据目的地
- 配置Hive数据目的地
- Hive技术实现
- Hive目前支持情况
- 配置HybridDB for PostgreSQL
- 任务设置
- 选择同步内容
- 数据清洗
- 激活数据任务
- 管理-数据任务
- 数据任务列表
- 数据任务详情页
- 基本信息
- 概览信息
- 任务设置
- 错误队列
- 配置规则
- 消息列表
- 文件同步
- 文件源
- 配置S3文件源
- 配置FTP文件源
- 文件目的地
- 配置hdfs文件目的地
- 任务设置
- 激活文件任务
- 管理-文件任务
- 文件任务详情页
- 基本信息
- 概览信息
- 任务设置
- 消息列表
- 元数据管理
- 用户权限管理
- 系统设置
- 产品更新日志
- 常见问题
