[TOC] # **配置API数据源** 在进行配置之前，请务必检查您的API数据源是否符合平台要求，参考如下： | 数据源类型<p style="width:120px"></p> | 版本要求<p style="width:80px"></p> | 用户权限要求<p style="width:100px"></p> | 其他要求<p style="width:120px"></p> | | --- | --- | --- | --- | | API数据源 | 无 | 无 | 无 | 点击「新建数据源」，选择「API数据源」进行新建操作： :-:  **参数介绍** * 数据源名称：是该数据源在DataPipeline的唯一标识 * 保存成功连接后将会自动打开该数据源的详情页 :-:  <br/> ***** ### **如何添加API** * 在新建数据任务中，选择创建的API数据源和想要同步的目的地，完成任务设置后，点击下一步，进入读取设置界面，即可看到API配置界面。 :-:  * 选表界面，用户可以添加之前已经创建好的API，也可以自己添加API。 * 点击添加API按钮，弹窗展示好API配置界面，用户可以在界面上添加相应的配置信息。 :-:  **参数介绍** * API名称：用户可以自定义设置用以区分不同的API * URL地址：需要用户输入需要访问的API的URL地址。 * 请求方式：支持GET和POST两种请求方式 * 参数信息，具体需要填写哪些参数要根据具体的URL，目前支持填写Parameters Query、Headers、Body以及Parameters Path等参数信息。 * Parameters Query ：相当于URL所需要的一些基本参数信息。 * 用户可以设置一些参数信息，如key-value等格式。 * Headers：相当于URL的配置中心，用户可以去填一些健全信息或者自定义一些配置。 * 用户可以设置一些参数信息，如key-value等格式。 **如何设置key-value** * 点击添加，key支持输入Text、WebService、DependOn、Timestamp等格式的参数。 * Text代表参数一个文本形式，其对应的Value可以填固定的一个参数，也可以填一个数组。 * WebService代表参数是一个地址，对应的Value需要输入一个网址，webService的参数格式相当于支持一个额外的服务去获取更多参数信息或者业务逻辑，系统每次会去查询该网址将获取到的参数信息返回给URL地址，然后拿到想要的数据信息。 * DependOn：当参数是一个地址时，可以使用DependOn去关联到该参数。 * Timestamp代表参数是一个时间戳参数。 * 当URL地址中有时间戳参数时，用户可以选择Timestamp参数，系统会自动传入系统执行时间的时间戳。 <br/> * Body：相当于URL的身体，需要用户去填写与之对应的一些参数信息。 * 支持none、x\_www\_form\_urlencoded以及raw等三种格式。 * none代表没有body参数信息 * x\_www\_form\_urlencoded代表的是参数信息是key-value的格式，支持Text、WebService、Timestamp以及DependOn等参数信息。 * raw是一种纯文本的方式，支持的格式比较多样，可以满足各种场景。 * 参数类型支持：Text、WebService * 用户可选择参数的类型，若选择 Text，则 value 是固定的一个或者多个；若选择 WebService，则是从指定的一个服务器获取一个或者是多个参数的 value，需要输入相应的服务器地址。 * 在请求模式为 raw 时，可以输入任意格式的文本，格式包含： Text、Text(text/plain)、JSON(application/json)、Javascript(application/javascript)、XML(application/xml)、XML(text/xml)、HTML(text/html)，客户可以根据需要选择对应的格式。 :-:  <br/> * 当URL中包含**动态参数**信息时，需要填写Parameters Path等参数信息。 * 当「URL地址」出现“花括号”时，“花括号”内的参数自动生成在「KEY」内。 * 「 URL地址」“花括号“内容变化，「KEY」对应的参数也会随之变化。 * 「value」的内容可以是多个，系统会查询value里面的所有值。 <br/> * 最大请求频率：用户要确保URL是支持最大请求频率的。 * 如果URL中支持最大请求频率 * 关闭该项，系统不会返回数据 * 开启该项，用于限制访问URL的频率数，从而避免去频繁访问URL，减少对于服务器的压力。 * 最大请求频率高于任务设置读取频率时，则系统会按照最大请求频率的数值来限制访问URL的频率。当最大请求频率小于任务设置的读取频率时，则系统会按照任务设置的读取频率来访问URL。 <br/> * 分页参数：用户要确保URL是支持分页参数的。 * 如果URL中支持分页参数。 * 关闭该项：系统不会返回数据。 * 开启该项：代表系统使用某个参数进行分页操作，系统按照用户设置的当前页参数、页面条数以及json数组路径将查询到的数据分配到不同的页码进行展示。 * 指定 Current Page 参数名称：当前页参数，必须是在Key中存在。 * value可以输入数字，表示当前页数，代表系统去访问从当前页开始之后的数据。 * 指定 Page Size 参数名称：页面条数，表示返回的数量 * value可以输入数字，表示返回页面的条数 * JSON 返回数组路径：查询是否已经全部展示完毕。如果返回数量等于page size的话则代表还会有下一页，保证一直会查询到最后的结果。 <br/> * 签名设置。主要取决于URL地址是否需要签名设置。 如果URL中需要签名设置 * 关闭签名设置，系统不会返回数据。 * 开启签名设置，系统会使用签名参数来保证URL的安全 <br/> * 分隔符设置（三选一） * 逗号、水平制表、自定义 * 输入规则为： * 分隔符可为任意字符，支持空格、转义字符等特殊字符； * 可以直接输入的字符，在输入框中直接输入字符或者用Unicode来表示，例如： 分隔符为空格，则直接用键盘输入"空格"，或者输入"\u0020"即可； * 无法直接输入的字符，则应输入字符的对应Unicode或者用下表对应转义字符输入，例如：分隔符为换行，则输入"\n"，或者输入"\u000a"。 | 字符 | 表示 | | :--- | :--- | | \b | \u0008,退格\(BS\) ，将当前位置移到前一列 | | \f | \u000c,换页\(FF\)，将当前位置移到下页开头 | | \n | \u000a,换行\(LF\) ，将当前位置移到下一行开头 | | \r | \u000d,回车\(CR\) ，将当前位置移到本行开头 | | \t | \u0009,水平制表\(HT\) ,跳到下一个TAB位置 | * 特别地，若分隔符要求保留"\"，则需输入两个“\”来表示，例如：分隔符为字符串"\b"，则请输入"\\b"。 <br/><Br/> ### **完成一次API数据同步任务** 1. 配置完成后，选择本次任务需要的API后，点击保存 * 在读取设置页面，同步列表显示该数据任务激活后将会在目的地创建的Table List，Table的数量取决于用户添加的API数据源添加的URL个数。 2. 点击下一步，进入写入设置页面。 在左侧的同步列表中，点击任意一个表名称右侧默认显示一个空表，用户需要： * 输入目的地表名称，不能为空，默认与API名称相同 * 设置表结构：点击【添加字段】，即可出现一行字段输入区域，进行相关设置 * 用户可针对每一个字段设置：字段名称、字段类型、精度、标度、NotNull、主键、是否开启同步按钮等信息。 * 清洗脚本 * 用户点击写入设置页面右上角【清洗脚本】，即可编辑API数据源中对应的API接口返回数据的解析逻辑。 * 每个目的地表都要单独设置一个清洗脚本。 * 样例数据 * 默认显示一个API请求结果 * 点击【获取样例】，更新样例数据 * 当数据源为API：取消【随机】下拉框，每次只能获取一个请求返回的样例数据。 :-:  3. 完成目的地表结构设置后，点击【保存】，然后激活任务即可开始执行API数据源到目的地的同步工作。 * 目的地未添加任意字段时，要求提示用户去添加目的地字段，否则无法激活任务。 :-:  <br/> 4. 数据任务激活后支持修改API配置。 * 在读取设置Tab下显示【编辑】入口。  * 点击【编辑】，在当前页面弹窗显示【设置同步API】 * 不允许增减任务选中的API。 * 允许编辑API配置。 * 修改API配置后，从下一次请求开始使用新的API配置。 * 若用户在新的API作为数据源的任务过程中修改了已经被其他任务使用的API，所有任务会根据新的API配置执行请求。 <br/>