# 元数据管理 ## 1、什么是元数据管理？ 企业用户在创建了众多数据库信息时，需要一个查询功能可以及时高效地为用户查询数据库信息，如数据源、表以及视图等信息。DataPipeline元数据管理功能可以为用户降低时间成本，提高查询效率。 ## 2、元数据管理能做到什么？ 元数据管理能带给用户的核心功能有： 1、支持筛选查询已创建的数据源/表/视图信息。 2、支持查看总览查询所有已创建的数据库信息。 3、支持用户输入数据源名称/类型/负责人/创建人查询数据源信息。 4、支持用户输入表名称、负责人、Comment查询表信息。 5、支持用户输入视图名称、负责人、Comment查询视图信息。 6、支持用户在搜索结果中对数据源和创建人进行筛选。 7、支持查询数据源类型为MySQL、Oracle、SQL Server、PostgreSQL、FTP、S3数据源。 8、支持用户在总览列表页进行搜索。 ## 3、如何使用元数据管理？ ### 元数据管理首页 顶部显示搜索入口 * 提示文案：请输入搜索关键词（如数据源、表、视图、字段、标签名称） * 搜索范围： * 数据源搜索范围：数据源名称、数据源类型、创建人、负责人、标签 * 表搜索范围：表名称、负责人、Comment、标签 * 视图搜索范围：视图名称、负责人、Comment、标签 * 字段搜索范围：字段名称、标签、别名、描述 :-:  ### 筛选功能 * 数据源 * 展示【全部】及各个数据源按钮，默认是选择【全部】 * 目前支持的数据源类型为MySQL、Oracle、SQL Server、PostgreSQL、FTP、S3 * 只展示与搜索对象相关的数据源，用户点击数据源后在搜索结果中筛选出符合要求的结果 * 再次点击筛选项作为取消该筛选项 * 支持用户选中多个数据源类型 * 标签 * 展示【全部】及各个标签按钮，默认是选择【全部】。 * 标签筛选项中：显示所有与关键词相关的标签，与搜索结果没有关系。 * 默认展示一行标签，点击展开可查看所有的标签。 * 用户点击标签后再搜索结果中筛选出符合要求的数据源结果 * 再次点击取消筛选项 * 支持多个标签的筛选 * 数据源和标签可同时进行筛选 ### 搜索对象：数据源、表、视图、字段 :-:  * 默认展示数据源搜索结果页、用户可切换至表、视图以及字段搜索结果页。 * 当数据源不包含搜索关键词时，默认展示页应该跳转至表或视图搜索结果页。 #### 数据源搜索结果页 :-:  * 内容：数据源名称（logo+名字）、标签、负责人、创建人、服务器地址、创建时间 * 每个标签默认展示全部字符，最多20个字符。 * 每个搜索结果显示全部标签，超过一行则用【...】符合处理，点击【...】浮层显示剩余标签。 * 当用户输入的关键词命中数据源名称、类型、创建人、负责人、标签时，要求显示在数据源结果页。 * 数据源的搜索对象只包含该用户所在的组共有的数据源。 * 点击任意结果，立即跳转到总览对应的源详情页 * 搜索结果只包含：mysql、sqlserver、oracle、postgre、FTP、S3数据源，其他数据源暂不支持显示 。 * 显示方式：分页显示，屏幕下拉到最后10条时加载更多。 #### 表搜索结果页 :-:  * 内容：表名称、标签、负责人、Comment、数据源名称（logo+名称）、服务器地址 * 每个标签默认展示全部字符，最多20个字符。 * 每个搜索结果显示全部标签，超过一行则用【...】符合处理，点击【...】浮层显示剩余标签。 * 关键词命中表名称、表负责人、表Comment、标签时要求显示在表结果页面。 * 表的搜索结果对应的数据源只包含该用户所在的用户组的数据源。 * 点击任意结果，立即跳转到总览对应的表详情页。 * 显示方式：分页显示，屏幕下拉到最后10条时加载更多。 #### 视图搜索结果页 :-:  * 内容：视图名称、标签、负责人、Comment、数据源名称（logo+名称）、服务器地址 * 每个标签默认展示全部字符，最多20个字符。 * 每个搜索结果显示全部标签，超过一行则用【...】符合处理，点击【...】浮层显示剩余标签。 * 关键词命中表名称、表负责人、表Comment、标签时要求显示在表结果页面。 * 视图的搜索结果对应的数据源只包含该用户所在的用户组的数据源。 * 点击任意结果，立即跳转到总览对应的表详情页 * 显示方式：分页显示，屏幕下拉到最后10条时加载更多。 #### 字段搜索结果页 :-:  * 内容：字段名称、标签、别名、描述、表名称、数据源名称（logo+名称） * 每个标签默认展示全部字符，最多20个字符。 * 每个搜索结果显示全部标签，超过一行则用【...】符合处理，点击【...】浮层显示剩余标签。 * 关键词命中字段名称、别名、描述、标签时要求显示在字段结果页面。 * 字段的搜索结果对应的表和数据源只包含该用户所在的用户组的表和数据源。 * 点击任意结果，立即跳转到总览对应的表详情页 * 显示方式：分页显示，屏幕下拉到最后10条时加载更多。 ### 2、搜索结果页 #### 数据源搜索结果 * 点击任意搜索结果，立刻跳转到总览对应的源详情页。 :-:  * 用户可以查看数据源详情 * 用户可以添加数据源标签 * 支持添加标签 a . 默认为空，只显示【添加】按钮。 b. 点击添加按钮，立即显示文案编辑框，用户可直接输入标签文案。 c. 不能为空，否则提示不能为空。 d. 标签不能重名，否则提示“标签已存在” d. 最多可输入20个字符。 e. 完成编辑后，鼠标点击空白处即可添加成功，否则提示【添加失败】。 f. 最多可添加20个标签。 g. 添加20个标签后，添加按钮置灰，鼠标移到按钮区域提示：已达到上限。 h. 标签添加成功后，右上角显示删除按钮，点击可以直接删除标签 * 用户可以点击添加按钮，添加负责人 :-:  * 用户可以查看该数据员相关的所有数据任务，点击查看可查询数据任务详情。 :-:  ##### 用户可以在元数据管理编辑和删除数据源 * 已被任务占用的数据源、编辑和删除按钮置灰，不可编辑 * 鼠标放在编辑按钮上提示“其他任务正在使用该数据源，无法编辑” * 鼠标放在删除按钮上提示“其他任务正在使用该数据源，无法删除” * 未被任务占用的数据源可进行编辑和删除 * 编辑后的数据源将以新数据源方式呈现，数据源信息以及表和视图信息均为新数据源信息 * 表和视图技术元数据、业务元数据以及样例数据均为最新信息，业务元数据保存的信息清空。 * 编辑功能 :-:  * 点击编辑按钮，弹窗出现数据源配置界面 * 标题为：修改数据源-数据源名称 * 内容为：数据源配置项，与新建数据源逻辑一致，各项均可编辑 * 配置信息除密码显示已填信息，用户可以编辑修改各项信息，修改完毕后点击连接 * 密码默认展示原始密码，用六个星表示 * 点击密码右侧【密码可见】按钮，不显示真实密码，仍然显示六个星 * 用户可以自己设置新密码，不支持只修改密码部分字段，点击右侧【密码可见】要求显示出用户新设置的密码。 * 连接成功，则在右上角弹窗提示数据源【 hyr】连接成功 * 连接失败，则提示出具体的失败原因，逻辑与新建数据源一致 * 编辑成功后，数据源、表和视图信息都更新至最新 * 右侧数据源详情展示修改后的详细信息 * 表和视图均为新数据源下的表和视图 * 删除功能 * 点击删除按钮，出现弹窗提示用户，同数据任务删除逻辑 * 标题：删除数据源 * 主文案：确认删除数据源？ * 副文案：删除后将无法恢复 * 删除按钮：点击删除后，该数据源及其数据源下的表和视图也将一并删除。 ##### 支持用户手动刷新数据源 * 元数据管理所有数据源的表结构定时每天更新一次。(可在系统设置里设置频率） * 展开左侧数据源下表和视图仅保留上次刷新的表和视图。 * 数据源添加【刷新】按钮 * 点击【刷新】按钮，要求刷新出最新的表或视图 list * 增减的表和视图也要求更新至最新 :-:  ##### 支持用户去开启和关闭元数据管理 * 关闭元数据管理 :-:  * 不支持用户进行元数据管理相关操作 * 左侧数据源不支持展开，展开按钮消失。 * 开启和关闭按钮，右侧文案：元数据管理 * 提示文案：开启元数据管理，允许用户进行元数据管理相关操作，包括查看和编辑数据源、表以及视图相关信息。关闭元数据管理，不允许用户进行元数据管理相关的操作，只允许修改和删除未被占用的数据源。 * 关闭和开启可互相转换 * 从关闭到开启，开启后数据源展示出上次刷新的最新信息 * 从开启到关闭，页面真实展示数据源基本信息、数据源详情、负责人和数据任务 * 数据源基本信息：编辑和删除按钮允许编辑。 * 数据源详情：标签添加按钮置灰不可编辑，提示文案：无法编辑，请开启元数据管理 * 负责人：添加按钮置灰不可编辑，提示文案：无法编辑，请开启元数据管理 * 设置开启和关闭，新建数据源数据源详情页也要求展示出最新状态 * 各个数据源之间相互独立 * 关闭后，元数据管理首页搜索框搜索不到该数据源，但总览列表中会包含该数据源。 * 开启元数据管理 :-:  * 数据源详情页支持一切元数据管理的操作，数据源、表和视图的信息均可查看和编辑，与当前逻辑一致 * 开启和关闭逻辑同上 * 开启和关闭数据源要区分进行一定的排序 * 开启元数据管理的数据源位于列表上方，其中最新创建的数据源位于最上方 * 关闭元数据管理的数据源位于列表的下方，其中最新创建数据源位于最上方 #### 表搜索结果 * 点击任意搜索结果，立即跳转到总览对应的表详情页。 * 用户可以查看业技术元数据、业务元数据、样例数据和评论区 :-:  ##### 支持用户手动刷新表结构 * 表级别会采取手动【刷新】策略 :-:  * 首次刷新，系统自动去刷新右侧表详情页，要求展示出最新的表结构 * 刷新过的表，则右侧表详情页展示出上次刷新的表结构。 * 鼠标移至表名称上显示出【刷新】按钮 * 点击【刷新】要求展示出最新的表结构信息（技术元数据、业务元数据、样例数据） * 表已经被删除时，点击【刷新】右侧表详情页提示用户该表不存在 :-:  ##### 技术元数据 :-:  * 表结构展示字段名称、字段类型、精度、标度、Not Null、Comment * 用户可以查看表结构变化，显示的种类有：新增字段、删除字段、字段类型修改、Not Null的修改、Comment修改 ##### 业务元数据 * 业务元数据-表 * 基本信息 * 安全级别（单选）：三个选项：高、中、低，默认为：高 * 数据是否可用（单选）：三个选项：未知、是、否，默认为：未知 * 描述： * A.默认为空，点击【编辑】 * B.会立即显示文案编辑框，用户可直接输入描述内容。 * C.完成编辑后，点击【保存】即可完成保存，右上角提示【保存成功】。 * D.点击【取消】，会立即返回浏览模式。 * E.最大字符数为300字，要求显示全部文案，不做展开与收起处理。 * 标签 * 默认为空，点击【添加】 * 立即显示文案编辑框，用户可直接输入标签文案。 * 最大字符数为20。 * 完成编辑后，点击【保存】即可添加成功，右上角提示【添加成功】。 * 最多添加20个标签。 :-:  * 业务元数据-字段 * 业务元数据表结构默认显示：字段名称、标签、别名、描述、来源、分类、质量需求 * 列：字段名称与标签是不可重命名。 * 可点击编辑：别名、描述、来源、分类、质量需求内容 * 允许修改业务元数据默认提供的以上列名 * 鼠标移动到列名称区域，则会显示两个按钮：编辑、删除 * 可添加新的业务元数据列 * 点击【添加】，即可新增一列，用户可输入列名称。 * 最多添加20个列，达到上限后添加按钮置灰，提示：已达到上限 * 列名最长20个字符。 * 每个列名下描述最长字符为100字符。 * 超出最大宽度要求折行处理。 * 业务元数据-列名不允许为空 * 否则提示：不能为空。 * 未完成设置的情况下跳转（重命名或新添加列时置空），要求不要保存当前操作。 * 业务元数据-每个字段对应的信息允许为空。 * 每一个业务元数据信息，用户从输入框跳出时执行保存操作。 * 若保存失败，则提示：保存失败。 * 若保存成功，则不需要任何提示。 * 标签 * 默认为空，只显示【添加】按钮。 * 点击【添加】弹窗要求用户填写标签。 * 标题：添加标签 * 输入项：标签名称 * 提示文案：请输入标签名称，最多20个字符 * 点击【添加】 * 输入框不能为空，否则提示：不能为空 * 添加成功后，关闭弹窗并直接显示已添加标签，右上角提示【添加成功】 * 最多添加20个标签，添加20个标签后，【添加标签】按钮置灰，鼠标移到按钮区域提示：已达到上限 * 标签添加成功后，右上角显示删除按钮，点击可以直接删除标签 :-:  * 业务元数据导入功能 * 点击【导入业务元数据】，立即弹窗显示【本地上传】入口。 * 用户需先点击【注意事项】中的模板（允许用户自己根据模板拟制） * 在模板完成业务元数据和标签的设置后，点击【本地上传】该文件即可。 :-:  * CSV下载文件 * 点击下载后，要求文件内容与该表的业务元数据完全一致 * 表结构完全一致，字段与当前该表的字段一致。 * 标签列显示该表目前已添加的标签信息。 * 其他列也要求显示用户已输入的信息。 * 输入完成后，需要将文件另存为CSV UTF-8(逗号分隔)(.csv) * 本地上传后，要求判断以下内容： * 字段、标签列名称要求一致（不允许修改该列的column name），否则上传你失败，并提示：列名有误，请重新上传 * 字段列下的字段名称要与当前该表结构的字段名称一致，否则上传失败，并提示：表结构不一致，请重新上传 * 若格式有误，则上传失败，并提示：文件格式有误，请重新上传 :-:  ##### 评论区 * 元数据管理表级别增加tab评论区 * 元数据管理-表级别tab排列顺序为：技术元数据、业务元数据、样例数据、评论区 * 支持用户在评论区里对表添加评论以及回复评论 * 进入评论区显示评论人的头像以及评论提示栏。 :-:  * 点击提示框，出现输入框，发布和取消按钮。 * 用户可以在输入框输入评论内容，最多可输入300个字，点击发布按钮即可创建自己的评论 * 输入框不允许为空，否则提示“不能为空” * 点击取消按钮评论框消失，展示之前的页面。 :-:  * 评论成功后，页面要求展示出评论人的头像➕用户名、完整的评论内容、评论的具体时间和回复按钮 * 多条评论时，要求评论内容可以滚动查看，页面顶部浮层一直显示评论提示框。 * 评论按创建时间排序，最新评论在上，评论早的在下 :-:  * 用户自己或者其他人可以回复评论，点击回复按钮进行回复，每条评论或者回复左下方都要求显示回复按钮，可多次回复。 * 点击回复按钮，要求在评论下一层级展示出“回复人信息、回复框，发布和取消按钮。 * 评论与回复有明显的页面层级显示，所有回复隶属于该评论之下 * 输入框不允许为空，否则提示“不能为空”，最多可输入300个字 * 点击发布，则回复评论成功，点击取消则要求展示回复前的页面。 :-:  * 回复给创建人 * 回复给创建人，要求显示出回复人（头像➕用户名）、回复具体时间、回复内容以及回复按钮 *  回复成功后，评论人区域右侧显示收起回复按钮，点击收起回复，则该评论下的所有回复被隐藏 * 收起回复后，要求出现展开回复按钮，点击展开回复，则该评论下的所有回复均被展示出来 :-:  * 回复给回复人 * 回复层级为同一个层级，点击回复按钮，要求在回复最下方展示出谁回复给谁、输入框、发布及取消按钮，逻辑与评论和回复一致。 * 回复成功需要明确显示谁回复给谁，要求显示出回复人(头像➕用户名）回复 创建回复人、具体时间、回复内容以及回复按钮 * 多条回复，则回复早的在上，回复晚的在下 :-:  * 多条评论 * 页面有多个评论或回复时，要求评论和回复内容可以滚动查看，页面顶部浮层一直显示评论提示框。 * 点击评论提示框，则要求下方展示出输入框、发布与取消按钮。 * 多条评论，要求按照评论的时间先后排序，最新评论在上，评论早的在下 :-:  * 删除功能 * 只允许自己删除自己创建的评论或者回复，只有自己创建的评论或者回复下方，回复按钮右侧才显示出删除按钮 * 评论人删除自己的评论  * 点击删除按钮，弹窗提示用户： * 标题：删除评论 * 主文案：确认删除此条评论吗？此评论下的所有内容也将一并删除。副文案：删除后，将无法恢复。 * 点击删除按钮，此评论及此评论下的回复均被删除         * 回复人删除自己的回复，每条回复都独立存在，只会删除本条回复 * 点击删除按钮，弹窗提示用户：  * 标题：删除回复 * 主文案：确认删除此条回复吗？副文案：删除后，将无法恢复。 * 点击删除按钮，此回复被删除 :-:  * 通知 * 评论通知：要求给表负责人发送通知，告知表负责人有人对表进行了评论 * 包括：评论图标、表名称、提示文案以及通知具体时间 * 表名称：要求显示用户评论的表名称 * 提示文案：***（创建人）评论：评论的具体内容 * 回复人回复评论时，要求给该评论创建人和表负责人发送通知，告知有人对评论进行了回复 * 包括：回复图标、表名称、提示文案以及通知的具体时间 * 表名称：要求显示用户回复的表名称 * 提示文案：***（回复人）回复：回复的具体内容 * 多次回复时，要求给表负责人、评论创建人以及回复人发送通知，告知有人对评论进行了回复 * 包括：回复图标、表名称、提示文案以及通知的具体时间 * 表名称：要求显示用户回复的表名称 * 提示文案：***（回复人）回复：回复的具体内容 * 点击通知的具体内容，要求直接跳转到评论区该评论或回复的准确位置，以方便用户查看评论或回复的详细信息。 :-:  #### 视图搜索结果 * 点击任意搜索结果，立即跳转到总览对应的视图详情页。 :-:  * 用户可以查看技术元数据、业务元数据和样例数据 :-:  :-:  ##### 技术元数据 * 用户可以查看视图结构。 * 用户可以查看视图结构变化。  ##### 业务元数据 * 基本逻辑与表的业务元数据逻辑一致 ##### 支持用户手动刷新视图结构 * 基本逻辑与表的刷新逻辑一致 #### 字段搜索结果页 * 点击任意搜索结果字段，立即跳转到该字段所属的表信息详情页。 * 要求定位到表结构该字段，字段位置居中与页面，并要求高亮3秒，3秒后消失特殊效果。 ### 3、总览 * 添加【数据源入口】 :-:  * 点击【添加数据源】，立即弹窗显示要求用户选择数据源类型 * 只显示：MySQL、SQL Server、Oracle、PostgreSQL、FTP、S3 * 选择数据源类型后，配置数据源的方式与与新建任务添加数据源一致。 * 添加数据源成功后，立即关闭弹窗，右上角提示：【添加XX数据源成功】。 * 添加成功后，要求立即显示在总览列表中。 :-:  * 支持搜索功能以方便哦用户查看数据源详情 * 内容：搜索、后退、数据源列表、Table列表搜索 * 搜索范围：数据源名称、用户名或Schema、表名称、视图名称 * 输入搜索关键字，要求只显示对应的对象。 #### 数据源列表 * 用户可以点击总览，进入总览页面，看到所有的数据源。 * 支持用户在数据源详情页添加标签 :-:  * 用户可以搜索数据源名称、用户名或Schema、表名称、视图名称以查看数据详情。 :-:  * 用户可以展开左侧的数据源，查找相应的表和视图。 :-:  * 当数据源为FTP数据源时，点击数据源展开按钮，显示该文件系统（或S3）数据源下最长子目录。 :-:  * 子目录是该文件系统根目录下最长目录，不会再扩展显示其子目录。 * 当数据源尚未被任何数据任务所激活，也要求显示其所有的子目录。 * 点击任意子目录： * 显示相关元数据详情页面。 * 检查更新该路径下的表结构。 * 若任意子目录没有csv文件， * 则技术元数据和业务元数据表结构部分显示为空，提示：暂无表结构 * 点击【样例数据】，则提示：暂无样例数据 #### 后退 * 用户点击【查看总览】/【搜索结果】进入总览页面，点击【后退】返回到数据字典首页。