XX区数据资源全周期管理系统建设要求.docx

XX区数据资源全周期管理系统建设要求一、项目概述（一）与项目有关的基础设施情况XX区数据资源全周期管理系统在全省数字化改革1612架构下，为积极响应数字化改革的发展目标，实现问题数据可追溯、可定责，保证数据的及时性、准确性、完整性，促进数据“易管”“好用”“合规”。在政策要求明确、社会基层需求迫切、省市一体化智能化公共数据平台、IRS（XX省一体化数字资源系统）、城市大脑XX平台系统等相关软硬件基础条件进行升级建设，并尽最大可能保障系统运行的稳定性、安全性。（二）项目建设概述为进一步落实一体化政务大数据体系建设要求，结合XX区数据日常管理实践，并基于省市数据工作要求，以“全周期”“全要素”“全层级”为管理目标，打造具有XX数据管理特色的数据资源全周期管理系统，主要内容包括数据可视化中心、数据资源中心、数据质量中心、数据监管中心四大中心。结合该系统开展数据全周期流程闭环管理工作，提升数据管理系统化支撑能力。二、建设内容XX区数据资源全周期管理系统项目建设，具体建设清单如下:序号建设项目建设内容功能数量单位1XX区数据资源全周期管理系统数据可视化中心（首页）全周期指标分析/1项2工作台待办事项1项3月度报告分析1项4数据资源管理全局检索1项5任务交办1项6数据资源中心数据编目数据目录1项7归集数据目录1项8接口数据目录1项9共享数据目录1项10基础库/主题库/专题库1项11物联数据目录1项12资源数据源管理1项13应用区内应用1项14专项指标开发/1项15库表对接与系统对接库表对接1项16系统对接1项17数据质量中心数据标准数据标准参考1项18规则管理质量校验规则1项19标准化字段1项20检查方案单表质量检查1项21应用场景检查1项22质量问题质量问题报告1项23质量问题清单1项24质量问题处理1项25业务库数据质量核验组件部门概览1项26质量中心功能组件化处置1项27数据监管中心人员服务人员概况1项28人员清单1项29入场审批1项30离场审批1项31请假审批1项32数仓应用数仓统计1项33区级数仓1项34部门/镇街数仓1项35数仓账号1项36信息管理厂商信息管理1项37人员信息管理1项38标签信息管理1项39项目信息管理1项40数仓信息管理1项41科室资源管理1项42数据标准库管理1项43数据开发任务管理1项三、详细建设内容（一）建设背景XX省积极探索以地方性立法推动公共数据规范管理，在XX省公共数据条例中要求：公共数据主管部门应当建立健全数据全流程质量管控体系，加强数据质量事前、事中和事后的监督检查，及时更新已变更、失效数据，实现问题数据可追溯、可定责，保证数据的及时性、准确性、完整性。市大数据局组织召开高质量数据供给体系建设工作推进会上强调从数字化改革的数据需求出发，从技术、管理、流程等方面入手，立足改善数据供给质量，强化平台支撑能力，实现数据从可用到好用易用，确保数据供给高质高效。XX市公共数据治理工作细则数据质量监控中第八条指出数源部门应建立本部门数据质量的流程化控制体系，在数据新增、变更、采集和加工环节采用系统自动化校验和人工审核相结合的方式加强源头质量管控，对于不符合质量规则的数据进行及时改进。第九条数源部门应制定本部门数据完整性、唯一性、精确性、一致性、及时性等质量评估指标体系，定期开展数据质量评估分析工作，提出数据质量问题清单，形成数据质量报告，制定和实施数据质量改进方案。近年来，XX区公共数据管理体制机制逐步建立。在数字化改革背景下，建立一套符合法治基本要求、适合XX区实情、有利于促进公共数据依法管理、依法应用的规章制度，是推动改革更可持续、更好发展的重要保障。基于XX区公共数据管理能力的迫切需要，xx省公共数据条例在地方层面的细化落地探索，起草XX市XX区公共数据管理办法。公共管理和服务机构应做好公共数据收集、归集过程的数据管理，承担本机构数据仓的公共数据安全管理责任。政务信息化项目正式上线后，公共数据资源需接受XX区公共数据平台统一监管。公共数据主管部门统筹管理和指导全区数据治理工作，完善公共数据治理机制，健全数据全流程质量管控体系，负责数据质量监督检查，协调、推动数据质量问题解决。公共管理和服务机构应当根据本机构履行职责需要和公共数据主管部门的工作要求，对本机构公共数据开展数据治理，并对问题数据进行及时处理，确保源头数据标准化。数据治理遵循谁提供谁管理、谁使用谁反馈的原则，采取“发现一反馈一修正一共享”闭环管理。公共数据主管部门应建立统一的数据问题反馈通道，支持省市区三级问题流转。公共管理和服务机构应指定专人负责统筹协调本机构内部数据治理和外部机构联系工作，实现问题闭环处置。(二)建设需求本项目的建设内容包括数据可视化中心、数据资源中心、数据质量中心、数据监管中心四大部分。通过本系统的建设完善数据质量主动发现和处置机制，助力数据管理者对数据资源的高效管理，提高数据资源高质量供给，提升数据质量实施效率，依法健全数据合规管理机制。具体建设需求如下：一、数据可视化中心。支持系统全域式基础数据概览，一屏总览数据归集、数据仓、数据治理、数据共享、数据开放、数据合规多个环节的重点数据情况。同时提供待办事项及月度报告的快捷查看和办理入口。(1)全周期指标分析透视出重点数据情况，支持对数据归集、数据仓、数据治理、数据共享、数据开放和数据合规等数据全周期管理相关指标的统计分析。（2）工作台待办事项。作为数据全周期管理的快速工作台，可快速分拣“待我处理”、“我已办理”、“我发起”并进行跟进处置。并支持全量事件的查看与处理。打通人员管理事项（入场、离场、请假）、接口异常问题整改业务申请、已编目未归集问题整改业务申请、已归集未编目问题整改业务申请、数据表未更新问题整改业务申请、区级仓MtaWOrkS账号申请事项等数据资源全周期业务处置。支持按照类型搜索、查看事件详情并快速办理。月度报告分析。月度报告分析模块可集中查看自动生成数据资产的分析报告,分析数据质量情况、数据问题情况、各部门问题数据情况、数据资源编目情况、数据归集情况、区级数仓情况。以列表形式展示所有月度报告，并支持根据关键词搜索相关的月度报告。（3）数据资源管理全局检索。整合数据目录、接口目录、数据表、应用、部门数仓、人员和区级、部门数仓账号等数据资源，统一查询入口，支持通过资源名称、资源编码关键词进行检索。任务交办。支持发起任务交派，可自由选择任务流向，需描述交派的任务内容之后发起任务。发起任务之后，按相应流程进行审批、反馈完成任务闭环。 需使用可视化展现数据全过程管理的各个环节，需形象的体现各环节的关系。 相关分析数据需钻取查看数据情况。 需按照待办事项类型进行统计分析。二、数据资源中心。以“数据表”为核心，全方位展示全区各部门目前数据目录指标情况，增强管理者对数据资源的感知度，摸清数据家底状态。同时，实现数据和目录的自动化比对，透出编目、归集过程中的漏项、缺项，驱动目录与数据的对齐。（1）数据编目数据目录。一是编目信息。同步IRS数据目录情况，并扩增开放数据、静默数据信息补充。支持查看目录详情,包含编目基本信息、数据资源详细信息、使用本目录的应用系统、数据项等。二是编目统计。通过数据分析，可视化展示数据编目概况。主要包括STG层（部门、数据表、数据记录、数据编目等）、单表数据记录数量情况分析、IRS编目概况、部门编目情况、共享及更新情况。归集数据目录。一是数据仓。支持对数仓数据统一监管，支持条件搜索查询及数仓数据清单的基本信息、血缘关系，表字段列表等详细信息。条件字段的可包括数据来源、数仓类型、数仓层级、编目状态、开放状态、更新状态、主题标签等。通过筛选STG、ODS.DWD.DWS,ADM等数仓层级展示各层级数仓数据表统计值和数仓数据表详情列表。对数据情况进行标签化展示。对已进行过质量分析的表，可直接查看该表的质量报告。二是数源单位筛选。支持对数源单位统一管理查询，对根据数源单位或关键词进行搜索筛选，查询数源单位数据情况，并以列表形式进行展现。可进一步查看数仓数据信息。三是排查更新问题任务。支持排查更新问题的发起，发起任务之后，通过审批反馈进行闭环。四是编目任务。未编目的表支持编目任务的发起，发起任务之后，流转并反馈进行闭环。五是。数据任务交派。关联当前表单信息，发起可自动获取表单信息，发起数据表单相关任务。可自由选择任务流向，需描述交派的任务内容之后发起任务。发起任务之后，按相应流程进行审批、反馈完成任务闭环。接口数据目录。一是数据接口管理。支持数据信息的筛选、列表及详情展示。支持根据接口来源、共享属性进行筛选，列表可获取注册单位、联系方式、调用次数等信息，可进一步查看详情，帮助用户快速获取接口管理信息。支持数源单位筛选。二是接口排查。支持发起对应接口的接口排查任务至接口发布部门，可对异常问题进行相关描述，补充其他注意事项。共享数据目录。一是资源信息管理。对共享资源进行统一管理。支持根据输入资源名称和资源编码等关键词，并以列表的形式进行呈现。可查看数源部门、申请部门、使用方式、申请时间等信息。支持排序模式。支持数源单位筛选。二是共享分析。通过数据分析，将部门申请资源和数据局共享资源通过可视化的形式作展示。基础库/主题库/专题库。一是基础库/主题库/专题库管理。分页列表展示基础库、主题库、专题库相关信息，支持查看各库详情。按照业务分类查看不同数据库具体信息。根据数据库类型，自动筛选搜索条件相关的数据库。以列表的形式展现各个数据库，并能够查看各个数据库的详细信息，主要包括基本信息、表清单等。二是申请使用。支持对基础库、主题库、专题库的相关内容发起使用巾请流程，发起后按照相应流程审批反馈，流程结束后由专项人员实施进行完成闭环。物联数据目录。通过对接区内物联感知相关数据，展现区级相关的物联感知设备资源清单。接入隧道火灾报警设备、水位监测设备、车辆称重设备、智能监控等设备信息，可直接查看采集字段和设备点位以清单形式监测各项感知数据，智能分析反馈数据信息。支持对IoT资源进行包括但不限于标签分类、关键字检索、结果排序、数源单位过滤等操作。（2）资源数据源管理。对数据源进行统一的管理，数据源信息主要包括数据源的资源名称、数据库类型、数据库名、实例名、IP地址、资源类型、数仓层级、所属部门名称、所属项目、申请人、申请人电话等。可视化展示数据源相关的数据指标，支持查看数据源的详细情况和添加数据源。（3）应用区内应用。根据七大领域、发布端、应用类型、应用状态和应用属性，以及输入关键词等条件字段，自动筛选搜索条件相关的创新应用。以列表的形式展现搜索相关的应用系统。根据数源单位或关键词进行搜索筛选，查询数源单位创新应用的具体情况，并以列表形式进行展现。支持查看具体创新应用系统的基本信息、应用产生目录清单、应用使用其他部门数据清单、应用数仓的数据表清单等详情信息。（4）专