XX学院智慧决策平台项目建设要求.docx

XX学院智慧决策平台项目建设要求一、建设目标随着学校的不断发展及信息化教学的推进产生了大量的数据，如教职工、学生、资产、教学、科研等等，这些数据是学校最为重要的资产之一。“十三五”期间建设的CRP平台，现已不能满足现代职业教育数字化的发展的需要、数据量大且缺乏统一管理，不具备智能分析决策功能。如何精准把握学校发展脉搏，做出科学合理的决策，是学校领导最关心的问题。如今，随着大数据、人工智能等前沿科技的飞速发展，构建教育数字大脑已成为破局的关键，它能将海量数据转化为决策的“燃料”，为学校发展注入强劲动力。学校里各业务系统宛如一座座信息孤岛，教务系统里藏着课程安排、学生成绩，人事系统里存着教职工档案、考核数据，财务系统里记录着收支明细、预算执行情况，这些宝贵的数据分散各处，难以互通有无。这不仅让数据价值大打折扣，更让决策者在急需数据支撑时，常常陷入“数据迷宫”，难以迅速获取准确、全面的信息。为贯彻落实XX省教育厅关于实施省域高水平高等职业院校建设计划的通知(X教职函(2021)42号)中提出的“建成省内标杆、国内一流、特色鲜明的国家高水平高职院校”的工作要求，XX学院智慧决策平台项目将助力我校为XX省高职教育数字化标杆学校建设打好基础，建设数据共享平台，打通与校外系统数据协同共享对接,整合分散在各业务系统的教育数据资源,打破信息孤岛，实现跨部门、跨层级的数据共享与交换，构建全面、系统、实时的人、财、物等专题领域的校园数据视图，提升校园管理效能，优化资源配置，辅助管理者科学决策。智慧决策平台建设完成后，决策平台深入校园核心业务系统，全方位、无死角地进行数据采集。它基于教育信息化数据相关标准，搭建起一个庞大而有序的数据仓库，为学校各类应用场景提供数据交互共享服务。有了智慧决策平台，教学质量诊改、专业综合分析、人才培养状态数据统计、大数据分析等应用都能在这里找到所需的数据，数据孤岛将被逐一攻克。二、建设内容（一）决策基础系统功能名称详细描述数量引擎能力一、为保障平台的安全性，稳定性，需配置不少于3个节点，实现资源的负载均衡，提高并行处理能力、同时分布式架构具备高可用性和容错能力，保证系统在2节点故障情况下平台仍能提供一致性和可用性。1 .具备RDBMS、MPP、Hadoop>spark、flink主流应用场景。2 .提供实时数据抽取引擎、离线数据抽取引擎、网络数据采集。3 .提供数据采集工具，包括不限于实时数据同步工具QuickSilver,日志采集工具Flume、Logstash,离线库表采集工具DataX、SqooP等。4 .提供分布式数据存储，可提供块、文件系统、对象存储多种数据存储和访问方式。5 .支持运行、停止QUiCkSliVer实时同步工具。6 .提供关系型数据库，提供分布式事务保证数据一致性，提供单列索引、复合索引、哈希索引、增量索引等数据库索引方式。7 .提供分布式数据库,包括面向PB级数据的MPP分布式数据库，提供事务处理。8 .提供Postgres>Greenplum、GaUSSDB、达梦DB>优炫DB、HDFS>HbaSe、HiVe存储引擎。9 .提供流处理引擎,包括Flink、SparkStreamingFlinkX,满足实时流计算场景需求。10 .提供批处理引擎,包括SParkSQL、HiveSQL,满足离线批量文件处理场景的需求。1套11 .提供算法库，包括SparkMLLib>Numpy>Pandas,满足算法设计和模型构建的需求。12 .基于Flink计算引擎的流数据处理能力。13 .提供交互查询服务引擎，包括Presto、Impala,满足实时、多维、交互式的查询服务。14 .提供向上提供数据接口支撑、对代码进行APl函数封装。平台提供对API的访问权限进行审核，提供对数据接口字段级别的应用授权控制。15 .分布式任务调度引擎提供大规模任务调度，流程调度，为ETL抽取、数据分析、定时任务提供调度服务。16 .提供对Hadoop组件的任务编排、执行的功能。以Web应用程序的形式运行，并使用数据库来存储工作流定义、当前运行的工作流实例。17 .提供全文检索服务，提供丰富的查询语言，同时实现可配置、可扩展，并对查询性能进行优化。18 .提供资源管理组件Yarn,任务管理组件Oozie>Zookeeper,HUE,提供权限管理和认证组件Kerberos、Rangero（二）基础信息流转系统功能名称详细描述tz-.数量元数据管理一、为保障平台的安全性，稳定性，需配置不少于3个节点，实现资源的负载均衡，提高并行处理能力、同时分布式架构具备高可用性和容错能力，保证系统在2节点故障情况下平台仍能提供一致性和可用性。具有国产化操作系统包括银河麒麟操作系统、中科方德高可信服务器操作系统、红旗Asianux服务器操作系统的兼容认证证书。1.提供连接包括但不限于达梦、优炫、PostgreSQL、Oracle、SQLSerVer、MySQL数据库，文件支持导入CSV类型的数据等数1套据源的能力，包括关系型数据库、MPP数据库和分布式数据库、国产数据库，数据库包括不限于支持接入达梦、优炫、PostgreSQL、0racle>SQLServerMySQL数据库等,文件支持导入CSV类型的数据，推送接口，可通过接口接入数据。2 .提供数据源下钻查看表和视图的元数据信息。3 .支持默认内置汇聚层、开发层、主题层和服务层四个分层，可以根据业务需求增加多个分层，提供自由添加分层，进行更细化的数据分层管理。每个数据层可以自由选择不同类型的存储数据库作为存储引擎。4 .需提供对数据分层进行排序和编辑修改，提供分层总览，用户查看每个层的存储源数量，存储的数据表的数量进行统计。方便用户总览数据的存储情况。5 .平台支持可视化快速建表，可以根据数据源同步的表的元数据单表、批量导入建表，也可进行标准化建表、对于ddl方式建表提供同步数据库表信息来实现建表操作。6 .支持单表、批量导入的方式导入表信息、表结构进行快速建表。批量导入时可以将表所属的编目信息也导入到数仓的编目元数据中。7 .支持至少4级的编目体系，可以根据具体业务场景自由对编目的级别进行调整。8 .支持对于编目进行位置顺序的移动，重命名、新增、删除等操作。以满足平台使用过程中业务场景逐渐丰富对于编目的扩展性需求。9 .提供查看实时消息流的名称、分区数、副本数、消息总数、关联的实时任务名称以及创建时间。提供新建实时消息流功能,并提供删除操作。提供查看实时采集关联消息流的元数据结构。10 .提供数据标准进行全局检索，能够查看数据标准以及标准详情,提供数据标准配置标准名称、取值范围、正则表达式等详细信息。11提供导入、导出标准字段库/代码集/编码规则，其中标准字段库可供数据建模时使用，提供excel、CSV格式。12 .提供自定义函数功能，导入事先写好的函数包，在平台上一键注册并使用，提供上传并管理自定义JAR包函数，自定义函数兼容HiveSQL语法的JAR包格式。提供在工作流脚本中代码调用自定义函数。13 .提供管理脱敏规则，包括新建、编辑、同步、删除脱敏规则。提供数据共享调用脱敏规则对数据进行脱敏。提供管理资产数据的敏感等级，包括新增、编辑、删除、查看等操作。系统预置三个敏感等级：Vl（高敏感）、V2（中敏感）、V3（低敏感）,且预置的敏感等级名称提供修改。提供自定义扩展敏感等级。14 .提供管理敏感数据识别规则，包括新增、编辑、删除、查看操作。系统提供默认敏感数据识别规则，包括身份证、手机号、邮箱、银行卡号等敏感数据的识别。提供灵活自定义识别规则对敏感数据进行识别。提供设置敏感数据识别模板，将多个零散的规则组合成为一个有业务逻辑的模板，在敏感数据识别中能同时进行多个规则识别。15 .数据容量结构化数据表支持百万级别，支持TB级别数据，分布式数据库支持100TB以上的分析能力，支持PB级别的数据存储和处理。数据采集1 .支持至少包含：单表采集、批量采集、实时采集、自定义采集等不少于4种灵活自主的采集方式；采集策略需至少提供全量和增量抽取两种类型；提供任务上线时配置前置任务作为任务执行依赖条件；2 .数据采集模式单表、批量、实时采集需要提供向导式界面化创建采集任务。3 .采用批量采集方式采集数据，采集过程源表和目标表可以自动形成字段映射关系，并支持手动调整。4 .支持界面化一次性配置实现整库或多表数据的同步。5 .支持检测存储源是否存在同名，提供忽略、覆盖、追加三个同名需解决策略、提供批量设置。6 .支持多种数据源采集任务配置模板，提供代码化设置采集任务，实现多样的采集需求。7 .采集数据的能力需具备极强的兼容性，采集的数据源类型至少包含：MySq1、OraCle、HiVe、Teradata、PostgreSQL>SQLSever>DB2、Greenplum、DRDS、FTP>HbaSe、HDFS>MongoDB>Inceptor>ArgoDB>KUnDB、ODPS>OSS、OTS、Stream、Txtfile等多种类型数据源。8 .需提供关系型数据库,包含不限于Oraclemysqkpostgresql数据库的实时同步。需提供历史数仓(Hive)和实时数仓的配置。9 .需提供实时采集入到带kerberos认证的hive,提供将采集的数据按设置的HiVe分区存储。10 .提供调度任务列表，需提供按照运行状态、任务类型等条件对任务进行筛选查询。11 .采集任务调度执行策略，可以按照分钟、小时、天、周、月、固定频率、固定延迟和自定义表达式方式进行任务调度12 .需提供按任务名称进行检索。需提供对整体任务的运行状态可直接查看。13 .单节点离线抽取速率最高可达250Mbs,最大平均速率为不低于20W条/秒，实时抽取效率可实现秒级同步，实时抽取单节点最高可支撑不低于20M的峰值流量。数据分1 .需提供新建数据分析任务的功能，实现设置任务名称、制定管理目录、添加业务标签和详细的任务描述。2 .需提供任务的整体信息视图，可查看任务名称、创建/修改时析模块间、调度策略、上线状态、标签、描述。3.需支持建设一个数据分析任务，至少包含数据接入、标准化、数据落地等内容，对落地的数据表可进行敏感数据识别。4 .需提供数据接入组件，提供用户查看和编辑数据输入的基本信息功能，提供根据用户设置的筛选器筛选数据。5 .需提供质量探查组件，需提供基础探查，按照空值率探查，类型探查，长度探查，数值范围探查和字段内容探查。需提供深度探查，按照数据标准规则、业务规则和正则表达式探查。需提供对探查到的数据问题进行强弱分级，提供在问题数据查看探查结果。需提供用户查看和编辑质量探查的基本信息功能。需提供根据质量探查结果输出问题数据。6 .需提供标准化组件，至少包含：字段名称标准化、代码值标准化、添加备注信息功能。提供为标准化后的字段名增加前/后缀，实现标准的重复利用。提供Al自动映射或手动拖拽映射的方式映射标准代码值。提供标准名称添加前、后缀区分不同的字段标准化结果。提供用户查看和编辑标准化的基本信息和输出信息预览功能。7 .需提供数据加工组件，提供联表查询和可视化的数据处理，包括添加缺省值、替换指定内容、字段内容拼接、字段内容运算、截取指定位置内容、指定内容添加文字、删减指定内容、合并字段内容、分裂字段内容。提供用户查看和编辑数据加工的基本信息功能。8 .需提供数据安全组件，系统内置三种类型的脱敏算法：替换、截取、加密。提供对表中敏感字段设置脱敏规则，分析的数据能根据设置的脱敏策略正确入库。提供用户查看和编辑数据安全的基本信息功能。9 .需提供敏感数据识别