大数据平台下的数据治理.docx
目录大数据平台下的数据治理IT大集中下的数据治理案例大数据平台下的数据治理大数据平台下的数据生命周期归档热点活跃历叱管理仪表盘数据不准确历叱数据数据治理的关键场景生产数据?,Sa分析数据大数据治理面临的挑战异种数据和复杂数据大数据存储开非在一个站点，或归属一个单位，数据的所有权不地理分布属于多个机构的资源中。.1.>.1.>bS>r.1111wIunrx1.Hadp集祥/云梯实行流数据大数据的最大特点就是非结构化,如文档、报表、GIS信息、NoSQ1.通常传统的数据治理是面向结构化或者可以定义的非结构化数据，管理的是同类型属性的数据集，或者是连续的，或者是分类的。计算1500节点，每日48K8.处理数据1.51%凌晨点结束，结果20T存储层询层产1,n,1元数据一数据分析（血缘分析，影响分析）-UOOS.G1.OOM_FNANCIA1.RSJftftfceKtmWCWS*JCUX_G1.PROHD.产DMF1.NANC1.A1.eUX_G1.Ui*Sftft0-w.,1.CtW_FTHrptDMRPFM#I1.<M刈济小DM1C4kIA'I3CTfMtC/懂Q明明去1dmFinanqa1.cu.G1.UZ*便映射:KDM1.3COeSHCG1. eg_RWMM.*0CU定报名某闻欢,0RP1.DM则BSKRPT-DMRP_FT_G1._CHEttMMS3HRPTCMRPFMG1.XYM.HK用段太【&七 Ht*.'1.1.1.W*304«'*MWH8C1.¾AT三1JE18*月决射VwJMRP.Ha.OK.3APTJ)MRP-FMqJCfM.大型银行数据治理实践-“摸清家底优化管理'制度流程国家开发银行-数据治理方案电子流程应用数据标准应用数据应用元数据流程数据标准流程平台建设电a施数据标准实施数WX实施元数据实施电子流程功能数据标准功能数据质量功能元数据功能为统一报表系按建设提供元数据浏览、检索、分析等服务元数据应用流程：虽有管珅办法，但没有细化和执行流程目前主要应用为分支机构与项考核收推质量应用流程：虽有首理办法，但没有细化和执行流程数据管!里处对数据标准浏览,检索数据标准应用流程：虽有首理办法，但没有细化和执行流程六个电子流程已初步应用应用流程：已建立六个电子流程，但应用效果有限数据治理平台现状平台建设平台实施元数据数据质量数据标准电子流程一级功转6项，二嫉功能17项核心功能：元数据采集、元数据分析'版本管理、变更管理、数据地图、视图管理等一级功能5项,二级功能15项核心功能：数据质问:城发现、数据质量问题分析,数据质量提升、数据质量度量规则、数据质量考核.综合杳询等功能一级功能濒，二级功袋10项核心功能：基础类数据标准浏览,公共代码浏览'数据标准需求、数据标准发布'数据标准变史、数据标准执行、综合查询等 一圾功能6项，二级功能14项 核心功能：报表需求管理流程、数据交换管理流程,数据变更管理流程、数据模型管理流程等 元数据类别：农'字段'报表、友级映射.字段级映射、农到报表映射 涉及系统：12个业务生产类系统、9个管理分析类系统、3个业务支持类系统、ODS、RDM.中间表集市和财务集市 检核指标：2011年下半年12个考椽指标由系统进行检核，5个考核指标人工检核 检核鱼国：主要是对ODS数据进行检核 六大主雁管理：客户,产品、交易、财务,资产、协议 公共代码管理：173个代码 六个流程：报表新增需求管理流程、报表变更需求管理流程、数据交换需求管理流程、重要数推变更管理流程'后台数据变更管理流程、数据模型管理流程蕤劣EDw运维：探测上游模型变史主励将分析结果通知下游系统变一被励"为“主励”以方便业务人员使用元数据和电子市批洸程结合 从11®上明支持H接连接生产环境获取运行态元数挺 通过流程严格控制上游模型变更 从制度上妾求已有和新建系姣提供PDM和1.DM及对照 建议以满足RWA或市场风险的技嘉求为业务目标憔透敷优质的应用 考虑以满足银监会监管提出的原量需求为业务更励 细化故需质量提升策咯，避免在各个系蜿中孤立的数据质量检核和控制 故更接量瞥理流程、效据质量度量规则管理流程进行流程化控制 建议配合全流程信贷敷摄标港执行 对全流程信货中数据标准执行进行姣计评估被据标准的制定,评审、发布、执行、变更及复审进行流程化控制从制度上要求新建系坛提供敢枢标准汽地映射文件，在审枇环节和上线环节进行数娓标准执行情况评估从流程应用角度整合各模块之间的关系 细化元数据、数据庆量、数空标准流程 完岂报生需求、数据模型、数据交换流程 加强王要数据及后台数据电子流程的有效执行数据平台治理改进方案平台建设平台实施元数据数据质量数据标准电子流程增加或改jPPerI日志.“Cognos采集适配S Eram果集通过中文名称t赋建立PDM和1.DM关联 实现物理模型中文化 基于梭生变更流程探查上游栈里变更开依敕订阅进行通知 建立方便业务人员快捷获取业务K语定义的客，情 湿立多堆度的数据质量状况机困 基于EI1.事中+事后质量检检 基于I”.过程的原问题管理,提升检“窥则配置的灵活性 建立多维度的敷据标准执行情况视EB 对唐明已执行於指标港的系统进行检核分析,促迸奴据标灌执行 基于代码中文惯配探查代码执行情况 堤升数据标准使用友好性 打通电子洸程和元数据、数据原.数据标准之间的关系建设元数据、数推质量、数摄标准流程将运行态元数据及业务元敷拒纳入到元敛据集中管理采用工具对人工整理的口CEI»据进行采前质量控制采集过程元数据，如：报表使用信息等将系统调研成祟纳入元敛?S集中管理 建立做全的技术指I标体系 和业务部门充分沟通，建立满足业务痔求的业务指标体系 除了现有对OiH效招进行检核外还痛要对EDW数据进行检核 通过IBA程序域有效祗标准文格转换为适合采集的文档 通过b筲理效据标准文档.通过对比发现“同版本的爰异,为数据标*变更同步到知识库提供支持无中信银行数据治理体系建设规划短期中期 目标封宓确角色'落实流程'解决质量问题涉及系统：EC1.F系统,风险集市、ODS数据平台 管理范围：时IF系统、风险集市、ODS数据平台 核泄用:檄IJ翻憎、度量规则管理、检核方法管理'检核结果分析、问题解决流程、数据质量报告目*蒜位:质量妍全员参与、数据质量文化涉及系统：全行大部分系统誉联碌全行大部分元数据核匕应用:集砥T据治理平台'部署灵活的查询工具中信银行元数据管理系统本阶段实施情况元数据管理系统以ODS数据平台为切入点，重新梳理ODS使用的模板文件，对ODS的M叩Ping映射文件、I1.1.配置文件、U批次文件、源系统调研文件、FDM拆分规则文件等进行采集管理，通过实施打通了ODS内部各小组之间从生产数据到消费数据的通路，基于元数据的编辑、分析、导出等功能，提高模型变更工作效率、工作质量，辅劣ODS日常运维，是数据资产得到了及时的共享运用。元数据管理系统对服务治理项目提供支持，对服务治理的接口元数据、交易链路元数据'报文头元数据提供管理维护功能。平台建设平台实施平台应用制度流程元数据元数据采集'浏览'分析'变更管理、检索等核心功能基于权限控制的元数据果集功能基于模板文件的数据下载功能朋务署定时批采集功能类别：数据字典、Mappings调研信息、接口、报文头,交易抵路等系统：55个源系统、ODS系统、分发平台部分配置、II平台'服务治理（管理三千余个接口'六十多个报文头、三千余条交易链路）为ODS等提供元数据浏览,检索'分析、模型变更支持等服务服务治理提供浏览下载已初步制定了管理办法和流程细化出ODS模型变更流程数据库介质支持DB2中信银行数据质量管理系统本阶段实施情况数据质量管理平台最初是以管理ODS系统的数据质量为目标，对数据流转过程中的各个阶段进行数据质量统计结果的收集和统计。数据质量平台主要监控两方面信息：指标和reject文件。数据质量的业务指标执行依赖于ET1.P1.US调度平台，为了保证调度平台的效率，目前在生产环境中运行的业务指标只有80个。平台建设平台实施平台应用制度流程接口数据检核、关键指标检核、RCjCC1.文件分析等核心功转检核指标：1034个检核系统：QDS、对公CRM为ODS及应用提供数据质量的管理、对质量问题进行收集、分析、反馈已初步制定了管理办法和流程谢谢聆听!
