元数据管理模块方案.docx

书目1 .现状分析21.1 目前的逆境21.2 什么是元数据管理32 .目标分析32.1 建立完善的指标说明体系32.2 建立规范的元数据管理体系42.3 建立有效的数据稽核体系43 .功能概述43.1 元数据管理43.1.1 业务元数据53.2.2技术元数据63.3 元数据分析93.3.1 血统分析93.3.2 影响分析103.3.3 重要性分析I1.3.3.4 关性分析123.4 数据稽核123.4.1 稽核规则管理133.4.2 稽核任务调度133.4.3 稽核结果分析143.4.4 数据质量评估14345数据问题管理14元数据管理系统概述1.现状分析随着经营分析系统规模不断扩大，系统所枳累数据量也越来越大，收集到的海量数据背后隐藏若大量宝珍贵要的信息，但也同时提高r系统的数据管理难度：一方面难以对这些数据进行有效说明，缺乏对业务流程执行的实时监控和管理：另方面各部门数据与数据整合的难度也不断加大，影响到了经营分析系统中的数据质量.如何对现有数据进行深层发掘，并揭示出埋藏在元数据中的趋势、因果关系、美联模式等核心信息？这是下步深化经营分析系统应用的电信运营商须要解决的头等大事。构建B1.,首先要保证的是数据质量。元数据管理解决的问题就是如何把业务系统中的数据分门别类地进行管理，并建立数据与数据之间的关系,为数据仓库的数据质量监控供应基础素材。1.1 目前的逆境运用者（决策层、业务分析人员），1）经营分析系统中存在有许多报表，不同报表中存在一些相同的指标，这些指标往往不样，给业务分析和决策工作造成许多困惑，必需花费很大的精力去检查核实。2）对于许多指标，不清晰其具体含义，不清晰其反映的问题，不清晰其具体算法和来龙去脉。数据仓库项目开发雒护者：1）不同报表中的同一指标不一样，必需花费很大的精力去检查，目前基本上是通过手工检查表和存储过程的方式，效率较低.2）没有完善的开发、维护规范。比如，新增一张分析报表，开发人员依据业务人员的需求制作完成之后，往往没仃整理完善相应的数据指标说明和元数据管理，造成日后检查困难.3）开发、维护规范的执行力较低，没有行之有效的管控手段。不严格依据规范执行，随着项目的发展和时间的推移，导致数据仓库项目的健壮性和可维护性呈几何级数下降，给数据仓库的建设带来大量的重发工作。1.2什么是元数据管理元数据最本J贞，最抽象的定义为：daaaboutdata（关于数据的数据）。而对于经营分析数据仓库而言，形象的定义为:元数据就是数据仓庠的规范这些规范包括对各种指标的定义、说明：包括对各表中数据的来龙去脉、数据的大小和格式的定义.元数据管理，就是要建立一套行之有效的规位以及该规范的管控体系，实现从管理到查询到综合分析的全面管控，管理层次从接口到ET1.处理、业务逻辑处理、结果呈现处理和指标分析的方方面面，构成数据仓库应用系统的核心和基础。做到开发者能严格遵守规范，维护者和运用者有规范可配有力的保障数据仓库项目的健壮性和可维护性。2 .目标分析要走出目前的逆境，有下面三个方面的问题急待解决：2.1 建立完善的指标说明体系满意用户对业务和数据理解的需求,建立标准的企业内部学问传承的信息承载平台，建立业务分析学问库，实现学问共享.能够I可答诸如以下问题:什么是出帐用户数？在网用户数和网上用户数有何区分？什么是套径的生命周期？竞争对手新发展用户数是怎么得来的？这个数据还叫什么名字？2.2 建立规范的元数据管理体系让用户能够清晰的了解数据仓库中数据流的来龙去脉，业务处理规则、发展状况等，提而系统的可维护性、适应性和集成性，支持数据仓库/集市的成长需求，削减因员工换岗造成的影响。具体来讲，主要是对数据仓库建设、运行和维护的规范的管理。能够回答诸如以下的问题：哪张表是从业务系统抽取过来的原始话单表？竞争对手新发展用户事实表中的数据，是从哪些表汇总计算出来的？DW用户下的P_XXX这个存储过程是谁写的，现在还有用吗？我是新手，要生成套餐牛.命周期演化分析事实表，我该怎么做？表空间不够/,哪些表的数据可以捌掉？2.3 建立有效的数据稽核体系促进数据仓库的数据质量建设，为提高整个系统的数据质量奠定坚实的基础。建立报警、监控机制，出现故障，能刚好发觉问题。供应整体系统运营的状况分析。能够问答诸如以下问题：今日的出帐用户数过高，是怎么回事？数据集市层中的DM_XXX表中数据为空，什么缘由？A报表中的全省ARPU值和B报表中的ARPU值为什么不同？3 .功能概述3.1 元数据管理对数据仓库的层次结构、主题域划分，各层的各种对彖，如表、存储过程、索引、数据链、函数和包等的管理。能够清晰的呈现各层次结构之间的数据流程，图形化呈现各对象之间的关系，呈现表中数据的来龙去脉。业务元数据包括以下信息：运用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据来源；系统所供应的分析方法及公式、报表信息.业务元数据管理除了管理上述信息外，还供应对业务元数据来源的管理和差异性对比功能，运用户能够便利的查询、比较和追溯。包括两个子模块，指标管理和指标说明接口.指标管理：主要实现对全部指标的维护功能，维护指标的基本信息、业务规则和技术算法等。能够呈现各个主题分析中的指标，以及指标间的区分等信息。iB3*CJcrmOcrm-uJSttWyffU用4口稼IDIINig计伯2.1 EO1.MMPRSX射2 E02收入S/兄町贬中3 E03京，X*%”卢更4 E04m11R个WA三-STJ1.n度分三及W明5r林2.0>3fi*分析标性*E03别名称动电法。*零北务3啕+喇"动电运用户方6顺MZ城内人口射的比X.技米85没SC1.ECTFROMBF_GSM_CA1.1.T0HN6FK时点我it三单除无£喇同20070723BMBSD计费每I1旃*If埠W共6旃U6防指标说明接口：供应统一的接口，运用户能够在经营分析系统或CRM系统中，点击任指标名称，即可查看该指标的具体描述和说明说明。经营分析系就联机帮助Z1.流失用户数上月出帐本月不出帐的用户数技术元数据是存储关于数据仓库系统技术细微环节的数据，是用于开发和管理数据仓库的数据，主要包括数据仓库结构的描述（各个主题的定义，星型模式或雪花型模式的描述定义等）、ODSU（操作数据存储ODS.OperationDataStorage）的企业数据模型描述（以描述关系表及其关联美系为形式）、对数据稽核规则的定义、数据集市定义描述与装载描述（包括CUbe的维度、层次、度贵以及相应事实表、概要表的抽取规则系统除了维护技术员数据的基本信息外，更以图形的方式呈现和管理各技术元数据之间的关联关系和来源。技术元数据管理主要包括以下几个功能模块：元数据杳询：按关键字、分类、主题域名称等维度进行查询，呈现该元数据的基本信息，如业务描述、技术描述、计量单位、所属分类等信息.元数据维护：对元数据的基本信息进行维护，包括增、删、改。-ocrmmOcrm用际，雪分析正支承Udm三C>ss*分析林53金3DM'-MCOO6CX>ss元,*本£：元R鬣名堂BF.GSM_CAU_T寰*KPtM34I砒06402月的话丸塔*指疑外曲G同断有用尸EH*½SE1.ECTFROM8F_GSM_C3JZFiBff1.mS修书发dVt佐冕2007年07月23日所ItW1.市场前V陋也元数据关系查询：呈现元数据之间的关系，如：按经营分析数据仓库的各个层次进行呈现：按元数据之间的映射关系呈现：按元数据的处理流程进行呈现等等。元数IeK:总而值为1"出元求冕序为界面迸行日寿七：出先用户索元数据关系管理：时元数据关系进行维护，包括增加、删除和修改。点击阳），刊出元矽完逸界界面，S*S.,%Mfa:创B元t3:S匍B户.IDMH画9U：出住用户教如上图所示，限标右键点击某个节点，对该节点进行增、删、改操作。ASCAWb一出元双客瑞得木面法行3%.势.A龙蚂:CPP<XKT.MO贰第节.4上3零段免勺:出行±0«|：fS丽而点由谕捽J，现出元酸麒谕择界面，进行Hinh停右俱也«3.3 元数据分析血统分析、影响分析、表克要程度分析、表无关程度分析等等，通过上述分析，让用户对整个数据仓库总体上有清晰的相识和理解，解决数据孤岛的问题.3.3.1 血统分析数据血统一Data1.ineage,通过数据血统分析，用户可以知道数据何时更新、如何计算以及从何处而来，全部这些手段帮助用户追溯报表中数据产生的来源。这种深化洞查数据来龙去脉的实力对于帮助用户更加信任他们的信息来说，具有至关重要的作用。帐JKtE话单衰业务生产系修移动大客户信息展现移动新人网用户信及现3.3.2 影响分析影响分析关注的重点是数据的流向,供应端对端影响分析，使您能够里见源系统发生改变时，B1.报表受到的影响,而因此可以轻松地处理B1.环境中的改变。3.3.3 重要性分析分析B1.系统中，用户最关切的分析主髭、报友和指标，追溯这些分析主题、报表和指标涉及到的元数据，这对于B1.系统和数据仓库开发团队具有市要的指导意义。分析各元数据对象之间的关联密集度，分析数据仓库中各层次的包、表等对软的重要程度，指导数据仓库开发和维护团队对重点元数据进行重点关注和历证监控.3.3.4无关性分析与重要性分析相反，随着数据仓库系统的规模不断犷大，业务需求的日益改变,会产生肯定数量的无关数据、信息和报表，找出这些无关的内容，结合业务需求分析其产生的根源，从而为用户简化工作负载，降低项目总拥有成本，为用户供应研信任的数据和分析实力，品表无关签成报表名药关注度（人次）渠道躬泊日报面向领导层面的决策支持O自定义登名日报分析政策与市场对品牌发展的我BS密唱2产品群分析分析钿雌展种苴3芟站话务量分析与日常业务运营相关的数Jg7点击报表名称，可查看该报表涉及我的相关数据来遁分析3.4 数据稽核依据预先配设的规则、.算法和质量检杳度量，对数据的精确性、合理性等多角度的检查，以刚好发觉问题，解决问题。对于稽核结果，进行统计分析，形成结果报告，为以后的数据仓库建设、实施和维护的改进打卜.坚实的基础。3.4.1 稽核规则管理接口数据检验：对接口数据的过程进行稽核和校脸，分为文件接口，DB-IJNK接口，其他异构数据库接口。处理过程检验：对数据处理过程进行监控和稽核，分为JoB稽核，工作流稽核，其他处理方式稽核等。处理环境检验：对数据处理环境进行检查,针对不同的应用环境，主要分为数据库系统检查、主机系统检查、接口机检查、应用服务器检查.日志监控：在ET1.自动运行的过程中可能出现各种各样的错误，比如ET1.过程申请的资源超过硬件的物理限制（存储不足或者排序空间不足）。通过检