省级BI规范-元数据管理功能实现方案.docx

中国移动通信人%ll>梃QB-X-00X-2006由国跋钥如幽谷4圻SS2006实施发布2006中国移动通信发布ZU>¾&*三EVNQVV1.3. 元数据访问层31.4. 元数据标准要求-CWM模型32 .元数据管理实施步骤42.1. 元数据库逻辑模型设计422元数据的提取42.3. 元数据的存储52.4. 元数据访问接口实现72.5. 元数据的业务应用实现82.6. 元数据的维护与管理83 .逻辑模型设计83.1. 概述83.2. 逻辑模型映射规那么93.2.1. 类到实体的映射91.1. 1.1.类的映射91.2. 1.2.属性的映射91.3. 1.3.继承模式映射103.2.2. 关联映射103.2.3. ,引用映射113.3. 数据逻辑模型主题域E-R模型H3.3.1. ,核心主题123.3.2. ,行为主题163.3.4. 实例主题183.3.5. 业务信息主题193.3.6. 数据类型主题203.3.7. 表达式主题213.3.8. 键和索引主题223.3.9. 软件部署主题233.3.10. 类型映射主题253.3.11. 关系型主题253.3.12. 记录主题（可选）293.3.13. 多维主题313314.XM1.主题（可选）313.3.15. 转换主题323.3.16. O1.AP主题353.3.17. 数据挖掘主题383.3.18. 信息可视化主题533.3.19. 题（可选）553.3.20. 仓库处理主题563.3.21. 仓库操作主题623.4. 关系型逻辑模型实现方法643.4.1. 实体映射规那么643.4.2. 继承的实现规那么653.4.3. 关系的转换规那么653.4.3.1. 一对一关系的映射65343.2.一对多关系的映射653.433,多对多关系的映射66343.4.组合关系的映射663.5.关系型逻辑模型的扩展663.5.1.子类扩展663.5.2.Stercotype和TaggedValue扩展674.数据提取674.1.1.1.CORBAID1.684.1.1.2.JMI684.1.1.3.XMI694.1.2.不兼容CWM标准的系统元数据提取方法694.1.2. 1.产品特定元数据访问接口694.1.3. 2.元数据的手工提取704.2.子系统元数据提取方式704.2.1. 生产系统704.2.2. ET1.系统714.2.3. 数据仓库和数据集市714.2.4. O1.AP系统724.2.5. 前端展示工具724.2.6. 其他735.访问接口实现735.1. .概述735.2. CORBAID1.接口实现741.1. 1.接口生成74.2.接口实现751.2. 2.1.自动实现765.222. 手工实现76522.3. 半自动实现775.3. JMI接口实现785.3.1. 接口生成方法785.3.2. 接口实现方法795.3.2.1 .自动实现795.3.2.2 ,手工实现805.3.2.3 自动实现815.4. XMI接口实现815.4.1. 映射方法825.4.1.1 元数据到XMI文件的映射835.4.2. 接口实现方法845.4.3. 1.第三方工具845.4.4. 自行开发855.5. 与一级经营分析系统的接口856,管理工具要求866.1. 概述866.2. 元数据抽取866.3. 元数据存储866.4. 元数据访问接口866.5. 元数据前端展示及分析876.6. 元数据维护876.7. 权限管理871.元数据管理总体介绍1.1.元数据管理架构元数据管理贯穿经营分析系统构建、运行和维护的整个生命周期，是经营分析系统构建过程中重要的一环。同时，在数据仓库构建的整个过程中，如数据源分析、ET1.过程、数据库结构、数据模型、业务应用主题的组织和前端展示等，均需要对相应的元数据的有力支撑。经营分析系统元数据管理架构如图1-1所示。图1“经营分析系统元数据管理框架图在图1-1所示的元数据管理框架图中，元数据贯穿经营分析系统数据“流动”的全过程，主要包括： 数据源元数据 数据采集元数据 数据仓库存储元数据 数据集市元数据 应用效劳层元数据 门户管理元数据根据元数据用途及针对使用角色的不同，也可以把元数据分为技术元数据、业务元数据和管理元数据三类： 技术元数据：面向经营分析运维技术人员，偏重数据结构和数据处理细节方面的技术化描述，是用于开发和维护经营分析的根本信息，主要包括源系统接口标准、数据仓库结构的描述、数据集市定义描述以及经营分析数据处理过程的描述等信息； 业务元数据：面向业务分析人员，是对经营分析的数据和处理规那么的业务化描述，主要包括业务规那么、业务术语、指标业务口径、信息分类等； 管理元数据：面向经营分析运维管理人员，是对经营分析运维管理相关信息的描述，主要包括管理流程、人员职责、工作内容分配描述等信息。元数据贯穿经营分析系统数据“流动”的始终，只有实施元数据的集中管理,才可以提供一个集中的元数据全局视图，才可以全局把握经营分析系统数据的组成、转换以及来龙去脉，有效地进行数据质量的管理。1.2. 元数据功能框架经营分析元数据功能框架分五层，分别为元数据源层、元数据获取层、元数据存储层、元数据管理层和元数据访问层。元数据源层包括元数据的各个源系统;元数据抽取层中的连接桥（或称适配器）实现元数据源层元数据的抽取；元数据抽取层抽取出的元数据存储在元数据存储层中的元数据库中，元数据库中的元数据按照主题进行组织；元数据管理层提供元数据访问、分析、导入、导出等功能供元数据管理工具前端、二级经营分析系统以及中央元数据抽取效劳器使用。图12经营分析系统元数据功能框架图图1-2是经营分析元数据功能框架图，其中各个层说明如下：元数据源层元数据源层包括经营分析系统的数据源系统，ET1.工具、数据仓库产品、数据集市产品、O1.AP效劳器、前端展现工具、数据挖掘工具等。元数据获取层元数据获取层实现元数据源层中各个系统的元数据抽取。元数据连接桥（或称适配器）通过符合CWM标准的接口或者各个产品提供的特定接口实现元数据的抽取，并把抽取出的元数据存入元数据存储层中的元数据库。元数据存储层元数据存储层实现元数据的存储，存储的元数据包括业务元数据、技术元数据和管理元数据，元数据按照主题组织。存储库的逻辑模型设计需兼顾效率和实现符合CWM标准的接口的方便性与灵活性。元数据管理层元数据管理层提供符合CWM标准的接口实现，包括CoRBAlD1.接口实现/JMI接口实现，和XMl接口实现；并且实现元数据查询、元数据浏览、元数据访问、元数据分析、元数据导入、元数据导出等根本功能模块。1.3. 元数据访问层元数据访问层包括元数据管理工具前端、二级经营分析系统和中央元数据抽取效劳器。这些系统通过元数据管理层访问元数据存储层的元数据。1.4. 元数据标准要求-CWM模型由于经营分析系统涉及到大量业务系统的集成，因此，如果没有统一的元数据标准支持，实施各子系统元数据的有效集成是很困难的。在这种情况下，各公司的元数据管理解决方案各不相同。元数据管理之所以困难，一个很重要的原因就是缺乏统一的标准。近几年，随着元数据联盟MDC的开放信息模型OIM和OMG组织的公共仓库模型CWM标准的逐渐完善，以及MDC和OMG组织的合并，为数据仓库厂商提供了统一的标准，从而为元数据管理铺平了道路。OMG是一个拥有500多会员的国际标准化组织，著名的CORBA标准即出自该组织。公共仓库元模型的主要目的是在异构环境下，帮助不同的数据仓库工具、平台和元数据库进行元数据交换。CWM模型既包括元数据存储，也包括元数据交换，它是基于以下三个工业标准制定的： UM1.,它对CWM模型进行建模； MOF（元对象设施）：它是OMG元模型和元数据的存储标准，提供在异构环境下对元数据库的访问接口； XMl（XM1.元数据交换）：（它可以使元数据以XM1.文件流的方式进行交换。CWM模型目前已经得到了几乎所有的数据库、数据仓库以及数据分析工具的支持，包括IBMDB2,NCRTeradata等。它已经成为目前元数据应用中主流的选择模型，本方案将遵循CWM模型进行实施。（CWM详细内容参见经营分析系统元数据管理标准）2,元数据管理实施步骤元数据管理涉及经营分析系统中的各个组成局部，所以元数据管理的实施是一个复杂的工程，下面分步骤描述元数据管理实施过程的各个重要局部，以及在实施过程中应该注意的主要问题。2.1. 元数据库逻辑模型设计与以往其它任何类型的数据应用一样，元数据管理首先要根据业务逻辑设计存储库的逻辑模型，然后才能依照它得到存储库的物理模型，将提取出的元数据存到其中，并在其上开发具体的应用。逻辑模型的设计方法可以有很多种，可以采用基于关系型的，也可以是面向对象型的。采用不同的逻辑建模方法,就得到不同表述的元数据存储库逻辑模型,对应不同的业务处理逻辑。但是，表述的业务含义是唯一的。目前，采用面向对象的逻辑建模技术和关系建模技术都有成熟的方法和应用。CWM模型本身是一个基于面向对象建模技术得到的元数据存储库的逻辑模型，但是，目前主流的数据（仓）库都是面向关系型的，而且已有的解决方窠也都侧重于关系型，因此在实施中国移动数据质量管理系统时，要求统一采用关系型逻辑模型来建模。元数据库逻辑模型设计的主要任务是设计基于关系数据库存储的元数据存储逻辑模型。元数据库逻辑模型设计需要考虑符合CWM标准的所有元数据的存储，同时要兼顾元数据访问和交换接口（CORBAlD1.接口、JMl接口和XMl接口）的有效实现。因为CWM标准以及CoRBAID1.、JMl接口基于对象模型，所以关系数据库中存储的元组和对象之间的有效转换是一个关键点。2.2. 元数据的提取元数据提取实现从经营分析系统各子系统中提取元数据的过程。提取目的：元数据提取的目的是把各子系统的元数据提取出来，为元数据的装入提供数据准备;提取方式：元数据的提取可以分为自动提取、手工提取两种方式。目前，大局部主流厂商的产品（如IBMDB2,NCRTeradata等）都支持CWM模型。也就是说，可以利用它们提供的接口直接把系统内的元数据按照CWM规定的格式标准直接提取出来。但是，也存在一些产品目前尚不支持CWM模型，尤其是一些前端的数据分析产品，因此无法实现元数据的自动提取，只能采用手工的方式来实现。提取结果：元数据提取的结果是符合CWM模型的XM1.文件，该文件符合XMI格式，并保持元数据本身以及它们之间的语义关系。提取过程：自动提取方式通过元数据管理工具的连接桥（或称适配器）来实现，元数据连接桥抽取元数据源系统中的元数据，直接使用CORBAlD1.接口/JMI接口实现元数据到元数据库的存储，或者生成符合XMI标准的XM1.文件，再导入元数据库。对于要自行开发元数据管理工具的省份，元数据连接桥的实现需要针对具体产品的特定元数据访问接口进行设计。手工提取方式要求数据质量管理系统能够提供灵活定制的模版，模版的定制需要考虑底层元数据库的相关字段。用户只需使用可视化界面输入相关信息，系统应该能够实现用户录入信息到符合XMI标准的XM1.文件的转换，或者能够直接使用CC）RBAID1.接口/JMI接口实现元数据到元数据库的存储。