【精品】数据中台促进企业数字化转型.docx

智慧IT数据中台促进企业数字化转型技术创新，变革未来企业数字化转型解决方案解决数据“存”、“通”、“用"、"智”难题分宿式据计算懂控术+十年经分远淀，根据密户行业是身完制一站式当唇中台方基于“互联网+”时代的据价值愿考，助方企业数字化，提升企业竞争力！“让藜国产生价值化数据资产数据模型数据服务数据采集数据中台定位：做为企业全撼映享数据治理能力中心，旨在提供数据采集、数据模型、数据计算和萃取、数据治理、数据资产、数据服务等全链路的一站式产品+技术+方法论服务，构建面向业务应用的数据智能平台数据计算和萃取落地战略和组织保障,培养业务创新的土壤通过业务的不断滋养打造业务和数据的闭环全面梳理企业数据,构建全域数据中心数据资产管理在线化,盘活企业数据资产决心决策管理层“大中台、小前台”战略创新的决心驱动组织和流程进化，构建全域打通的数据中台协调业务部门和技术部门，中台战略的落地重于设计降低大数据的技术门槛在线化知识沉淀和传承人才投入“方法论+工具保障+合作厂商”降低对高端人才的依赖工具保障BT报表数据开发套件分布式计算&存储&调度架构企业级数据仓库+实时流计算覆盖大数据全生命周期的一站式可视化平台D1.应数据应用引擎实时流计算事件驱动毫秒级智能计算机器学习深度学习企业级数据仓库数据应用层ADS公共维度模型层Cw操作数据层ODS分布式大数据计算引擎据理件数治套方法论整体规划，分步实施，数据中台是一个不断循环、反馈而使系统不断增长与完善的过程，这是区别于系统生命周期法的主要特点产品+工具大数据分布式计算引擎'实时流计算引擎、多租户安全隔离、多集群统一管理、数据开发套件、数据治理套件、数据应用引擎等实施流程一整套体系化的数据中台建设实施流程，包括需求调研'需求分析、架构设计、数据与应用开发、部署和测试运维等数据开发一站式数据资产在线化数据应用创新传统数仓往往将ODS、ED1.I和ET1.开发切戴到不同厂商工具实现；数据中台则主张一站式可视化数据开发，借助分布式技术的力量简化数据加工处理的过程传统数仓的数据管理和治理，往往花费大量精力，显终形成的是离战的规范和文档；数据中台则强调元敛据管理统一人口的自动化和数据资产管理的在线化传统数仓以某个业务主猊的B1.报表和决袤支持为主，目的怪单一，烟囱式建设；数堀中台则主张全域数据打通数据孤岛.稗放业务方数据应用创新的能用数据源丰富性分布式摄据平台传统数仓以单机关系型数据库离线分析为主；数据中台以分布式引擎架构，同时支持离线计算/实时计算/即时计算/智能计算传统数仓以业务数据性的结构化数据为主；数据中台涵盖业务数据,日志数据、行为埋点数据、1。T数据、爬虫数据、外部数据等建设模式方法论传统数仓往往采用白顶向下的建设模式，以明确的业务分析驱动，延续性低；数据中台采用自底向上的方式,结合业务需求变化不断迭代升级数据中台模型数据中心架构数据应用数据化运营可视化大屏舆情监控精准营销个性化推荐数据源RDBVISEIasticSearchFTPHBase业务中台Supor1.admnOUSter1(CCH56OrR三te)StutusA1.Ifcu1.1.5s>w07RecentCcranJsCharts1理3t$I1.IIBascU3也IDFS山1.ive(IHued01山防KAy-IQgStCrP.山OoaieaSor由Spark山：S1.YWvIMChut.Za4f>e山IbAiM(XasfTtyCtotxkfaEntofpdMOouHJ>for60DVC30mIh2h6hIH1d7dM基于企业级CDH版本数据中心集群平台一集群监控，预警，开发，任务调度CIoUdefamanagerGua1.enHostsOagnos1.1.csvAudtsChats-AdniirtaifaitonHome30EIWPWCrgUay820i.26W4EOTC1.oudecaManagementServiceCC1.oudera.×2bADS个性化指标加工：不公用性；复杂性（指数型、比值型、排名型指标）基于应用的数据组装：大宽表集市'横表转纵表、趋势指标串CDMCDM层又细分为I）W1.）层和I）财层，分别是明细览表层和公共汇总数据层DUD:以维度模型方法基础，采用维度退化手法，减少事实表和维度表的关联DIS:加强指标的维度退化，采取更多宽表化构建公共指标层,提升公共指标的复用性ODS同步：结构化数据增量或全量同步结构化：非结构化（日志）结构化处理累积历史'清洗：根据数据业务需求及稽核和审计要求保存历史数据、数据清洗数据模型：设计规范数据应用层公共维度模型层操作数据层数据模型数据中台开发过程规范化随着数据中台的长期运行和开发人员的变动，中台内的数据也会变得逐渐不规痘，出现“模块负责人才能看懂这个模块”的问题;传统的解决办法是采用人工经睑+人工约定的方式，约束力不强，数栈采用初始配置+自动检测的方式，提高中台的规范性：I1.1.1.电杭锁定201*0-2因12赵章万一磁天锄定2017.四13123申杭锁定2016-08-1,anaJog汪亮助定20.ena1.ysisOgjfata亮辙二buyer_«e1.1.er_f1.ow汪克镣UaSsad招枢锁定2017-01da«a_CxrJdemOo1.274365,fsfsdf思相熟定201732kkkk思枢锁定201703.n.i_testCn申杭锁定2016SdrdS思枢勘定201704刖邓二申杭t皖201DM5IcstO1.1申杭银定2016-1任务命名混乱数港开发钠，月交易额统计，按渠道划分½:tab1.e_sates赛名：tb_morrth_sa1.e表的命名很随意字段名备注字段名备注OrderJd订单IDOrderJd订单IDusrjd用户IDUser_id用户IDamount交易金额sa1.es交易金SS业务含义相同，命名channe1.交易柒道transChane1.交易案道不同PayMethod支付方式payMethod支付方式time交易时间time交易时间数据模型：3步实现规范化数据中台开发基础配置模型设计检测中心>规范化表级模型层级（ODS/DWD/DWS）主题地增售。库存、用户）新华（天、月 增量定亚（全屋。增量） 骂生成抓则字段级 原子指标 衍生指标规则生成模型检测模型不规范原因分析字段检测字段不规范原因分析Tdivsj.prHJ安39codtoCrodat×x>u11 hisjXordwremd <>dIrdzff11I<I示例：ODS_sa1.es_D_customAna1.y3R实现机制提交执行校验结果数据质量：为数据正确性保驾护航在实际生产中，数据计算任务没有告警，但不代表数据就是正确的，比如源数据异常、代码逻辑修改等原因都会造成结果数据错误数据质量直接对表、字段的准确性校验，可保障核心计算过程与数据结果的数据正确性目前已支持5种数据源，符合绝大多数场景下的质量校验企睇据治理应用价值强大、专业、智能，帮助行业企业建立预测、分类、推荐、聚类等各类型应用。区1商品推荐疾病预测销售提升贷款预测产品精准营交叉销售销分析控回用户画像Q异常侦客户流失预包含批判的决离群点测测策检测数据AP1.案例2:国酒茅台数据中台据通务数打业据能用数智应全局监控数据化运营电商大屏电商决策门户营销决策门户服务评价分析ID识别与画像二,j价格监测品牌T1.士云商大屏B2CBiJP分销经营门户组织效能分析产品画像雌历卜商经营门户流量分析物流仓储分析1:电商销量预测经销商画像市场洞察业务异常监控分析商经营门户壁销量预测经销商参谋麻霞牛收牛E询品雅零一IESnft选址J广背营铺，1据能础数智基业建讹旗业务回流数据数据/算法计棘引擎与存储中间作负我均3数据架构设计数据架构和模型设计台省茅台云商机常宽能整计数据采集ffSFrVr数据研发与运维编码研发测试与运维发的神晃A-iff1.W±改=场用上数据连接与萃取ID识别与连接用户ID识别用户标签案例3:某大型书店数据中台产品端出版修«据应用平台发行造数据应用平台零售端源据应用平台统一数据资产管理平台统一数据开发平台数据计算平台采集管理工具案例4:某能源巨头客户情况：其压有背点目头业务诉求： 为集团公司和省公司提供数据运营支撑;客户现状： 多种异构数据源，如OraC1.e、GBaSe、HbaSe、目sticsd等； 各项数据支掠工作都是临时编写任务、脚本，没有任务、调度的概念;大量物联网数据需要实时分析处理；数据中台一大屏可视化-案例THANKS