基于华为NAS存储在某车企业务系统上的应用实践.docx

一、概述当前各行各业都在数字化转型，数据是企业最核心的资产.企业中的每个人都成了海冰数据的生产者，每天都会产生海Ili数拉;，而其中大部分都是非结构化数据，包括文档、文本、视频、音频、图片、图像等形式.一小部分数据随君业务共享调用存储在数据库中,运行在传统的SAN存储设备匕既影响了数据库性陇指标降低了响应速度,同时乂大大提高了数据的管理成本.此外还有更大部分的数据散落在用户个人的PC电脑、觇箱中，御不到统一管理，因此选择一个易扩展、高性价比的存储解决方案，将非结构化数据统一存储，并提供高性能的访问就变得异常紧迫。二、需求分析及难点作为一家跨地区、跨行业、跨所有制的北京大型车企，我司内部员工近4万人，在全国各省市都拥有整车和零部件事业部及子公司，研发机构分布海外，合作的供应商、经销商、服务商共计近万家，因此每天每时每刻都产生大量对公司有资产价值的、可生豆利用的、具有安全私密性的非结构化文档数据.通过分析，内外协作产生的文档数据至少100TB以上缺少集中管控，形式多以文档、PDF、设计图纸、音视频、图片为主，分散在各业务系统共享服务器上以及个人电脑、邮件中.从资源层面上，这些数据占用着存储空间，但文件共享不便捷，文档流转效率低，大附件无法发送，未能形成软资产留存；从知识层面上，这些内容需要有效流传并重欠利用；因此急需建立一个有效的云盘系统，有效实现对数据的共享、协作、安全的集中管控.为了支撑云盘系统建设，满足云盘应用部署对于存储性能要求，保证云盘海量数据存储的高可用性，计划构建云盘基础设施房的存储建设.主要需求如下：存储可用性指标：99.99%存储数据灾备指标：RTO（数据宜原所需时长）：2小时，RPO（数据恢复的程度）：2小时存储的容量：存储需满足业务数据增长的需求；存储数据的安全：具备安全可靠的存储基础架构；存储的管理：存储设备的安装和维护管理需简单易用；存储性价比：考虑项目预算，存储的性价比需最优.三、NAS存储架构选型经验措建云盘配套的文件共享存储资源池，目前主流的有NAS存储、分布式NAS存储和对釜存催三种路线，对象存储需要业务应用进行改造适配，而部分数据为企业私有数据，且不支持数据的豆杂目录结构，因此本项目圣点考虑NAS存储，相比分布式存储，集中式NAS存储可以为前端服务器提供简单的集中共享式文件访问，且具备高性能和高可靠的优势,且支持横向扩展NAS集群,具体优势如下：1.可靠性集中式NAS的存睹节点是专用的控制器，其上搭载的专用存储操作系统成熟稳定；分布式存储采用廉价的PC服务器，安装分布式存储系统软件，通过存储管理、存储服务、应用接口以及存储访问等多部分软件和硬件组装存储系统，存在更多故障点；没有针对写缓存数据掉电情况下的数据一致性保护机制.2 .性能NAS通过高速缓存完成写数据，然后返回结束，后端再落盘，性能更优；分布式存储保证数据可用性通过保留多份数据副本实现，当本地写以及所有备份副本均写成功后，存储节点将成功信息返回给前端，降低了写的性能；分布式存储写数据完成是要等到数据落盘才返回，没有写缓存机制，写的性能受限；分布式存储节点失效或跟盘故瞳时，重构时间很长，严电影响性能.3 .数掘保护集中式NAS存储通过采用ROW大块顺序写机制，开启RAID保证多个物理硬盘的损坏数据不丢失，而对前端的写操作没有任何性能影响；集中式NAS存储可以方便地通过以太网进行数据复制和容灾，还可以利用增量基制、数据压缩等多种手段节约传输效率，节约网络带宽；分布式存储保证数据可用性是通过保留多份数据副本实现的，当本地写以及所有备份副本均写成功后，存储节点将成功信息返回给前端，降低了写的性能，得盘率低；分布式存储采用服务器构建，很难进行远程的基于存储控制器的数据豆制和容灾.4 .4展性NAS控制器可以在线地进行增加磁盘来扩容也可以通过增加存储控制器节点来横向扩展集群容量和性能，以上扩展都完全无缝进行；分布式存储节点是采用PC服务器加内置械盘的方式，由于内百盘数量较少，意味若只是容量的增加而不需要更高的计算性能时也必须增加更多的服务器，扩展不灵活，增加成本.5 .数据管理、存储效率NAS具备多种数据管理和保护功能（RAlD-DP,快照、克隆、复制），通过存储效率（精简配置、数据缩减、快照）等节约存储空间，降低成本；分布式存储没有企业数据管理功能.6 .运堆管理集中式NAS只需要管理存储本身，而无病单独管理其内部部件，管理相对简单；分布式存储有一套基于WEB的管理平台，但是因为要省理网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分，造成事实上的管理宜杂.综上，经过综合评估，最终确认使用2台型中式NAS存储，搭建主备高可用架构来满足云盘业务系统数据存谛的褥求。四、NAS存储架构实践技术方案及实施运维经验从车企数据存储的分析可以看出，要使整个企业内部的数据得到统一管理和安全应用，就必须有一个安全、性价比好、应用方便、管理简单的存储系统来存慵和省份企业内部的数据资料.NAS网络存储服务器是一款特殊设计的文件存储和备份的服务器，它能够将网络中的数据资料合理有效、安全地管理起来，并且可以作为备份设密将数据库和其它的应用数据时时自动备份到NAS上.云盘系统对NAS存储配置测箕模型：基础模型名称数值单位用户总数100OO人活跃用户比例80%百分比每日高峰时长2小时高峰时业务占全天业务比例50%百分比典型用户文件总数量2000个典型用户文件总大小20GB典型用户每天传输文件数最100个典型用户每天传输文件总大小0.1GB典型用户比例90%百分比高阶用户文件总数量20000个高阶用户文件总大小200GB高阶用户每天传除文件数量1000个高阶用户每天传输文件总大小1GB高阶用户比例10%百分比每次文件传输发生IO次数20次活跃用户数8000人典型用户数量7200A高阶用户数量800人估克数据每日传茹文件数量1520000个每日传输文件总大小1520GB高峰时传输文件数量760000个高峰时传输文件总大小760GB假设每次文件传输发生IO次数按照20次测算；假设一个小文件，划分16个目录保存.根据云盘项目组提供的业务场景需求，对于存储性能测算指标如下：性能指标指标名称数值单位底层存储峰值IOPS2111.111!OPS底层存储蛭值带宽864.7111Mbps底层存储最小容量304000GB底层存储单目录文件数4864000个网盘内预估文件数量30400000个商务招标阶段共有包括联想、DeIIEMG华为以及HP四家中高端NAS产品参与竞标，项目组从NAS存储功能、性能以及扩展性、商务成本方面，进行了综合对比,可以看出华为企业NAS存储设备性价比更优,尤其是提供的性能（缓存指标）和扩展性方面更加突出。评价指标项联想EMC华为HPDM7000HUnity500OceanStor56003Par8000÷FlieCOntroIIerNAS网关功能支持协议支持NFS/CIFS/HTTP/FC等协议支持NFS/CIFS/HTTP/FC等协议支持NFS/CIFS/HTTP/FC等协议支持NFS/CIFS/HTTP/FC等协议RAID支持类型支持RAID0/1/5/6支持RAID0/1/5/6支持RAID0/1/5/6支持RAID0/1/5/6存储可用容量80T满足满足满足满足B硬件冗余满足满足满足满足支持磁盘混合模式支持支持支持支持提供写援存棹电保支持支持支持支持护去重、压缩、碎片支持支持支持支持化整理数据异步复制免费提供免费提供免费提供免费提供整体缓存支持4T的整体整体缓存能力可支持4T的整体缓存整体缓存能力可支能力缓存能力支持2TB能力持2TB性能存储控制器缓存256G缓存128G缓存256G缓存128G缓存扩展性存储空间扩展能力最高支持8PB展高支持4PB屐高支持16PB最高支持4PB通过对比最终选购了华为OCeanStOr5600和OceanStor5300存储，构建承载公司非结构化数据的存储资源池，满足云盘项目的需求指标，通过存储间的数据豆制实现数据的容灾。配舌信息如下：序号设备品牌及型号配置描述1HuaweiOceaStor5600OceanStor5600(3U,双控,交流240V高压直流,256GB缓存)，4端口8GbFC1/0模块，4端口SmartlOI/O模块(SFP+,IOGbEth/FCoE),4端口4*12GbSASI/O模块(MiniSASHD),4TB7.2KRPMN1.SAS硬盘明元(3.5)*35.960GBSSDSAS硬盘单元(2.5")*42HuaweiOceaStor5300OceanStor5300(2U,双控,交流240V高压亘流,64GB缓存)，4端口SmartlI/O模块(SFP+,IOGbEth/FCoE),IOTB7.2KRPMN1.SAS硬盘单元(3.5)*12部署架构如下为了验证存楮功能的有效性、以及存储切换和数据备份恢宸后是否会对业务产生影响，上线之初，分别进行了如下两个场景的验证：1 .场景一：模拟主存储失效后，手工切换备份存储，脸证数据的完整性2 .场景二:模拟主存储上部分数据丢失或损坏，手工从备份存储上恢复数据至主存储上模拟场镜一:主存储失效，备存储接管(1)网盘:停止上传、下载模块服务./stop.container.shdatacenter4(2)网盘：卸载主NASumountdataballdirmapdatacentercellobject(3)NAS存储：切换为备NAS服务器上先umount主存储的挂载点；rootdatabase/#umountdataballdirmapsearch登陆从存储控制台，选择"数据保护"，选择"远程豆制"选择"远程豆制pair",找到对应的备份文件系统，如"search2”,选中文件系统后，选中“史多"-分裂®分裂后，再选择"属性，更改为"可读写"权限更改后，再次选中"更妥"-“主从切换选择“资源分配"，选中"共享.选中"创建"，选择相应的文件系统，如：search2_bk增加客户端列表，在名称或IP地址处可增加单个IP地址，也可以输入代表所有主机回到服务器端，挂载备存储上共享出的文件系统rootdatabase#showmount-e从存储的业务IP地址rootdatabase#mkdirguorootdatabase#mount-tnfs-overs=3,