分布式架构在云计算平台中的应用及优缺点分析.docx

一、分布式云计算平台架构需求分析云计算平台可以提供灵活和按需使用的资源，同时又可以保证业务系统的高可用，大量先进的IT特性已经成为了金融、医疗、媒体和政府等行业数据中心建设的核心.从IT架构上吞，传统的集中式架构已经无法满足新时代业务的需求,因为它无法保证业务快速响应能力，灵活性和可靠性也相对较低,特别是当云计算平台业务发展达到一定规模的时候，集中式架构往往会出现大量的瓶颈.例如云计算平台服务器计算、存储容量和I/O能力不足，需要快速扩容；虚拟机数后过多，需要大规模组网；单体业务数据库规模过大，需要拆库拆表分散部署；集中式安全设备无法保证每个虚拟主机安全等等；云计算平台虽然可以解决数据中心资源使用和效率向SS,但是不解决IT架构问题，云计算平台一样无法满足业务的使用需要，这时候分布式架构就自然成为了云计箕平台的一种必然的选择。二、分布式云计苴平台架构应用场景基于分布式架构的云计算平台具有较好的伸缩性，特别在处理大规模并发和管理等问飕时，能显著提处理速度和效率，目前主要的应用场景包括以下几个：1.分布式存储，使用多个节点共同提供云计算平台数据资源服务；2、分布式VX1.AN网络，解决云计算平台大规模二展网络使用问题.3、分布式数据库，有多个节点共同组成一个逻掘集中，物理分布的大型数据库.4、分布式安全产品，解决云环境下虚拟化安全问鹿，提供了分层次、全方位、可扩展的安全隔商和安全防护.下面我们将基于以上四个应用场景，结合云计算平台的实际建设方案做具体的说明和优缺点分析.2.1 分布式存储2.1.1 架构说阻随着业务数据的不断增加，云计第平台在面对极具弹性的存储需求和性能要求下,传统集中的独立存储设备基本无法满足大规模数据处理的需要.在性能和数据存储容量等方面都面临若一定的瓶颈,传统集中式存储架构采用单台SAN或IPSAN存储，通常配替2-8个控制器,通过存储扩展柜进行容JB扩展，而且扩容能力有限.如果增加性能，需要增加控制器和缓存，甚至需要更换存储设备型号为高端存储.单台存储的性能和扩展能力是有限的，一股达不到线性扩展.随着存储容量的增加，存储的性能会先增加然后达到一定瓶颈后逐渐降低。因为一开始大量的磁盘增加会提升存储整体读写性能，但是当磁盘性能达到控制器的性能后会严电影响控制器对数据的处理和运行，性能会逐渐下降。分布式存储系统使用高速交换机进行组网，井将分布式存储软件部署在低廉的X86硬件上.如下图所示:离造以太网络交轶机存i*务Ia源泄分布式存储可以提供高吞吐后来访问应用程序的数据，适合那些有若大数据集群的云计算平台应用.分布式存储可以将数据存放在很多不同的服务器上.而用户不必关系具体的数据在哪，分布式存储软件会管理这些数据.在云计凭平台中，分布式存储可以提供：1、可以为任何物理机或者虚拟机提供块、文件和对象等存储服务；2、分布式存储支持多种企业级特性，包括快照、精简配皆、备份、加密、压缩等，帮助可以整合或替代现有集中存储设施，支岸各种业务应用.3、可实现云计算平台PB、EB级以上容量的存储资源池按需灵活扩展，相对于集中存储，存储采购成本也比较低.应用场景以开源式分布式存储服务CePh为例。Ceph目前是OPenStaCk支持的开源块存储实现系统.Ceph是一种统一的、分布式的存储系统.统一意味着Ceph可以一套存储系统同时提供对象存储、块存储和文件系统存储三种功能，以便在满足不同应用需求的前提下简化部署和运维.分布式在Ceph系统中则意味着真正的无中心结构和没有理论上限的系统规模可扩展性.自下向上，可以将Ceph系统分为以下几个层次：应用<,iHRADOS>文件系统接口(lbceptf%寄PoMX接U)用象"Wl接口块存W接口(物,(SJSwift)理主机报机)元数据rado*gu-Iibrbd元数据服务S(NfDS)lbrndo(WHRADOS5象”系统的寄.支持CcfJaPythonRubyPHPIRADOSM象存储系统(可尊的，口组税的.可自动修复.Fl我代彳的分布式对象”御系统RADOS(Reliable,Autonomic1DistributedObjectStore),基础存储系统，即可靠的、自动化的、分布式的对象存储.UBRADOS,基础面.RADOSGW(RADOSGateway)、RBD(ReliableBlockDevice)IQCephFS(CephFileSystem)f高层应用接口，提供对蕊、块存储和文件存储服务.CePh在云计克平台中主要的应用场景如下：1、对象存储服务对象存储通过Rad。SGW接口实现。可以提供将CePhCIUSter作为分布式对象存储的能力，如Amazon的S3范围，Swift等.企业用户也可以直接使用其作为媒体数据存储，分发等。2、块存储服务块存储通过1.ibRBD接口实现.可以为虚拟机和主机(HoSt)提供不同路径的块存储.如下图所示，CephCluster为虚拟机提供块设备支持。1.ibRBD是基于1.ibrados的块设备接口实现，主要将一个块设备映射为不同的对象来实现.Ceph首先使用OSD服务将数据以对象形式存储在抵一个集群节点的物理磁盘DlSK中，然后通过1.ibRBD可以创建一个块设备(Container),最后通过QEMU/KVMAttach到VM上.通过Container和VM的解耦使得块设备可以被绑定到不同的VM±.3、文件存储服务文件存储服务通过CephFS接口实现.可以提供PB级分布式文件系统。这里会引入一个新的组件MDS(MetaDataServer),它主要为兼容PoSIX文件系统提供元数据，如目录和文件元数据.同时，MDS会将元数据也存在RAD0S(CephQUSter)中.元数据存储在RADOS中后，元数据本身也达到了并行化，大大加强了文件麋作的速度,需要注意的是MDS并不会直接为Qient提供文件数据，而只是为Client提供元数据的操作.C1.IENT如上图所示，当Client打开一个文件时，会查询并更新MDS相应的元数据如文件包括的对演信息，然后再根据提供的对象信息直接从RADOS(CephCluster)中直接得到文件数据.CephFS作为分布式文件系统，当面对不同的文件热点和大小时，它可以使用多个MDS根据数据负载均衡来避免MDS的热点，并进行动态调整.2.1.2优缺点分析分布式存储优点：1、使用低成本服务器和廉价磁盘，可以为云计算平台提供大数据员的存储空间，同时降低建设成本.2、可以随时按需进行横向扩容，没有容盘限制，而且隐若容Al的增加可以实现近线性的性能提升.3、可以提供真正意义上的统一存储，在一套存储系统中实现按需提供块、文件和对象全融合存储服务能力，满足云计算平台多种场景需求.分布式存储玦点：1、节点数量较少时，性能有限，无法提供传统中高端集中存储的高性能.对于一些企业级存慵特性，包括快照、更删、压缩和加密等功能，并不是所有分布式存储软件都可以提供，需要在选择时按需做好POC测试。2、随若节点数量的增加，服务器的数量也会显著增加，对机房的空间、能耗和运维管理都是一个挑战.3、由于数据是分散存储的，会存在一定的数据一致性问题，虽然通过数据性一致性锁等技术手段可以解决一部分问题，但是性能也会降低.2.2分布式VX1.AN网络2.2.1 架构说明在云计算平台的架构中，二层网络至关里要，因为不管是分布式存储系统网络还是虚拟化网络系统，都需二层网络架构.特别是在虚拟机迁移过程中，二层网络是必须的.因为为了保证虚拟机迁移过程中业务不中断，需要保证虚拟机的IP地址、MAC地址等参数保持不变，这就要求网络必须是一个二房网络，且要求网络本身具备多路径的冗余备份和可宛性.在传统集中式的二层网络环境下，数据报文是通过直询MAC地址表进行二层转发，而MAC地址表的容量限制了虚拟机的数量.而且为了对虚拟化网络做隔离，需要用到V1.AN技术，由于!EEE802.1Q中定义的V1.ANTag域只有12比特，仅能表示4096个V1.AN,无法满足大二层网络中标识大量租户或租户群的需求.传统二屈网络中的V1.AN无法满足网络动态调整的需求.VX1.AN技术的出现，很好地解决了上述问题.VX1.AN通过采用MACinUDP封装来延伸二层网络，并使用物理网络的IP、MAC地址作为外层头迸行封装，将以太报文封装在IP报文之上，对网络只表现为封装后的参数.通过路由在网络中传输，无需关注虚拟机的MAC地址.且路由网络无网络结构限制,具备大规模扩展能力、故障自愈能力、负载均衡能力.通过路由网络，虚世机迁移不受网络架构限制.目前,VX1.AN的实现主要有两种方式：集中式和分布式.2.2.1.1 集中式VX1.AN在VX1.AN网络中，“1.eaf”指VX1.AN网络中的二层接入设备，与物理服务器或VM对接，通过将物理服务器和VM发送过来的报文封装在VX1.AN报文中,将对应的流量接入VX1.AN网络中."Spine”是VX1.AN网络中的骨干传输设备，负责VX1.AN流量的转发."NVE”是实现网络虚拟化功能的网络实体，是VX1.AN的二层网关，报文经过NVE封装转换后，NVE之间就可基于三层基础网络建立二层虚拟化网络.NVE目前有软件NVE（例如VMware的NSX用硬件NVR集成在交换机上工主要实现VX1.AN与V1.AN,MAC等的二层映射.另外,封装在"NVE"中的"VETP"是VX1.AN隧道端点，用于VX1.AN报文的封装和解封装，虚拟机可以通过虚拟化软件直接建立VTEP隧道.为了实现VX1.AN虚拟网络的跨子网通信以及外部网络的访问，需要使用VX1.AN三层网关.在VX1.AN集中网络中，三层网关集中在一组或几组交换机上，与服务器相连的1.eaf交换机的VTEP,只作为VX1.AN的二展网关.1.eafl.1.eaf2和SPine作为VX1.AN网络的VTEP,1.eafl和SPine之间、1.eaf2和Spine之间分别搭建VX1.AN隧道，并在Spine上部署VX1.AN三层网关，即可实现不同部门VM之间的相互通信.2.2.1.2 分布式VX1.AN在分布式VX1.AN网络中厮有1.eaf节点物理交换机都具备三层网关功能.1.eafl和1.eaf2作为VX1.AN网络的VTEP,部署了VX1.AN三层网关，并在两个VX1.AN三展网关之间建立VX1.AN隧道.VMl和VM2互访时，流只需要在1.eafl节点进行转发.VMl和VM4跨1.eaf节点互访时，流量经过1.eaf节点和VX1.AN隧道，Spine节点仅作为流量转发节点。2.2.2优缺点分析集中式和分布式VX1.AN主要区别如下:集中式VX1.ANA分布式VX1.AN-三层网关位置一部署在spine,部署在leaf-二层网关位置>部署在leaf-部署在leaf-流量转发规则“同一个Ieaf下的三层流量需要绕行spinej不需要绕行spine“表项存储规则SPine需要保存整个网络的MAC和ARP不要保存整个网络的MAC和ARP'运维容易，网关部署在SPine“复杂，网关部署在IeaW云数据中心规模小规模组网>大规模组网一采用集中式VX1.AN网关方案时，不同VX1.AN之间的流量以及VX1.AN访问外界网络的流量全部由集中式VX1.ANIP网关处理，网关压力较大，并加剧了网络带宽资源的消耗.而在分布式VX1.AN网关方案中，每台VTEP设备都可以作为VX1.AN网关，对本地站点的流量进行三层转