文件服务器系统迁移改造之路.docx

1前言文件服务器系统以FrP服务为把础，为民生银行两百多供应用系统提供临时文件传输服务功能.自投入生产使用以来,老文件服务器系统已经连续服役运行超过了I年。全行两百多套应用系统的联机和批量文件交互场景强依赖文件服务系统，每天有几百万次文件的上传、下找传输请求，老文件服务器系统的架构比较传统陈旧，高可用采用HPUNIX的HA主备集群模式，无论是系统的负效能力，还是快速恢发业务已经很难满足需求，文件服务器系统的迁移改造急需完成自迁移改造项目启动到完成历时两年的时间.期间经历了迁移方案的更换,也遇到了各种复杂的技术难跑,最终在主动性维护窗口之内顺利完成新老服务器的迁移切换。本文主要介绍民生银行的文件服分器系统迁移改造的过程和方案，适合架构规划师、系统管理员、技术开发人员等阅读。文中重点介绍大的思路和方向,您可以再深入研究技术细节,相信您会更加熟悉文件服务器系统。2文件服务器系统的业务功能应用系统在文件服务器系统上都有对应的FTP用户名和细，且通常以系统的小n英文名命名.文件服务器系统为应用系统提供公共的p目录,存放临时文件用于数据交互数据文件的交互形式主要有两种：1）系统间交互,即FTPIl录上的文件,如系统A将文件放在FTP目录下等待系统B处理，系统B处理完成后将结果文件放回FTP目录待系统A取回。2）公共文件共享，HHFTP目录上的文件共享给多个系统使用，如系统A将公共文件放在FTP目录给系统B、C、D等访问。这样一个的的又“免费”的HT功能，在系统之间实现业务功能的时候.从几KB到几百GB的文件都可以安全的交互使用，便捷的服务性价比非常高.业务场景根据业务需求种类繁多，小到个人客户的某个账户交易明细联机查询，大到企业客户的代发工资文件批信处理，以及银行系统各种贷款批力1、理财申购、对账处理等口终作业的处理等，FTPEI录卜的文件在不同系统之间流转加工,既要有快速的实时响应速度,又要确保文件内容的完第性.3文件服务器系统老环境的困境文件服务器系统上的文件大规模嵌入到业务流程中，这对文件服务器系统的服务能力提出了很高的要求，几千行应用服务器日均几百万次的文件传输请求，文件服务器系统7*24小时不间断对外服务,大量的TP连接和传输请求与底层的掂础环境和网络稳定性又有着密切依赖，任何环节出现片常，都会影响正常的业务。传统的HA主备集群架构无法横向扩展，集群出现异常的切换时间是分钟级别,如果切换导致文件异常对银行业务的影响范围不可估量。为了支撑未来文件交互的业务增长，以及UNIX小型机下移到1.inUX开放平台，文件服务器系统的迁移改造正式启动。图1是文件服务系统老环境的部署示意图：9nr:«IMB-Kt1RVtBWKfM忏R<l*</Mff共计200，套外!！访问泰爱图I文件服务器系统老环境4迁移改造的挑战整体的迁移改造整体思路是将当前的主备HA集群架构改造成DNS+F5+GPFS集群架构.服务器由4台HPUNIX更换成5台Suse1.inux服务器,其中2台是同城灾备服务港,实际对外服务的服务器由I台变成了3台.老文件服务涔系统上默认保留了7天之内的文件,福要将这些存砧数据文件同步迁移到新文件服务着系统上。迁移改造主要面临三方面的挑战：1）技术方面：新老环境是两官完全不同的环境，操作系统由UNlX更换成1.inUX,文件系统由单机更换成GPFS共享文件系统UA主备更换成F5负载均衡集群,FTP功能由UNIX更换成1.inUX平台的VSftPd,2）应用方面:两百多套应用系统在老服务器上存放J'约100o万个总共1.5T大小的历史文件，120万个文件子目录，所有的用户名密码、文件目录结构权限、历史文件等全部需要迂移到新服务器匕3）业务方面：应用系统需要提前将通过浮动IP访问修改成通过域名访问文件服务器系统,这样新老环境只需要更换域名下的IP地址就几乎不影响应用系统的正常运行。另外，新老环境迁移历史文件褂要熟线停机窗口，但是停机窗口的时间又受限于银行系统的口终批量任务。5迁移改造的四个阶段文件服务器系统作为菸础服务平台，在做迁移改造计划的时候，原则上是不影响应用系统的正常业分。整改的迁移改造计划分成r四大阶段：第一阶段：测试环境域名改造，入访的应用系统安装IwS解析域名工具，将应用配置由IP访问修改成域名访问。笫二阶段：生产环境域名改造,入访的应用系统安装I）NS域名解析工具,按照从低到高的系统优先，将入访的应用系统由IP访问修改成域名访问.笫三阶段：测试环境新老服务器迁移，由HPuNIX更改成1.inUX操作系统的噂务器,同时将历史文件迂杼到新服务器，将域名下挂的F5member指向新服务器。测试环境的应用系统切换之后,脸证各种使用FTp服务的场景.第四阶段：生产环境新老服务器迁移，由HPUNIX更换成1.inUX操作系统的服务，操作步骤与测试环境相同，但是只能在有限的维护窗口之内实施,其中，第一、二阶段涉及到两百多套系统的几千台应用服务器修改配置，分成多个批次在变更窗口实俯，时间跨度超过一年，期间遇到了各种应用配置修改的问题，在此不再描述。卜面三张示意图展示了生产环境的不同阶段,最终新环境的服务戏代杵老环境的服务涔对外提供服务.图2文件服务器系统迁移前图3新老环境并行过渡期入访应用系统图4文件服务器系统新环境6数据文件的迁移方案6.1方案选异常试迁移改造第三、四阶段最关键的环节.是关于历史数据文件的迂移同步，根据现有的技术，制定了下表中的四种方案：迁移方案同介是否看用备注加：齐伶修复或熟的各馀和饯豆工具不沌用电此画：从制EIX文件装葩铁艮列1.inuxGM-S文传东找再京,不支N时早台玲文件靠及恢复数*SDFft««W质熟的磁，复制工具.<.可以投第在战复M不够用SRW-»««««:*rfi用于春记复创.不上物身也操作S桃s敷相复制Bit5hcl1：t修算*极卷FTP朦务上收的日忠文件遍址自主设计的地。U悔*丑修历史我隹文华用迁移文件的内新设簿今过ShPllW÷tft.<tt椎速实际脩况用时周整rync牛工具IINlXZlimiM东Jt下的敷据健/搏风令工.支持区线同步包去*用生产数将文件笈*大子日录多.小文件多H更新«*.我修敬提时向可他H长模拟生产M'境，分别测试了四种方案的可行性，首先否定了NBU备份恢亚和SRDI-数据复制的方案.针对ShelI迁移脚本和rsync也在验证环境分别测试/迁移功能和效率，详细的记录如下表:Bfi,MFQ予任，$仃1.J闻】矽I&M1.<依空X3X5B±.ml4f*rM刈?11122019111】.一11:04三frlc<.2019111320iin:.黑二n：«13:22Itna川<eX42ZaKfelk1.m1911142019UU.W三12J1.Z1：叫诩】财1<2<3<w<frlc«.刈翅；1920191H4.111，：2013:02ItnMl461TWe»*xfE咨初911162O19U15.WS10:56,0X££±£网旄加4723adIfer1«291911172019111«.六Ml0:391oiirl3<W15fto9lf«rle«.to>m20l1111.H10:4631:47皿IH3<<4S38ITXfeHiiJSlilUi«-3：5T11.22I然m6KZIx”l<.719112O2OI911I9.二机”)1：JOItt髀分I<«卬3三图5通过FTPH志文件重建拷贝文件sran3kjaohskhboramiaorahoae)34S?.9G0:220:00W.ETOht*hhand1*tm<hhA11K'*22>2.8；1"C3'*"l0:00.7三8MMEMKTFWW7BBI7V.Mbtt<hhandlecd2T261.K0:090:001.VZ4BZbaUhhand卜”dl9724,(0：l?0:00MlBjgvlTMl11oM¾lWlfe¾741,TC0：060:0011rmnIi1.MUKRTIat<hhandleccd235713.X0:180:00KSIKIK!Hl>>KHbrchhaMeMllbx凡hndijgIT：址骰HIHMrffU1Mil用HZY4!口：t>S，：l,iwtm，似11市rm11Bmh>t<hIiAndlebed53372.4C0:07KBi三niKimn”.JlKS>3i“Gt,H，gTTOl/bitch-handleS8J8J333.Knmy-nnmira卬:Myhhandle5201:34BW11gBT¾5¾l35TC2:570:00CTggvBMM111o/ADDAeenr«班2.IC0：090:00n11rvinI0：Ml0KJm/bitchhandle5J7485.K0:380:00skshKBEE图6rsync命令同步更制目录和文件关于自主设计的SheIl迁移脚本和rsync命令工具都能够满足我们的迁移能求，但是仍然存在一定的风磁和难度，下面简单介绍下两种方案的思路，6.2方案对比强冷1)SheIl迂移脚本：通过NFS技术将老环境的文件系统共享挂载到新环境服务器匕根据FTP日志文件,过谑出每个上传文件的汜录,然后提取出文件名、目录、用户名等信息，格式化生成需要迁移的文件列表和目录列表.通过Shell脚本提取目录列表，通过操作系统的mkdir、Chln(X1、Chwn命令在新环境重建目录，再根据文件列表并发批量拷贝(cp)到新环境。2)RSynC命令工具：RSynC是操作系统自带的一个快速、多功能的远程和本地文件拷贝工具,通过递归方式传输文件并保持所有文件的屈性，可以支持全量和地量的同步方式.通过Mt技术将老M,境的文件系统共享挂载到新环境服务器上，以目录为最小的位，将目录下所有的了耳录和文件全部同步拷贝到新环境服务器上。rsync命令简沽明了，除了-av还有几十个参数选项，可以聘平台将目录。Idfile卜所有的数据全部同步拷贝到目录nefile可r.sync.-av/oldfile/newfiIe两种迁移方案的对比:迁移方案自主设计SheII迁移脚本回。会命令工具复杂度自主编写的SheU脚本，复杂操作系统自带命令工具，简单迁移性能支持