大型WEB站点架构设计文档.docx

1、HTML静态化其实大家都知道，效率最高、消耗最小的就是纯静态化的html页面，所以我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，我们无法全部手动去挨个实现，于是出现了我们常见的信息发布系统CMS,像我们常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和实现的，信息发布系统可以实现最简单的信息录入自动生成静态页面，还能具备频道管理、权限管理、自动抓取等功能，对于一个大型网站来说，拥有一套高效、可管理的CMS是必不可少的。除了门户和信息发布类型的网站，对于交互性要求很高的社区类型网站来说，尽可能的静态化也是提高性能的必要手段，将社区内的帖子、文章进展实时的静态化，有更新的时候再重新静态化也是大量使用的策略，像MOP的大杂没就是使用了这样的策略，网易社区等也是如此。同时，html静态化也是某些缓存策略使用的手段，对于系统中频繁使用数据库查询但是内容更新很小的应用，可以考虑使用html静态化来实现，比方论坛中论坛的公用设置信息，这些信息目前的主流论坛都可以进展后台管理并且存储再数据库中，这些信息其实大量被前台程序调用，但是更新频率很小，可以考虑将这局部内容进展后台更新的时候进展静态化，这样防止了大量的数据库访问请求。2、图片服务舞别离大家知道，对于Web服务器来说，不管是APaChe、HS还是其他容器，图片是最消耗资源的，于是我们有必要将图片与页面进展别离，这是基本上大型网站都会采用的策略，他们都有独立的图片服务器，甚至很多台图片服务器。这样的架构可以降低提供页面访问请求的服务器系统压力，并且可以保证系统不会因为图片问题而崩溃，在应用服务器和图片服务器上，可以进展不同的配置优化，比方叩ache在配置COntentTyPe的时候可以尽量少支持，尽可能少的LOadModule,保证更高的系统消耗和执行效率。3、数据库集群和库表散列大型网站都有更杂的应用，这些应用必须使用数据库，那么在面对大量访问的时候，数据库的瓶颈很快就能显现出来，这时一台数据库将很快无法满足应用，于是我们需要使用数据库集群或者库表散列。在数据库集群方面，很多数据库都有自己的解决方案，Oracle.SybaSe等都有很好的方案，常用的MySQL提供的MaSter/Slave也是类似的方案，您使用了什么样的DB,就参考相应的解决方案来实施即可。上面提到的数据库集群由于在架构、成本、扩张性方面都会受到所采用DB类型的限制，于是我们需要从应用程序的角度来考虑改善系统架构，库表散列是常用并且最有效的解决方案。我们在应用程序中安装业务和应用或者功能模块将数据库进展别离，不同的模块对应不同的数据库或者表，再按照一定的策略对某个页面或者功能进展更小的数据库散列，比方用户表，按照用户ID进展表散列，这样就能够低成本的提升系统的性能并且有很好的扩展性。sohu的论坛就是采用了这样的架构，将论坛的用户、设置、帖子等信息进展数据库别离，然后对帖子、用户按照板块和ID进展散列数据库和表，最终可以在配置文件中进展简单的配置便能让系统随时增加一台低成本的数据库进来补充系统性能。4、缓存缓存一词搞技术的都接触过，很多地方用到缓存。网站架构和网站开发中的缓存也是非常重要。这里先讲述最基本的两种缓存。高级和分布式的缓存在后面讲述。架构方面的缓存，对APaChe比较熟悉的人都能知道APaChe提供了自己的缓存模块，也可以使用外加的Squid模块进展缓存，这两种方式均可以有效的提高Apache的访问响应能力。网站程序开发方面的缓存，LinUX上提供的MemOryCaChe是常用的缓存接口，可以在Web开发中使用，比方用JaVa开发的时候就可以调用MemoryCaChe对一些数据进展缓存和通讯共享，一些大型社区使用了这样的架构。另外，在使用Web语言开发的时候，各种语言基本都有自己的缓存模块和方法，PHP有Pear的CaChe模块，Java就更多了，.net不是很熟悉，相信也肯定有。5、镜像镜像是大型网站常采用的提高性能和数据安全性的方式，镜像的技术可以解决不同网络接入商和地域带来的用户访问速度差异，比方ChinaNet和EdUNet之间的差异就促使了很多网站在教育网内搭建镜像站点，数据进展定时更新或者实时更新。在镜像的细节技术方面，这里不阐述太深，有很多专业的现成的解决架构和产品可选。也有廉价的通过软件实现的思路，比方LinUX上的rsync等工具。6、负载均衡负载均衡将是大型网站解决高负荷访问和大量并发请求采用的终极解决方法。负载均衡技术开展了多年，有很多专业的服务提供商和产品可以选择，我个人接触过一些解决方法，其中有两个架构可以给大家做参考。7、硬件四层交换第四层交换使用第三层和第四层信息包的报头信息，根据应用区间识别业务流，将整个区间段的业务流分配到适宜的应用服务器进展处理。第四层交换功能就象是虚IP,指向物理服务器。它传输的业务服从的协议多种多样，有、FTP、NFS、Telnet或其他协议。这些业务在物理服务器根基上，需要更杂的载量平衡算法。在IP世界，业务类型由终端TCP或UDP端口地址来决定，在第四层交换中的应用区间那么由源端和终端IP地址、TCP和UDP端口共同决定。在硬件四层交换产品领域，有一些知名的产品可以选择，比方Alteon、F5等，这些产品很昂贵，但是物有所值，能够提供非常优秀的性能和很灵活的管理能力。YahOO中国当初接近2000台服务器使用了三四台Alteon就搞定了。8、软件四层交换大家知道了硬件四层交换机的原理后，基于OSl模型来实现的软件四层交换也就应运而生，这样的解决方案实现的原理一致，不过性能稍差。但是满足一定量的压力还是游刃有余的，有人说软件实现方式其实更灵活，处理能力完全看你配置的熟悉能力。软件四层交换我们可以使用LinUX上常用的LVS来解决，LVS就是LinUXVirtualServer,他提供了基于心跳线heartbeat的实时灾难应对解决方案，提高系统的鲁棒性，同时可供了灵活的虚拟VIP配置和管理功能，可以同时满足多种应用需求，这对于分布式的系统来说必不可少。一个典型的使用负载均衡的策略就是，在软件或者硬件四层交换的根基上搭建SqUid集群，这种思路在很多大型网站包括搜索引擎上被采用，这样的架构低成本、高性能还有很强的扩张性，随时往架构里面增减节点都非常容易。这样的架构我准备空了专门详细整理一下和大家探讨。对于大型网站来说，前面提到的每个方法可能都会被同时使用到，我这里介绍得比较浅显，具体实现过程中很多细节还需要大家慢慢熟悉和体会，有时一个很小的SqUid参数或者apache参数设置，对于系统性能的影响就会很大，希望大家一起讨论，到达抛砖引玉之效。用SqUid做webcacheserver,而叩ache在squid的后面提供真正的Web服务。当然使用这样的架构必须要保证主页上大局部都是静态页面。这就需要程序员的配合将页面在反响给客户端之前将页面全部转换成静态页面O基本看出Sina和SOhu对于频道等栏目都用了一样的技术，即SqUid来监听这些IP的80端口，而真正的WebSerVer来监听另外一个端口。从用户的感觉上来说不会有任何的区别，而相对于将WebSerVer宜接和客户端连在一起的方式，这样的方式明显的节省的带宽和服务器。用户访问的速度感觉也会更快。:带宽：4000M/S（参考）服务器数量：60台左右Web服务器：Ligd,Apache,nginx应用服务器：Tomcat其他：Python,Java,MogileFS、ImageMagick等关于Squid与TomcatSquid与TomCat似乎在Web2.0站点的架构中较少看到。我首先是对Squid有点疑问，对此阿华的解释是“目前暂时还没找到效率比Squid高的缓存系统，原来命中率确实很差，后来在Squid前又装了层Ligd,基于url做hash,同一个图片始终会到同一台squid去，所以命中率彻底提高了"对于应用服务器层的TOmCat,现在Yupoo!技术人员也在逐渐用其他轻量级的东西替代，而YPWS/YPFS现在己经用Python进展开发了。名次解释：YPWS-YupooWebServerYPWS是用Python开发的一个小型Web服务器，提供基本的Web服务外，可以增加针对用户、图片、外链网站显示的逻辑判断，可以安装于任何有空闲资源的服务器中，遇到性能瓶颈时方便横向扩展。YPFS-YupooFileSystem与YPWS类似，YPFS也是基于这个Web服务器上开发的图片上传服务器。Updated:有网友留言质疑Python的效率，Yupoo老大刘平阳在del.icio.us上写到"YPWS用Python自己写的，每台机器每秒可以处理294个请求，现在压力几乎都在10%以下图片处理层接下来的ImageProcessServer负责处理用户上传的图片。使用的软件包也是ImageMagick,在上次存储升级的同时，对于锐化的比率也调整过了（我个人感觉，效果确实好了很多）。"Magickdtt是图像处理的一个远程接口服务，可以安装在任何有空闲CPU资源的机器上，类似MemCaChed的服务方式。我们知道Flickr的缩略图功能原来是用ImageMagick软件包的，后来被雅虎收购后出于版权原因而丕用了（?）；EXIF与IPTCFliCke是用Perl抽取的，我是非常建议Yupoo!针对EXIF做些文章，这也是潜在产生受益的一个重点。图片存储层原来Yupoo!的存储采用了磁盘阵列柜，基于NFS方式的，随着数据量的增大，"Yupoo!开发部从07年6月份就开场着手研究一套大容量的、能满足Yupoo!今后开展需要的、安全可靠的存储系统“，看来Yupoo!系统比较有信心，也是满怀期待的，毕竟这要支撑以TB计算的海量图片的存储和管理。我们知道，一张图片除了原图外，还有不同尺寸的，这些图片统一存储在MogiIeFS中。对于其他局部，常见的Web2.0网站必须软件都能看到，如MySQLMemcached>Ligd等。YUPOo!一方面采用不少相比照拟成熟的开源软件，一方面也在自行开发定制适合自己的架构组件。这也是一个Web2.0公司所必需要走的一个途径。非常感谢一下Yupoo!阿华对于技术信息的分享，技术是共通的。下一个能爆料是哪家？-EOF-Iigd+squid这套缓存是放在另外一个机房作为Cdn的一个节点使用的，图中没描绘清楚，给大家带来不便了。SqUid前端用Iigd没用nginx,主要是用了这么久，没出啥大问题，所以就没想其他的了。URLHaSh的扩展性确实不好，能做的就是不轻易去增减服务器，我们目前是5台服务器做一组hash.我们现在用PythOn写的WebSerVer,在效率方面，我可以给个测试数据，根据目前的访问日志模拟访问测试的结果是1台ypws,平均每秒处理294个请求（加载所有的逻辑判断）。在可靠性上，还不没具体的数据，目前运行1个多月还没有任何异常。IVS每个节点上都装nginx,主要是为了反向代理及处理静态内容，不过apache已显得不是那么必需，准备逐渐去掉。我们处理图片都是即时的，我们目前半数以上的服务器都装了magickd服务，用来分担图片处理请求。:/每天数以千万计的Blog内容中，实时的热点是什么？Tailrank这个Web2.0Startup致力于答复这个问题。专门爆料网站架构的TOddHOff对KeVinBUrton进展了采访。于是我们能了解一下TaiIrank架构的一些信息。每小