面向电子设计的新一代高性能计算系统可研报告.docx

面向电子设计的高性能计算系统可研报告目录1 需求分析21.1 产品研制要求21.2 现状和不足713利用高性能计算系统提升用户数字化设计能力102 建设内容122.1 主要功能及技术指标122.2 软件组成171需求分析1.1产品研制要求在进行研究过程中，涉及到大量的CAD模型设计；CAE网格前后处理；流体、结构、电磁等仿真计算等工作。所涉及到的应用主要有:CAD模型设计应用软件列表如下：软件名可运行平台说明Pro/EWindowsCAD设计UGNXWindOWs,LinuxCAD设计CatiaWindowsCAD设计网格前后处理应用软件列表如下:软件名可运行平台说明FEKO前后处理Windows电磁模型网格前后处理HFSS前后处理Windows电磁模型网格前后处理CST前后处理Windows电磁模型网格前后处理TecplotWindows,Linux有限元模型网格前后处理EnsightWindows,Linux有限元模型网格前后处理CFX-Pre/PostWindows,Linux流体模型网格前后处理PantranWindows,Linux有限元模型网格前后处理AnsysWindows,Linux有限元模型网格前后处理HyperworksWindows,Linux有限元模型网格前后处理仿真计算类应用软件列表如F：软件名可运行平台说明FluentWindows,Linux流体力学计算CFXWindows,Linux流体力学计算FastranWindows,Linux流体力学计算AnsysWindows,Linux结构、强度有限元分析NastranWindows,Linux结构、强度有限元分析MarcWindows.Linux结构、强度非线性有限元总结起来，可以将数字化设计的需求分为如下五类:1. CAD设计应用主要是需要机器的三维显示能力，同时目前的CAD应用大多数功能不支持并行，为提高用户的体验，对CPU的计算能力特别是单核的计算能力也有较高要求。综合考虑空间占用，管理维护便利性，及性能，本方案建议使用刀片图形工作站，并配置高端的显卡和单核性能强的CPU。2. 网格前后处理应用主要是需要机器的三维显示能力，同时多数网格前后处理应用不支持并行，或者支持的并行度不高（最多8核），因此为了保证前后处理速度，提高用户的体验，前后处理对CPU的计算能力特别是单核的计算能力也有很高要求。综合考虑空间占用，管理维护便利性，及性能，本方案建议使用刀片图形工作站，并配置高端的显卡和单核性能强的CPU。3. CFD流体类仿真应用程序,大多数能很好地支持MPI并行计算，能够跨机器分配计算节点。由于可以跨机器分配CPU和内存，因此CFD类的仿真应用程序对单机的CPU速度和内存大小要求不高，但对机器间通信速度和延迟要求较高，以保证多节点MPI计算的效率。从性价比出发，本方案采用刀片服务器，并配置InfinibandFDR计算网络，支持计算节点之间56Gb高速、低延迟的互联。4. CAE结构类仿真应用程序，大多只支持单机并行，对多机并行的支持还仅限于对其中一部分算法上。另外，从并行度的支持上，大多数应用对大于16核的并行计算，其加速比己经很低，不能发挥并行计算的效果了。因此，目前典型的刀片服务器配置双路16核或24核CPU,已经可以满足此类应用的要求。同时，由于此类应用大多只能在单机上运行，因此对刀片服务器单机的CPU和内存要求比较高。综合考虑，本方案建议配置内存较大（128GB以上）,主频较高的CPU。5. 电磁类仿真，最大特点是对内存要求比较高。特别是Fek0,按照目前设计人员的网格大小（50万）估算，每个核计算需要大概8GB的内存。而就FekO并行效率最好的32核计算（实测表明，超过32核的FekO并行计算，其加速比提高很小，因此不建议使用超过32核进行FekO计算）来说，因此一个典型的32个核的计算任务，需要256GB内存。考虑到因为内存限制，设计人员的网格精度普遍不高，在与设计人员的实际交流中发现,如果内存得到保证，设计人员普遍需要将网格精度提升到100-200万，此时一个典型200万网格32核的并行计算需要大概1TB的内存。但电磁类应用都支持跨节点MPl并行计算，因此可以通过跨节点并行计算的方式，减少对单节点内存大小的需求。例如，一个200万网格32核的并行计算，如果用两个机器每个机器16核跨节点并行计算，则每个机器只需要512GB内存。综合考虑，本方案建议采用大内存SMP架构的胖节点服务器满足电磁计算的需求。另外，目前很多应用已经支持GPU加速，例如CST通过配置GPU加速可以获得很好的计算加速效果，因此本方案设计过程中，需要考虑GPU加速的可能性。综上所述，我们对以上五类应用对计算资源的要求汇总如下：CPU内存跨节点并行显卡性能IO网络带宽和延迟可扩展性GPU加速建议硬件配置CAD设计高64GB不支持高低-刀片工作站前后处理高128GB不支持高高-部分应用刀片工作站，显卡也可用于GPU加速结构仿真高128GB弱一高低<16核部分应用片服务器，可部分配置GPU加速流体仿真中32GB强一中高好部分应用刀片服务器+IB网络电磁仿真高5OO-1TB强-中高（跨节点计算情况下）<32核部分应用大内存胖节点服务器，可配置GPU加速1.2现状和不足目前没有一套集中高性能计算系统。各个研究室独立采购小规模的高性能计算系统，结合每个设计人员配备的高端图形工作站，以此完成所有数字化设计任务。目前系统已经不能满足设计师对设计能力的需求,并在可管理性和易用性方面存在诸多需要改善的地方。主要表现在：1 .没有集中统一的高性能计算系统产品数字化模型无法进行大规模仿真，降低了产品数字化设计阶段的模型的可靠性和准确性。用户“孤岛式”的工作模式，不仅带来工作站使用上的浪费，也不利于协同合作，生产和设计效率降低。同时，数据没有有效集中访问和使用，用户模型数据等涉密数据只能存放在用户的工作站上，并且没有一套有效的审计系统，存在安全性隐患。2 .缺乏对高性能计算系统理解深入的系统管理人员建设和管理高性能计算系统的人员属于IT系统方面的专业人员，他们既需要有高性能计算系统相关的软硬件专业知识，也需要能够熟悉各种应用软件在高性能计算系统上的应用模式；既能够构建当前所需要高性能计算系统，也能够把握未来计算系统的发展方向，为企业未来的IT系统发展设计路径。高性能计算系统对管理人员能力要求更高，培养优秀的高性能系统管理人员需要更多的时间和资金投入。就像是两条腿走路，只有专业设计人员和高性能计算系统管理人员强强搭配才能形成优势互补，使得用户的发展能够高速向前。建设高性能计算系统，也可以从实践中培养和锻炼一批高性能计算系统管理员。3 .专业设计人员对高性能计算系统使用的经验不足设计、研发的工程师从事繁重的设计任务，他们已经习惯了使用工程化的软件及具有友好的操作界面，加上要使用好这些CAE软件本身要求工程师必须具备数学、工程及工程的深厚积累，然而让工程师应用高性能计算平台又要求工程师熟悉异构的操作系统、程序设计语言、网络、存储等相关知识，而且加上跟原有工作模式完全不一致，这些种种因素造成了工程师对高性能计算技术学习难度，导致高性能计算系统推广困难。专业人员使用高性能系统中常见的问题有：用户的应用软件通过高性能平台提交后无法看到中间结果，在仿真过程中计算有无偏差，无法做出判断。只能等待作业运行结束后才能做出判断。现有高性能计算系统总体的计算能力不足，与用户最新配备的图形工作站在计算能力上没有拉开差距，另外用户提交的计算任务排队时间过长，导致用户不愿意使用高性能计算系统。>CAE前后处理过程的数据传递是割裂开的。常见的行为是，设计人员将设计文件进行转化后拷贝到高性能计算系统节点上进行仿真计算，根据计算结果对设计进行修改后再次进行仿真计算。数据传递过程不连续导致了设计效率不高，时间大量耗费在人工干预过程中，设计人员也不甚其烦。据统计，CAE的前后处理占用整个过程的80%以上的时间，因此，如果将高性能计算系统和协同平台结合高效融合，使得数据利用协同平台无缝流转,将极大的提高工作效率，减轻设计人员负担和降低管理成本。4 .没有有效利用专业CAE软件的新功能和新性能不论是专业设计人员还是高性能计算系统的管理人员都对应用软件和计算系统的缺少了解，使得对于应用软件和高性能计算系统的使用还停留在较早期的阶段。应用软件和高性能计算系统的发展，使得多方面提高设计效率变为可行，例如，CAE软件HFSS最新版本将会支持网格剖分过程多核并行，解决传统意义上的只能单核进行网格剖分的模式,有数据证明，一个大型的仿真计算过程，花在网格剖分上的时间是非常多，缩短网格剖分时间将会大大的提升计算效率。从硬件发展的角度来看，以前常见用于图形图像显示处理的GPU现在越来越多的用于软件加速，其提供的计算能力远远高于CPU所能提供的计算能力。目前，各大CAE软件如ANSYS、CST、HFSS等都已经支持GPU加速，其加速达到非常突出的结果，以CST为例，CST某模型在使网格处理和仿真计算一体化高性能计算系统，以图形工作站、刀片服务器和胖节点服务器为中心，为设计人员提供统一、高效、安全、可靠的大型三维网格前后处理平台、高性能仿真计算平台。1.3利用高性能计算系统提升用户数字化设计能力从上面分析来看，用户需要建设一个满足上述五类应用（CAD、前后处理、流体仿真、结构仿真、电磁仿真）要求的高性能计算系统，该系统必须是一个平衡的系统，在CPU速度、内存容量与带宽、存储容量与带宽及网络连接、三维显示能力、GPU加速能力等各个方面都不应该存在性能瓶颈。而传统意义上的高性能计算系统，只解决了计算相关的问题，且与工程师的业务衔接不够紧密。因此，本方案将采用云计算技术建设新一代的高性能计算系统，覆盖用户所有数字化设计任务，该平台主要特点有：1 .将高性能计算系统云端化云计算能力是当前IT架构发展的重点。云端化意味着将企业或单位中的计算资源和存储资源集中部署和集中管理，设计开发人员对于计算资源和存储资源的要求按需申请，按需分配，按需调度，整个计算系统统一管理，使得系统管理人员从日常繁重的管理维护工作中脱离出来,更多的关注IT系统的发展方向。云端化的高性能系统能够满足弹性的扩容要求，当计算能力不能满足当前业务需要的时候能够无缝扩容而不会影响当前的业务开展。高性能计算系统的云端化能够将设计过程中的计算和展示分配在不同的设备资源上。计算部分运行在能够提供较高的计算能力，但是在显示效果和人机界面较为简单的设备或操作系统中，而对于展示部分，则通过内部数据流转，显示在开发设计人员熟悉易用的设备或操作系统中。云资源的按需分配能力，降低了开发设计人员的设计曲线，设计人员不需要根据应用的特点去熟悉了解不同系统的特点，只需要专注于开发设计结果。云端化的高性能计算系统能够大幅度降低软硬件的运维成本。传统的高性能计算系统只能专注于计算资源的分配。而云端化的高性能计算系统将计算资源和设计资源统一管理，统一分配。通常的应用软件安装在开发设计人员的桌面机上，在更新软件版本或增加软件资源时，需要更新每一台桌面机。在桌面机性能不能满足开发设计需要