“在整个HPC架构里,用户最关心、最重视的就是应用软件性能,所有软件、硬件都要为应用服务,整套集群也要以提升应用效率为目的。”
----付鸿雁 联科集团联席合伙人
前言
在工业、工程领域,高性能计算在仿真模拟上的实际应用不仅可以降低物理原型的实验数量和成本,还可以提高设计质量和效率,提升企业解决复杂技术难题的手段和能力,最终缩短新产品上市时间、加快新产品推出种类,增强企业在相关行业内的国内国际竞争力水平。
3月22日,联科集团联合戴尔科技集团、中科合成油在线探讨高性能计算和CAE的结合之道,分享高性能计算在模拟仿真领域的落地指南。
现梳理本次直播的演讲实录供大家参考学习,以下为分享原文:
PART01 联科集团简介
首先介绍一下联科集团:
联科集团成立于2000年,服务领域有高性能计算、云计算、大数据和人工智能。
迄今为止,已为近千家企业、院校、科研及政府机构提供产品和服务。
为什么成立联科集团?先从一个奖项说起:
联科集团创始人孙纬武博士是华盛顿大学终身教授,研究的方向是引力波。
1998年,孙教授带领他的学生们在SC 98大会会场演示了一个场景,在会场的工作站上提交了一个计算任务,当发现两个中子星比较接近的时候,就把这部分区域加密,将计算发送到圣地亚哥的超算集群上;又发现两个中子星比较接近的时候,把加密的计算区域发送到德国柏林的超算中心上;第三个加密的区域发送到德国加尔兴超算中心上,这样就实现了多地整合资源共同计算一个复杂任务,这一演示场景在98年获得了创新大奖。
当时美国成立了一个高性能计算指导委员会,目的是让更多的人把高性能计算技术使用起来,90年代这个委员会就在热火朝天地讨论高性能计算能给未来带来什么。
而在国内,当时很多科研人员还不知道或是使用不起来这项技术,所以在两年后的2000年联科集团成立了,成立之初的使命和愿景,就是发展实用计算科技,提高中国乃至亚太地区的科技生产力。
联科集团自成立以来,已在全国几个大中城市都设有分公司或办事处。联智科技(北京)有限公司是集团在大陆的旗舰,主要业务是高性能计算、气象环保、仿真一体化设计等产品和解决方案。
联科集团成立这二十多年的主要工作是专注计算科技,致力于将HPC这一利器释放给各行各业。
PART02 无处不在的高性能计算
科学的研究方法有理论研究、实验研究和计算研究。随着这几十年计算机技术的发展,计算研究也成为了科研和生产必不可少的重要手段,高性能计算也遍布在各个行业中:
比如工程仿真中的飞机设计、汽车设计、芯片设计;
气象环保领域里面的天气预报、气候模拟、环境污染预测;
基础学科中的分子动力学、结构力学、流体力学;
能源领域里面的地震资料处理、新能源的研究,风电中风机载荷的设计;
生物医药行业的靶向治疗药的研究、蛋白质重构、基因测序;
人工智能领域里面,我们常听说的人脸识别、语音识别、自动驾驶;
金融证券行业也新兴起来使用高性能计算来解决像量化交易、投资模拟这些场景;
其他行业比如说动漫渲染、新材料和遥感技术。
高性能计算真的是无处不在。
高性能计算的演进历程分为三个阶段:
第一阶段是单机或服务器群组模式,计算资源主要靠人为来分配。
第二阶段是HPC集群阶段,根据用户需求有小规模HPC和大规模HPC,由于资源众多所以需要动态调度资源。
第三阶段就是现在大家探讨比较多的云计算时代,计算资源无论是在本地还是公有云或者超算中心,我们使用起来就像用水用电一样方便,这样也就把计算能力从少数人手中解放给大多数人。
说了这么多高性能计算,它能给我们带来什么呢?
高性能计算可以减少计算时间,降低成本,同时也能增加计算规模,提升效率,一降一增就可以提升企业效率,加速科研进程。
PART03 HPC在CAE仿真中的重要价值
我们先来看看CAE仿真设计流程,主要分为三个部分:
第一部分是CAD前处理,主要用GPU来做三维建模;
第二部分是CAE求解,会用到大量CPU和内存资源来做计算,这部分也是由高性能计算平台来支撑的。
第三部分是CAD后处理,用来检验计算结果是不是满足要求。
流体分析类的Fluent、Star-CCM+,结构力学的Abaqus、Ansys,碰撞分析的LS-Dyna以及疲劳、电磁和EDA仿真等,都是CAE中常用的工具软件。
那工程仿真中使用HPC的价值都有哪些呢?
解决更复杂的问题。
比如一些模型细节的精确模拟,网格数可以更大,所以精度也可以更高,也可以从单一零件到整机的模拟。
加速研发进程。
HPC集群的处理能力强,计算速度快,可以迅速完成大量任务的计算,提高设计质量和效率。
降低投入成本。
通过计算可以减少实验的次数和成本,比如说设计一个飞机或者汽车外形,我们不可能做出很多模型去实验,周期长,成本也太高。另一方面可以提升研发设计人员的效率,人员的效率提升了,成本也就下降了。
投资收益最大化。
资源集中管理调度可以提高利用率,不是零散分散的使用模式。另外,软件集中安装部署也可以降低运维成本。
提升企业竞争力。
使用HPC集群进行仿真设计,可以缩短产品上市时间,加快推出新产品,让企业在市场上更有竞争力。
因此,现在很多企业也通过建设HPC集群来促进生产和研发,但是在建设和使用集群过程中也有很多问题,总结起来其实也就是两类的问题:一个是怎么建好集群,一个是怎么用好集群。
从IT工程师的角度来看:
如何结合业务场景中不同CAE软件来做方案规划?在建设过程中怎样搭建出来可靠、易用并且性能持续最优的集群系统?使用过程中怎样有效管理集群?大量作业提交上来之后,会发生计算资源的争抢,怎样提高利用率?
从企业工程师的角度来看:
大部分企业工程师不熟悉另外一个操作系统,怎样快速处理数据和提交作业?应用软件怎样在这个平台上快速运行起来?这些都是摆在用户面前的现实困难。
联科HPC工程仿真解决方案就可以帮助用户解决建好和用好HPC集群的难题。
PART04 联科面向工程仿真设计解决方案
联科面向工程仿真设计解决方案基于联科自主研发的CHESS集群管理软件和二十多年的行业经验积累,为用户设计、定制、搭建和运维HPC集群系统,统一管理仿真数据,灵活配置池化资源,融合GPU远程三维可视化组件,实现HPC集群高效稳定运行、按需调度、有效管理,帮助制造型企业高效率、低成本地实现工程仿真设计需求。

该方案的思路以应用为核心,以硬件和软件为基础。
硬件方面:
分析用户需求,设计和搭建适合用户场景的最优方案,使应用和硬件达到最佳匹配的效果。
软件方面:
结合使用场景,围绕应用按需调优,达到整套集群系统和软件最佳匹配,同时制定符合使用习惯的操作流程。
应用方面:
在所提供稳定可靠、性能最优的软硬件平台基础之上,获得应用软件的最优性能。
在整个HPC架构里面,用户最关心、最重视的就是应用软件性能,所有软件、硬件都是为应用服务的,整套集群也都是以提升应用效率为目的。
联科HPC全流程解决方案分为集群设计、集群建设、集群运维和应用服务四大模块。
方案咨询与设计
在方案设计和选型上,联科遵循高可靠、可扩展、通用性、数据安全和可视化等原则。
方案设计流程中,先做需求分析,看看用户需要使用到哪些应用软件、有多少人在用、使用的具体场景是什么,根据这些信息进行方案设计以及成本评估。
如果用户有需要,联科还提供POC测试,包括性能测试、功能测试,最后与用户共同确认方案。

这是一个典型的HPC方案设计架构,以此架构为例,来看看该如何做方案设计:
首先来看计算节点,类型和数量较多,是HPC比较核心的一个部件,因此计算节点的CPU选型也尤为重要,要根据用户实际使用场景来决定是选英特尔的处理器、AMD的处理器还是GPU,如果选英特尔的处理器,具体要选哪种型号,也要根据实际场景匹配;
接下来是网络,用于连接集群各个部件,也要根据实际使用场景来匹配,比如万兆、IB还是OPA网络;
在底层存储方面,我们选择什么样的存储架构,使用哪种并行文件系统来搭建,也是根据应用对IO的需求来设计的。常见的并行文件系统有Lustre、BeeGFS和GPFS等;
另外,像集群的部署管理监控软件,有Open Source 的,也有商业版的;
还有从操作系统上来看,是选择Windows系统还是选择Linux系统,以及在制造行业里面经常会用到的三维远程可视化设计,具体是采用什么技术,也要根据用户实际场景匹配。
集群建设
集群建设流程主要有硬件部署、操作系统部署、集群软件安装(管理、监控、调度、报表计费之类的软件),整个集群性能优化测试,在保证硬件性能最优的情况下,安装、优化应用软件,最后向用户提供文档和培训。
在并行文件系统上,有BeeGFS、Lustre和GPFS三种选型,联科具有这三种并行文件系统的服务能力。
系统测试在整个集群系统的搭建过程中也尤为关键。联科集团拥有专业的HPC工程师团队,可以对整个集群进行系统的性能诊断,包含Benchmark性能测试,如单机的Linpack、整机的Linpack、内存带宽、IO性能以及网络性能等。
应用的测试包含应用特征分析、选择合适的资源来运行应用软件、匹配适合的调度策略。
同时我们也提供测试报告和分析报告,帮助用户去诊断集群系统。
用户培训分为管理员培训和用户使用培训。交付的文档有管理员手册、用户手册、测试报告和实施报告。
集群运维
在运维方面,HPC集群庞大而复杂,是一个有机整体,集群的整体可靠性有赖于每一个设备的正常运行和协调一致,任何一个环节出现故障,都有可能导致整台机器的性能下降。因此对整个集群系统的管理和运维就尤为重要。
联科基于CHESS高性能计算管理平台建立了一套完善的HPC管理和运维系统,实时监控整个集群的运行状况,迅速定位处理故障,可以协助管理员持续地优化调度策略,简化运维管理,同时提供像报表计费这样的功能,协助用户做升级扩容等决策。
售后服务
在售后服务方面,联科可以协助用户排查操作系统、文件系统、作业调度系统、监控软件以及应用软件的故障,也提供定期巡检服务,保证集群稳定运行。
PART05 核心产品——CHESS
CHESS是联科自主研发的高性能计算管理平台,通过浏览器实现整套集群的部署、管理、监控、调度、报表和计费,可将本地松散堆叠的服务器变成一套集群系统。如果本地资源不够用,还可以调用公有云资源,大幅提高集群效率,简化运维管理。
CHESS从2001年开始发布,到现在已经走过了二十多个年头,更新、优化多个版本,目前发布的版本是6.6。
CHESS功能模块包含集群部署、作业管理、用户管理、应用管理、计费、报表、进程管理、许可证管理等二十多个功能模块。
底层是硬件层,包含像X86、ARM等架构的服务器,本地资源不够用时,可以扩充公有云资源;
系统层上,包含操作系统和并行文件系统。支持Redhat和CentOS 操作系统,以及Windows 2012操作系统。并行文件系统主要支持GPFS、Lustre、BeeGFS三种;
集群层是CHESS提供功能层,包含集群部署、管理、监控、调度、报表计费、混合云管理、项目管理等;
容器层,如果该应用是打包在容器里的,CHESS可以直接调度容器来执行这个应用程序;
工具层,包含编译器、数学库、调试调优的工具;
最顶层是应用层,CHESS可适配CAE仿真、EDA仿真、气象环保、人工智能等常用应用软件;
联科这二十多年的工作,主要就是将用户的应用软件在用户已有的硬件平台上或公有云资源上运行起来、并运行得好。
CHESS集群部署
集群部署功能通过CHESS管理节点完成计算节点、IO节点、登录节点的批量部署,提供弹性伸缩的功能,另外还有开关机管理功能。
CHESS Web Portal
提供图形化、桌面式的界面。每个应用都以图标形式展现,逻辑简单,操作方便。可以在用户现场根据用户实际使用参数拖拽式地形成定制化模板。
CHESS安全控制
安全管控模块,主要应用于军工企业的保密认证,提供三员管理、项目管理和密级管理功能。
CHESS用户管理
可以在CHESS中自建用户,也可以与已有用户系统对接,进行统一身份登录。在用户管理里,还提供二级管理员功能,二级管理员可以管理自己部门内部的用户。
CHESS作业调度
作业调度也是集群中比较核心的功能。CHESS支持LSF、Slurm和PBS调度器,同时也支持多种调度算法,比如公平共享、抢占。
另外CHESS也支持GPU的单机单卡、单机多卡和多机多卡的调度。
CHESS应用管理
这是CHESS的应用管理功能,管理员可以对应用模板进行编辑、发布、禁用以及匹配权限,可以设置哪个用户或哪个部门能使用哪个应用模板来提交作业。每个应用模板可以通过拖拽标准组件来生成,支持通过写HTML语句来生成应用模板。
CHESS三维远程可视化
CHESS三维远程可视化基于VNC或是DCV技术实现,用于前后处理。
CHESS数据管理
数据管理通过界面上的操作可以实现Linux 系统文件的上传、下载、压缩和解压等功能,也可集成对文件或目录访问工具。
CHESS资源管理
资源管理包含云上资源以及本地CPU、GPU资源,还有用户配额,比如存储配额的管理。
CHESS监控运维
这是CHESS的监控功能。提供机柜图维度展示,可以对每一台机器进行开机、关机、查看机器运行情况。右图是整机监控图,包含CPU、内存以及作业运行情况,这个图也可以展示在大屏上。
CHESS计费系统
提供CHESS详单、报表、余额和费率设置,支持充值、透支和折扣系数等功能。
CHESS集群报表
集群报表主要有两类信息,一类是CPU、GPU、内存和存储使用资源的报表,另一类就是作业报表,可以统计用户、部门、队列和项目等维度的作业使用情况。
CHESS许可证管理
CHESS许可证管理功能基于EDA行业需求专门开发。EDA行业里面的许可证既昂贵、管理起来又比较复杂,CHESS提供许可证的管理、监控、报表、定价和详单功能。
可以通过CHESS看到许可证Server 的状态及过期时间。可以提醒用户许可证即将过期,监测许可证总共有多少核数,被多少人使用,被谁使用。
CHESS流程管理
CHESS流程管理提供了有依赖关系的任务管理和调度,可以以一个工作流的维度去提交作业、查看进度。
CHESS消息管理
管理员可以通过消息管理功能为用户或在首页发布消息,用户可以接收到管理员消息、作业消息及计费消息。
CHESS人工智能模块
CHESS人工智能模块支持GPU调度,也支持人工智能多种训练模型。
CHESS混合云管理调度
CHESS混合云管理调度功能是根据本地集群的负载情况,在本地资源不足的时候调度公有云资源作为本地资源的扩充。在公有云上,CHESS支持包周期和按需两种模式。
CHESS平台优势
支持混合云:
本地集群与公有云直接联动,快速实现混合云模式
公有云计算资源可根据用户需求弹性伸缩
随取随用,无需排队
私有集群管理:
快速、自动部署集群系统
集中管理集群资源
智能化任务调度
校内/行业/共用运营:
完备的用户注册和管理功能
简单易用的操作界面
丰富的报表和计费信息
GPU监控与调度:
支持GPU单卡&多卡的共享、独占、调度
实时监控GPU负载、内存使用率、网络流量等任务状态
多种架构支持:
支持X86和ARM64架构服务器
支持Linux/AIX/Windows混合集群
支持多种AI开源框架:
支持TensorFlow、Caffe等框架
支持多种容器:
支持Docker容器、Singularity容器
PART06 案例分享
中科合成油高性能计算集群建设项目
本次活动我们特邀请VIP用户中科合成油来分享使用CHESS的经验和价值,接下来会有更详细的推文做详细解读,在此不做赘述。
上海泛智能源装备有限公司
用户原来使用工作站进行计算,但算力不足,后来采用HPC集群进行仿真设计。用户共采购三期戴尔硬件设备,都是使用CHESS来进行集群管理,主要使用Abaqus、Numeca、Ansys Fluent和CFX等软件。
用户原来在工作站上运行一个作业要48小时,也就是今天下午计算,后天下午看结果。在使用CHESS平台支持的集群之后,做到了今天上班提交任务,下班就看结果,计算效率提升了四倍。
中国航空工业集团某飞机设计研究所“私有云+HPC”建设项目
此案例是一个军工研究所,本项目的特点是搭建了一套私有云+HPC的平台。过去云平台和HPC都是分开建设的,因为二者用法是相反的,私有云是将一个核给多个人使用,运行一些服务,而HPC是因为计算量大,单核单机不能满足计算需求,所以要使用多核进行计算。该项目的私有云建设采用阿里云,这也是首次在国内搭建私有云加HPC的平台。
航空工业某院高性能计算集群建设项目
这个案例也是一个军工研究所,该项目分两期建设,第一期是200多台的X86服务器,第二期是300多台的ARM服务器。该集群除了供研究所内部使用以外,还通过了保密认证,在金航网上对航空系统提供计算机时服务,CHESS提供了相应的计费功能。
西安交通大学“共享共建”高性能计算校级平台建设项目
这个案例是西交大的校级平台,此项目真正实现了“万核大平台” 共享共建集群,所以这个集群的用户都是真正出钱的人,对平台的使用计费要求都非常高,而CHESS很好地满足了用户的需求,为学校的科研成果做出贡献。
超算中心运营—东方超算云内蒙古超级大脑建设项目
内蒙古超级大脑这个项目是一个公共超算中心,使用CHESS多级用户管理,图形化提交界面,提供集群运行状态的监控和计费等功能模块,对超算中心进行精细化管理和7x24小时远程运营,帮助用户以低成本、快交付的优势,满足不同学科多元算力的需求。
CAE是HPC应用的一个重要领域,面向CAE 的联科高性能计算解决方案的落地离不开业内众多生态合作伙伴的支持,相信未来也会有更多用户感受到高性能计算带来的好处和价值。
联科集团会在高性能计算领域做出更多尝试,我们共同期待高性能计算更好的发展
我的分享就到这里,再次感谢大家的聆听。
