當前,在工程仿真、AI4S、能源勘探、生命科學等眾多領域,科學計算與AI計算任務正加速融合,對算力管理平台帶來新的挑戰:既要支持高精度、高穩定的科學計算,又要支持大規模、高並發的AI計算。在「穩定」與「求新」之間,異構兼容、靈活調度的底層操作系統,對於算力管理平台的價值正在不斷凸顯。
聯科集團北京分公司-聯智科技(北京)有限公司(以下簡稱聯智科技)與浪潮信息元腦服務器操作系統KOS共同打造了多計算範式統一管理平台,實現科學計算、AI計算等不同計算任務的高效並行處理與資源動態分配。該平台依託於聯智科技超智融合算力管理平台CHESS在異構資源管理、作業調度方面的能力,結合浪潮信息元腦KOS領先的軟硬件協同、容器工具鏈流程優化、內核定製優化等優勢,幫助用戶降低異構環境建設難度,縮短部署時間,消除應用軟件性能瓶頸,滿足工程仿真、基礎科研、能源開發、生物醫藥等多個領域計算需求。
科学计算与AI计算并存 算力管理平台面临挑战
随着科研智能化趋势的深化,科学计算与AI计算共存已成为众多行业的常态。以汽车研发为例,车企在车身空气动力学、电池热管理、结构安全与自动驾驶等方面存在持续的仿真与优化需求。其中,风阻分析、电池热管理属于典型的科学计算任务,而自动驾驶感知决策、电池系统故障诊断等则属于AI计算任务。这两种任务对算力的需求模式截然不同:科学计算任务通常是“计算密集型”,需要CPU提供长时间稳定、高精度的计算能力,而AI推理任务尤其是实时推理,往往是“显存峰值型”,需要GPU提供强大的并行处理能力,且负载可能瞬间飙升。
科學計算與AI計算兩類計算範式在目標、資源需求和管理方式上存在顯著差異,將它們統一在一個管理平台上,會引發一系列複雜的問題。
- 一是不同計算範式帶來的兼容性挑戰。以汽車研發為例,計算流體力學(CFD)仿真需要高主頻、多核心的CPU和充足內存帶寬,以精確模擬車輛空氣動力學特性;而AI計算任務如自動駕駛仿真則依賴GPU或專用AI加速器及其顯存資源,用於運行深度學習模型進行場景生成或決策驗證。在軟件環境方面,用於風阻分析的CFD仿真軟件通常高度依賴特定的Linux發行版和長期支持的內核版本,以保障數值模擬的精確性和可複現性;而AI訓練與推理框架則需要最新的GPU驅動和系統庫,以支持新硬件特性和優化功能。在同一計算節點上既要滿足科學計算對「不變」的依賴,又要支持AI任務對「追新」的需求,系統兼容性成為首要難題。
- 二是資源調度與隔離的衝突。在汽車研發中,熱管理仿真與自動駕駛推理任務常被調度到同一節點上並行運行,資源競爭尤為突出。當電池熱管理仿真全速運行時,其高CPU與內存占用可能導致自動駕駛推理任務資源供給不足,推理延遲從百毫秒級延長至數百毫秒甚至秒級,直接影響實時決策的安全性。反之,若自動駕駛推理突發高並發請求,可能搶佔GPU或CPU資源,導致熱管理仿真任務計算性能下降或排隊延遲,影響仿真連續性與效率。
- 三是兩者在性能優化上面臨不同路徑。在混合負載場景下,科學計算與AI任務對性能優化的側重點不同,進一步增加了平台管理的複雜度。風阻仿真等科學計算任務追求極致的並行計算效率和內存帶寬利用率,需要精細的CPU綁核與內存調度策略;而自動駕駛推理任務則更關注GPU利用率和顯存管理,以降低推理延遲。當兩類任務共居同一節點,平台既要保障CFD模擬的大規模矩陣求解效率,又要確保自動駕駛推理的實時響應,這就對底層CPU、GPU、內存等資源的隔離與調度機制提出了極高要求。
聯智科技CHESS+元腦KOS:筑基多計算範式統一管理平台 讓科研及AI任務與算力精準匹配
為了應對上述挑戰,聯智科技選擇元腦KOS作為多計算範式統一管理平台的系統底座,形成異構兼容、融合調度、性能優化的解決方案,實現工程仿真、AI4S等場景下不同計算任務與異構算力的精準匹配,充分發揮融合算力最大價值。
- 首先,CHESS選擇元腦KOS作為平台的系統底座,元腦KOS向下兼容CPU、GPU、DPU等多種異構芯片,構建了統一的計算資源池,並通過標準化的編程接口,確保平台能夠高效地調度異構資源,並充分發揮硬件的最新特性。CHESS還優化了Lustre、BeeGFS、GPFS等並行存儲驅動以及InfiniBand網絡協議棧,提升了平台在處理大規模數據和並行計算任務時的性能,為科學計算提供更精確的模擬結果,減少等待時間,提高模型的準確性和泛化能力。在向上承接應用方面,CHESS完成100餘款主流應用軟件的深度優化,涵蓋了常見科學計算軟件,如用於車輛仿真測試的Star-CCM+、Abaqus,石油勘探領域的Omega、氣象環保領域的WRF等,以及主流AI大模型,如Qwen、DeepSeek等。
- 其次,平台採用SLURM與K8s融合調度架構,兼顧科研任務的並行處理能力與智算業務的彈性伸縮需求,實現異構算力統一管控。在此基礎之上,CHESS利用元腦KOS容器工具鏈流程優化,更好地支持容器化的AI任務,提升任務的運行效率和資源利用率。以工程仿真軟件為例,容器工具鏈流程優化將該軟件及其所有依賴項打包成一個容器上傳到聯智科技CHESS平台,當用戶提交一個仿真任務時,CHESS平台將可根據集群資源的使用情況,選擇合適的計算節點來運行該容器,具有部署簡化、可移植、安全隔離、快速更新特性。
- 最後,針對「計算密集型」與「顯存峰值型」任務交替出現的場景,元腦KOS進行了內核定製優化;針對科研任務,優化了內存調度與CPU親和性配置,實現了內存的高效分配和CPU資源的精準利用,提升了計算任務的穩定性和執行效率;針對AI推理任務,則着重優化了GPU顯存管理,實現了顯存的動態分配和回收,提高了GPU資源的利用率,加速了模型的推理過程。
在汽車研發領域,多計算範式統一管理平台能有效解決工程仿真與AI任務混合部署的核心挑戰。平台將用於風阻、碰撞仿真的科學計算任務(如Star-CCM+、Abaqus)與自動駕駛模型訓練/推理等AI任務,統一調度至由CPU、GPU組成的異構資源池中。通過SLURM與K8s的融合調度架構,平台既保障了仿真任務對CPU和內存的長期穩定佔用,也滿足了AI任務對GPU資源的彈性伸縮需求,實現了兩類負載的精準匹配與高效並行,不僅加速了車型的迭代驗證周期,也為模型的高並發測試和實時決策提供穩定支撐。
未來,聯智科技與浪潮信息將深化協同合作,為更多行業提供定製化算力解決方案,降低異構算力環境建設難度,消除應用軟件性能瓶頸,降低管理、運維的高昂成本,保障用戶業務安全運行、穩定發展。
