基于飞腾腾云S5000C的全国产智算中心解决方案重磅发布

背景描述

当前,以人工智能技术为代表的新质生产力,引导各行业智算需求爆炸式增长。智算中心作为最重要的算力基础设施,是大模型、图像类、自然语言类、预测类等智能应用的“动力引擎”,为各类智能化业务场景提供安全、稳定、高效的算力支撑,满足国家和行业需求,同时可有效带动相关产业增长,助力行业数智化转型和数字中国建设。

技术架构

飞腾积极响应国家和行业对智算中心的迫切需求,联合生态伙伴打造全栈国产化智算中心解决方案,整体系统架构包括智算芯片、智算设备、智算操作系统、智算平台、国产大模型、智能应用等6个部分,如下图所示。

该方案以飞腾新一代高性能CPU飞腾腾云S5000C为算力底座,兼容多款国产AI加速卡,实现通用算力与智能算力的异构融合,以此为基础研发国产AI服务器,设计适合大规模集群部署的智算中心网络拓扑,构建存算一体的智算平台体系架构,支撑大模型训练推理等应用,可为行业应用提供从端到云的智能化算力服务。

智算中心核心单元

1.算力底座

智算中心算力底座基于飞腾新一代服务器芯片飞腾腾云S5000C和国产AI算力卡。其中S5000C计算性能强大,IO吞吐量大,支持DDR5和PCIe5.0,可满足AI计算高带宽、低延迟的技术需求;国产AI算力卡具备自主可控、灵活拓展的特点,在性能上不断追赶并部分超越国际主流产品。

目前,飞腾腾云S5000C已与国产主流AI算力卡完成适配,整套智算中心算力底座具备自主化程度高、体系布局、生态开放、高可扩展、高性价比、平滑迁移等特点。

2.整机

基于飞腾腾云S5000C的智算设备产品多种多样,包含2U/4UAI服务器(2、4、8卡)、OAM服务器、高速交换机、全闪存储服务器、智能网卡等,上述产品可单独或自由组合形成成熟的整体方案,满足智算中心的多样算力需求,对标国际先进算力水平。

3.智算中心PoD单元

在单个机架上集成了AI服务器、存储服务器、管理服务器、交换机等设备,用于深度学习模型的大规模训练和推理。PoD单元可支持32张加速卡协同工作,采用200G低延迟网络和固态存储方案,既可作为独立计算设备实现开箱即用,亦可作为AI服务器集群的基本组成单元,实现大规模集群配置。目前PoD单元已适配多家厂商AI加速卡,打造出从高性能到高性价比的多套配置方案,具备超强算力、超强拓展性、超高易用性、低TCO、可一体化交付的特点。

4.千卡万卡集群

基于PoD单元模式可将AI服务器集群扩展至千卡、万卡规模,形成AI算力弹性资源池,借助智算平台管理软件和高性能网络互联技术,实现算力资源统一纳管、高效调度、智能运维。AI服务器集群支持大规模的数据处理和复杂的计算任务,适用于大模型训练推理场景,性价比高于国际主流集群方案,可为各类智能应用提供强大、可控的智能算力。

以450个POD、1800台4U 8卡服务器、14400张AI加速卡为例

5.大模型适配

基于飞腾AI算力底座适配了LLama系列、智源、云天励飞,智谱华章、通义千问、百川智能等开源大模型,可开展全量训练、微调、推理等技术,满足不同行业场景客户的需求。携手国内加速卡厂商,训练场景上,适配Megatron-LM、deepspeed等流行训练框架;推理场景适配vllm推理框架,通过集群性能整体优化,实现云端大批量、高效率的训练、推理任务。

实际测试结果显示,4机32卡,70B大模型训练达到249tokens/s/p,性能达到x86 国外主流AI产品的93%左右,整机成本为其85%。综合性价比是其109%。通过性能和整机成本的持续优化,性价比会进一步提升。

方案优势

飞腾智算中心方案具有以下6点优势:

1.自主化程度高‍‍‍‍

智算中心底座全栈均采用国产产品(CPU、整机、AI卡、网卡、交换机等)。

2.体系布局

覆盖芯片、整机、集群、软件、大模型等,打造云、边、端全栈技术体系。

3.生态开放‍‍‍‍‍‍‍‍‍‍

兼容国内外主流智算产品技术路线,智算生态开放。

4.高可扩展

扩展性强,集群规模可扩展至千卡万卡级别,支持多种AI卡异构混合并行。

5.高性价比

性价比高于国外产品,并可持续优化。

6.平滑迁移

兼容CUDA生态,可轻松实现软件系统迁移,迁移工具丰富、成本低。

典型应用案例

飞腾国产智算中心解决方案特别适用于国家机关和央企各行业,包括:政务、金融、电信、电力、能源、交通、教育等,支持私有化部署及快速灵活扩展,现已在物流、交通、金融服务等央企落地应用。

典型案例1

• 某央企百亿参数级别大模型项目,支持代码撰写、文档自动生成处理等办公场景,支持自动控制及故障预测等系统使用,实现设备智能运控。

• 方案选型:采用飞腾腾云S5000C的国产AI服务器方案替换N厂方案,移植成本低,兼性价比高,实现算力纳管及LLAMA2大模型训练。

典型案例2

• 某央企园区智慧化管理平台项目,基于园区部署的多路高频摄像头采集数据,通过算法实时分析视频流,实现园区作业安全管控和灾害智能识别,提供智能运营决策和智能助理服务,同时开展大模型训练和视觉模型等多种业务。

• 方案选型:采用飞腾CPU 国产AI卡 麒麟操作系统的全国产化方案,近200张训练推理卡,支持33B模型全量训练、增量预训练和微调。

典型案例3

• 某金融企业大模型应用平台项目,提供大模型训练服务,支持金融风控、贷款征信等业务场景。

• 方案选型:采用飞腾智算中心一体化PhyPOD方案,快速搭建PhyPOD节点集群,通过200G网络交换机实现多台4U8卡AI服务器、存储服务器的高速互联,支持金融大模型训练、微调、推理。