报名了解飞腾全国产智算中心解决方案详情：https://www.phytium.com.cn/marketingmanagement/questionnaire/Nw.ZqGpQA.lizFjC49n9SUvQedY7qNLqCNQkw/

背景描述

当前，以人工智能技术为代表的新质生产力，引导各行业智算需求爆炸式增长。智算中心作为最重要的算力基础设施，是大模型、图像类、自然语言类、预测类等智能应用的“动力引擎”，为各类智能化业务场景提供安全、稳定、高效的算力支撑，满足国家和行业需求，同时可有效带动相关产业增长，助力行业数智化转型和数字中国建设。

技术架构

飞腾积极响应国家和行业对智算中心的迫切需求，联合生态伙伴打造全栈国产化智算中心解决方案，整体系统架构包括智算芯片、智算设备、智算操作系统、智算平台、国产大模型、智能应用等6个部分，如下图所示。

该方案以飞腾新一代高性能CPU飞腾腾云S5000C为算力底座，兼容多款国产AI加速卡，实现通用算力与智能算力的异构融合，以此为基础研发国产AI服务器，设计适合大规模集群部署的智算中心网络拓扑，构建存算一体的智算平台体系架构，支撑大模型训练推理等应用，可为行业应用提供从端到云的智能化算力服务。

智算中心核心单元

1.算力底座

智算中心算力底座基于飞腾新一代服务器芯片飞腾腾云S5000C和国产AI算力卡。其中S5000C计算性能强大，IO吞吐量大，支持DDR5和PCIe5.0，可满足AI计算高带宽、低延迟的技术需求；国产AI算力卡具备自主可控、灵活拓展的特点，在性能上不断追赶并部分超越国际主流产品。

目前，飞腾腾云S5000C已与国产主流AI算力卡完成适配，整套智算中心算力底座具备自主化程度高、体系布局、生态开放、高可扩展、高性价比、平滑迁移等特点。

2.整机

基于飞腾腾云S5000C的智算设备产品多种多样，包含2U/4UAI服务器（2、4、8卡）、OAM服务器、高速交换机、全闪存储服务器、智能网卡等，上述产品可单独或自由组合形成成熟的整体方案，满足智算中心的多样算力需求，对标国际先进算力水平。

3.智算中心PoD单元

在单个机架上集成了AI服务器、存储服务器、管理服务器、交换机等设备，用于深度学习模型的大规模训练和推理。PoD单元可支持32张加速卡协同工作，采用200G低延迟网络和固态存储方案，既可作为独立计算设备实现开箱即用，亦可作为AI服务器集群的基本组成单元，实现大规模集群配置。目前PoD单元已适配多家厂商AI加速卡，打造出从高性能到高性价比的多套配置方案，具备超强算力、超强拓展性、超高易用性、低TCO、可一体化交付的特点。

4.千卡万卡集群

基于PoD单元模式可将AI服务器集群扩展至千卡、万卡规模，形成AI算力弹性资源池，借助智算平台管理软件和高性能网络互联技术，实现算力资源统一纳管、高效调度、智能运维。AI服务器集群支持大规模的数据处理和复杂的计算任务，适用于大模型训练推理场景，性价比高于国际主流集群方案，可为各类智能应用提供强大、可控的智能算力。

以450个POD、1800台4U 8卡服务器、14400张AI加速卡为例

5.大模型适配

基于飞腾AI算力底座适配了LLama系列、智源、云天励飞，智谱华章、通义千问、百川智能等开源大模型，可开展全量训练、微调、推理等技术，满足不同行业场景客户的需求。携手国内加速卡厂商，训练场景上，适配Megatron-LM、deepspeed等流行训练框架；推理场景适配vllm推理框架，通过集群性能整体优化，实现云端大批量、高效率的训练、推理任务。

实际测试结果显示，4机32卡，70B大模型训练达到249tokens/s/p，性能达到x86+国外主流AI产品的93%左右，整机成本为其85%。综合性价比是其109%。通过性能和整机成本的持续优化，性价比会进一步提升。

方案优势

飞腾智算中心方案具有以下6点优势：

1.自主化程度高‍‍‍‍

智算中心底座全栈均采用国产产品（CPU、整机、AI卡、网卡、交换机等）。

2.体系布局

覆盖芯片、整机、集群、软件、大模型等，打造云、边、端全栈技术体系。

3.生态开放‍‍‍‍‍‍‍‍‍‍

兼容国内外主流智算产品技术路线，智算生态开放。

4.高可扩展

扩展性强，集群规模可扩展至千卡万卡级别，支持多种AI卡异构混合并行。

5.高性价比

性价比高于国外产品，并可持续优化。

6.平滑迁移

兼容CUDA生态，可轻松实现软件系统迁移，迁移工具丰富、成本低。

典型应用案例

飞腾国产智算中心解决方案特别适用于国家机关和央企各行业，包括：政务、金融、电信、电力、能源、交通、教育等，支持私有化部署及快速灵活扩展，现已在物流、交通、金融服务等央企落地应用。

典型案例1

● 某央企百亿参数级别大模型项目，支持代码撰写、文档自动生成处理等办公场景，支持自动控制及故障预测等系统使用，实现设备智能运控。

● 方案选型：采用飞腾腾云S5000C的国产AI服务器方案替换N厂方案，移植成本低，兼性价比高，实现算力纳管及LLAMA2大模型训练。

典型案例2

● 某央企园区智慧化管理平台项目，基于园区部署的多路高频摄像头采集数据，通过算法实时分析视频流，实现园区作业安全管控和灾害智能识别，提供智能运营决策和智能助理服务，同时开展大模型训练和视觉模型等多种业务。

● 方案选型：采用飞腾CPU+国产AI卡+麒麟操作系统的全国产化方案，近200张训练推理卡，支持33B模型全量训练、增量预训练和微调。

典型案例3

● 某金融企业大模型应用平台项目，提供大模型训练服务，支持金融风控、贷款征信等业务场景。

● 方案选型：采用飞腾智算中心一体化PhyPOD方案，快速搭建PhyPOD节点集群，通过200G网络交换机实现多台4U8卡AI服务器、存储服务器的高速互联，支持金融大模型训练、微调、推理。

责任编辑：kj005