联想将单台服务器运行大模型性能推向新高

   2025-03-17 中国经济网
96
核心提示:中国经济网北京3月17日讯(记者 李方) 今天,联想宣布旗下首款AMD AI大模型训练服务器联想问天WA7785a G3在单机部署671B(满血

中国经济网北京3月17日讯(记者 李方) 今天,联想宣布旗下首款AMD AI大模型训练服务器联想问天WA7785a G3在单机部署671B(满血版) DeepSeek大模型时,可实现极限吞吐量6708token/s,将单台服务器运行大模型的性能推向了新高。

据悉,依托联想万全异构智算平台,联想通过访存优化、显存优化、PCIe 5.0全互联架构创新以及精选SGLang框架中性能最优算子等诸多创新方式,对大模型从预训练、后训练到推理的全流程进行持续优化,在单台部署DeepSeek 671B大模型的联想问天WA7785a G3上实测最高吞吐量达6708 token/s。

在模拟问题对话场景(上下文序列长度128/1K)时,最高可支持并发数158,TPOT 93毫秒, TTFT 2.01秒;而在模拟代码生成(上下文序列长度512/4K )时,并发数可达140,TPOT 100毫秒, TTFT 5.53秒。意味着单台联想问天WA7785a G3可以支撑1500人规模企业的正常使用,是继联想问天WA7780 G3服务器单机部署满血版DeepSeek大模型总吞吐量突破2500 token/s之后,单机部署该大模型推理性能的又一次突破。

此次突破是联想中国基础设施业务群、联想研究院ICI实验室和AMD联合设计、协同调优、共同实现的。此结果也并非最终结果,联想与AMD还在持续尝试深度调优新方法,实现更高调优突破。


免责声明:本网转载自其它媒体的文章,目的在于弘扬科技创新精神,传递更多科技创新信息,宣传国家科技政策,展示国家科技形象,增强国家科技软实力,参与国际科技舆论竞争,提高国际科技话语权,并不代表本网赞同其观点和对其真实性负责,在此我们谨向原作者和原媒体致以敬意。如果您认为本网文章及图片侵犯了您的版权,请与我们联系,我们将第一时间删除。
 
 
更多>同类资讯
推荐图文
推荐资讯
点击排行
网站首页  |   |  关于我们  |  联系方式  |  使用说明  |  隐私政策  |  免责声明 网站地图  |   |  粤ICP备05102027号

粤公网安备 44040202001358号