【2025年3月17日】这日,联思公布旗下首款AMDAI大模子锻炼任事器联思问天WA7785aG3正在单机计划671B(满血版)DeepSeek大模子时,可完毕极限含糊量6708token/s,将单台任事器运转大模子的功能推向了新高,充实显现了联思正在AI根本步骤范畴工夫的浓厚积淀与研发的迅速呼应才力。正在AI算力竞赛日趋白热化的这日,联思再次以硬核工夫能力创立了行业新标杆。
依托联思万全异构智算平台,联思通过访存优化、显存优化、PCIe5.0全互联架构革新以及精选SGLang框架中功能最优算子等诸多革新格式,对大模子从预锻炼、后锻炼到推理的全流程举行连续优化,正在单台计划DeepSeek671B大模子的联思问天WA7785aG3上实测最高含糊量达6708token/s。
此次打破是联思中国根本步骤生意群、联思钻探院ICI实习室和AMD结合打算、协同调优、合伙完毕的。此结果也并非最终结果,联思与AMD还正在连续测试深度调优新技巧。完毕更高调优打破。
联思问天WA7785aG3任事器是联思与AMD两边深度协作的聪敏结晶,恰是两边同心协力带来的工夫革新、软硬协同才力与架构打破为DeepSeek-R1满血版大模子插上功能起飞的羽翼。
·超大显存上风:WA7785aG3具有超大的显存容量,单颗GPU的HBM3e显存容量高达192GB,一共达1.5TB。超大显存使得单机增援全量模子推理环境下,仍保存充满的KV缓存空间。而其显存带宽抵达了惊人的5.3TB/s,GPU召集带宽达896GB/s,节点间收集带宽3.2TB/s,更高的带宽可为推分解码完毕极致加快,充实满意了大模子并行谋划时对跨节点通讯的高带宽需求,使其成为用户首选大模子推理任事器。
·特有革新架构:联思问天WA7785aG3的特别架构打算也为最大水平地开释算力潜能、打破带宽限定阐发了环节影响,其三重独立风道打算诀别针对CPU节点、GPU节点和调换机节点举行精准散热职掌,普及了散热作用,为任事器的褂讪性和牢靠性供给了有力保证。
来日,联思将连续深化与资产伙伴的工夫互帮,通过架构革新、算法优化与硬件工夫革新,不绝打破功能边境,为各行业供给更高密度、更低能耗、更易计划的AI算力根本步骤,激动AI算力向更高效、更普惠、更可连续的倾向演进,帮力中国智算资产的连续开展。
网站地图sitemap备案号:豫ICP备17022679号-2 技术支持:河南七度网络
豫公网安备 41072102000363号