河南
快科技7月22日消息，英偉達宣布Blackwell GB300刷新MoE預(yù)訓(xùn)練世界紀(jì)錄。使用256塊GPU訓(xùn)練DeepSeek-v3 671B模型，每GPU吞吐達1648 TFLOPs。
相比去年11月的1088 TFLOPs，GB300性能優(yōu)化提升50%。與上一代GB200的606 TFLOPs相比，實現(xiàn)了約3倍的性能躍升。
這一成績來之不易。英偉達在過去6個多月模擬了超過25萬種配置，為Blackwell摸索出38項重大優(yōu)化方案，累計進行了140萬小時的GPU測試。
需要提及的是，MoE即混合專家模型，將大模型分割為多個專家子網(wǎng)絡(luò)。每次推理或訓(xùn)練僅激活其中一部分，以更低計算成本實現(xiàn)更大模型容量，是當(dāng)前大語言模型的主流架構(gòu)。
GB300 NVL72用更少的GPU硬件就達到相同訓(xùn)練性能。這意味著AI訓(xùn)練成本將進一步下降，對大模型廠商是實實在在的利好。
英偉達表示通過系統(tǒng)級優(yōu)化的持續(xù)挖掘，Blackwell架構(gòu)仍有性能提升空間。這輪優(yōu)化成果將直接惠及所有使用GB300的AI訓(xùn)練集群。
對DeepSeek這類大模型廠商而言，GB300帶來的算力提升意味著更短訓(xùn)練周期和更低成本。1648 TFLOPs的單GPU算力足以支撐更大規(guī)模模型的快速迭代。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
