AI算力仍在狂奔,但芯片的競爭維度卻發(fā)生明顯的分化。
過去幾年,AI芯片的發(fā)展幾乎遵循著同一條路徑:更先進(jìn)的制程、更大的GPU集群、更高的算力。
但推理時代的到來,開始改變這套游戲規(guī)則。模型不再只追求訓(xùn)練速度,更關(guān)注推理成本、Token吞吐和部署效率等指標(biāo)。與此同時,能源、制造工藝和供應(yīng)鏈的制約也在日益凸顯。
當(dāng)堆算力越來越難、提升效率成為新的競爭方向時,國產(chǎn)AI芯片是否還有另一種可能?
東方算芯試圖給出自己的答案。7月舉行的首屆產(chǎn)品發(fā)布會上,東方算芯正式推出國內(nèi)首顆采用軟件定義近存計算3D AI芯片DF1000。
相比單顆芯片的參數(shù),更值得關(guān)注的是它所完成的一系列工程驗(yàn)證:全國產(chǎn)供應(yīng)鏈完成流片和制造,128卡集群在真實(shí)業(yè)務(wù)場景中穩(wěn)定運(yùn)行,全棧軟件生態(tài)同步搭建。
一套從芯片到系統(tǒng)的國產(chǎn)AI算力方案,初步成型。
從“算得快”到“搬得快”,AI芯片的新范式
一邊是持續(xù)膨脹的算力需求,另一邊則是不斷攀升的能源和資本投入。在香港工程院院士鄭光廷看來,AI的發(fā)展正在受到物理世界的約束。
國際能源署(IEA)數(shù)據(jù)顯示,AI專用數(shù)據(jù)中心的用電量在2025年增長了50%,遠(yuǎn)高于數(shù)據(jù)中心整體17%的增速。Gartner則預(yù)測,直至2030年,面向AI負(fù)載優(yōu)化的服務(wù)器預(yù)計將占所有數(shù)據(jù)中心電力消耗的近一半。
基于此,鄭光廷指出,未來真正稀缺的資源未必是算力,而可能是能源。如何在有限的能源和資源約束下,釋放更多有效算力,已經(jīng)成為整個AI產(chǎn)業(yè)共同面對的問題。
而解題的第一步,需要先厘清訓(xùn)練和推理真正消耗的是什么。
東方算芯副總裁郭煒從當(dāng)前最火爆的應(yīng)用Agent出發(fā),指出AI智能體時代需要更聰明的模型和更低成本的應(yīng)用,這意味著訓(xùn)練必須更高效、推理必須更便宜。
結(jié)合大模型訓(xùn)練流程,郭煒分析,占據(jù)訓(xùn)練計算量約70%的預(yù)訓(xùn)練,本質(zhì)上屬于計算密集型任務(wù),因此芯片計算能力仍然是決定訓(xùn)練效率的核心指標(biāo)。
而推理場景對芯片要求的邏輯與訓(xùn)練截然不同。當(dāng)模型參數(shù)相對固定后,系統(tǒng)需要不斷讀取模型權(quán)重和KV Cache,再完成Token生成。這意味著,芯片競爭的重點(diǎn)正從“算得快”轉(zhuǎn)向“搬得快”。
郭煒進(jìn)一步解釋,推理中的Decode階段占據(jù)時間大頭,其Token吞吐能力高度依賴訪存帶寬——計算單元與存儲單元之間的數(shù)據(jù)傳輸。
當(dāng)AI需求同時走向增長與分化,問題進(jìn)一步延伸:訓(xùn)練時代的“王者”GPU,還能否適配這個更復(fù)雜的新周期?
對于國產(chǎn)GPU而言,供應(yīng)鏈?zhǔn)潜仨氈泵娴牡谝坏揽病?/p>
從訓(xùn)練側(cè)來看,計算能力的提升越來越依賴先進(jìn)制程、更大的計算單元規(guī)模以及更高的晶體管密度。
郭煒坦言,目前國際領(lǐng)先芯片制造工藝已經(jīng)進(jìn)入3納米,而國內(nèi)能夠獲取的先進(jìn)工藝仍以14納米級為主,工藝代差直接限制了國產(chǎn)AI芯片的提升空間。
而推理側(cè)的瓶頸則轉(zhuǎn)向存儲與互聯(lián)。先進(jìn)HBM決定了單卡存儲帶寬的上限,但其供應(yīng)同樣受限;與此同時,高速I/O接口的密度與性能也受到制造工藝的制約,進(jìn)而影響卡間互聯(lián)帶寬。
但更本質(zhì)的問題在于,傳統(tǒng)GPU本身也未必是AI時代的最優(yōu)解。
北京超弦存儲器研究院執(zhí)行副院長趙超指出,傳統(tǒng)馮·諾依曼架構(gòu)將處理器與存儲器分離,在AI算力高度增長的當(dāng)下,兩者之間的數(shù)據(jù)交換效率已經(jīng)越來越難跟上計算效率。
重新思考計算、存儲與系統(tǒng)之間的關(guān)系成為必然選擇。
也正因如此,東方算芯創(chuàng)始人、董事長兼CEO魏少軍直言,當(dāng)下國產(chǎn)芯片行業(yè)真正需要思考的已經(jīng)不是簡單復(fù)制既有GPU的發(fā)展路徑,而是走出一條屬于自己的道路——以架構(gòu)自主、技術(shù)原創(chuàng)、生態(tài)自立和供應(yīng)鏈安全可控,重新構(gòu)建適合AI時代的芯片體系。
用軟件定義硬件,重組計算、存儲與封裝
東方算芯給出了它的答案。
作為東方算芯首顆大算力AI芯片,DF1000同時面向訓(xùn)練與推理場景。在首次產(chǎn)品發(fā)布會上,東方算芯還基于DF1000芯片,推出了完整的產(chǎn)品矩陣,包含加速卡、超節(jié)點(diǎn)、服務(wù)器、智算集群以及軟件棧。
其中,巔峯1000 AI加速卡單卡可實(shí)現(xiàn)520T BF16算力、6.4TB/s顯存帶寬,支持AFD分布式推理;拓域64超節(jié)點(diǎn)進(jìn)一步擴(kuò)大系統(tǒng)規(guī)模,可實(shí)現(xiàn)33P BF16算力,近900GB/s Scale up帶寬;慧算集群則采用fullmesh多芯互聯(lián)結(jié)構(gòu)和全銅纜連接,面向更大規(guī)模算力部署;擎元100一體機(jī)則針對中小體量客戶,提供預(yù)裝模型、開箱即用的快速部署方案。
聚焦軟件生態(tài),東方算芯同步推出的CAAP軟件棧覆蓋編譯器、算子庫、集合通信庫、分布式訓(xùn)練框架以及工具鏈,支持主流深度學(xué)習(xí)框架和開源模型生態(tài)。
支撐這一完整鏈條的核心,是東方算芯從成立之初就錨定的“軟件定義芯片”路線。郭煒介紹,這一路徑首先改變的是計算資源的組織方式。
在傳統(tǒng)GPU中,大量計算資源的工作模式按照固定方式組織,資源浪費(fèi)難以避免。而東方算芯選擇采用粗粒度計算架構(gòu),通過數(shù)據(jù)流驅(qū)動不同計算單元協(xié)同工作,并結(jié)合任務(wù)空間并行和資源時分復(fù)用,讓同一套硬件能夠根據(jù)不同模型動態(tài)分配計算資源。在不增加芯片面積的情況下,整體資源利用率實(shí)現(xiàn)大幅提升。
面對存儲墻,東方算芯選擇近存計算路線,通過3D混合鍵合的技術(shù)手段將邏輯晶圓和存儲晶圓直接堆疊,使計算與存儲之間幾乎“貼在一起”。
根據(jù)現(xiàn)場披露數(shù)據(jù),相比傳統(tǒng)HBM方案,3D DRAM能夠提供數(shù)十倍TSV連接數(shù)量,使訪存帶寬達(dá)到同容量HBM的5倍以上;同時,還能夠通過增加晶圓堆疊層數(shù)繼續(xù)擴(kuò)展顯存容量。
這種3D堆疊帶來的不僅是存儲性能的提升,更釋放了封裝空間。省下的HBM封裝面積和互聯(lián)接口,被重新分配給計算單元與互聯(lián)資源。
在郭煒看來,相比傳統(tǒng)2.5D封裝,在相同封裝尺寸下,東方算芯選擇的3.5D Plus能夠同時獲得更大的算力規(guī)模、更高的網(wǎng)絡(luò)帶寬和更強(qiáng)的互聯(lián)能力,也為未來繼續(xù)擴(kuò)展芯片規(guī)模預(yù)留了空間。
基于這條路線,東方算芯已經(jīng)明確“量產(chǎn)一代、研發(fā)一代、預(yù)研一代”的產(chǎn)品戰(zhàn)略。郭煒透露,下一代DF2000預(yù)計在今年四季度發(fā)布,整體性能參數(shù)將在DF1000基礎(chǔ)上實(shí)現(xiàn)翻倍提升;DF3000則計劃于明年推出。
國產(chǎn)AI芯片的更多可能將被持續(xù)驗(yàn)證,而東方算芯的第一筆,已經(jīng)落下。
雷峰網(wǎng)
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.