IT之家 7 月 20 日消息,芯展速 (GenStorAIGE) 在 WAIC 2026 展出了其 AI90 軟硬件一體化 AI 推理加速方案。
![]()
其將高性能 SSD 納入 GPU 顯存體系,讓 KV Cache 卸載到更大容量的固態硬盤上,形成 HBM + DRAM + SSD 三級存儲體系。
這一方案可將首 Token(詞元)延遲從秒級降低至亞秒級,提速 50 倍;吞吐量提升 5.1 倍;顯存節省 39%。結合智能 P2P 多卡互聯技術,AI90 可讓 8 卡 NVIDIA GeForce RTX 5090 集群推理加速可達 5.8 倍、支持 128K+ 上下文。
![]()
而為了滿足 KV Cache 卸載帶來的高寫入負載,芯展速同步帶來了 PT200Z AI SSD。其基于 pSLC 閃存介質,采用 PCIe Gen5 接口,DWPD 最高達 100,順序讀取 14.8GB/s、隨機讀取 3100KIOPS,讀取時延 54μs、寫入時延 10μs。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.