北京
騰訊混元官方發文稱，其295B參數模型Hy3已實現單卡部署。Hy3上線并開源后，社區持續呼吁推出量化版本，希望能在單張顯卡上運行該模型。針對這一需求，團隊將Hy3的權重量化至1bit與4bit，并打包為GGUF格式。配合llama.cpp生態，原先必須在多卡集群上運行的模型，現可最低在單張推理顯卡、乃至內存充足的本地機器上運行。
市場有風險，投資需謹慎。本文為AI基于第三方數據生成，僅供參考，不構成個人投資建議。
本文源自：市場資訊
作者：疏桐
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
