美團(tuán)發(fā)布LongCat-2.0大模型，總參數(shù)規(guī)模1.6萬(wàn)億，全程由國(guó)產(chǎn)算力訓(xùn)練

6月30日，美團(tuán)正式發(fā)布新一代基礎(chǔ)大模型LongCat-2.0。這是業(yè)界首個(gè)依靠國(guó)產(chǎn)算力完成訓(xùn)練、推理全流程的萬(wàn)億參數(shù)大模型。

據(jù)悉，LongCat-2.0采用MoE架構(gòu)，總參數(shù)規(guī)模1.6萬(wàn)億，每個(gè)Token激活參數(shù)約480億，原生支持1M超長(zhǎng)上下文，可一次處理百萬(wàn)字級(jí)輸入。模型深度適配Claude Code、OpenClaw、Hermes等主流 Harness，在Coding任務(wù)上有很強(qiáng)的表現(xiàn)。

OpenRouter總調(diào)用量全球居前，性能接近Claude Opus 4.6

今年4月底，美團(tuán)曾發(fā)布LongCat-2.0-Preview版本，并以匿名的方式，接入全球最大的大模型API路由平臺(tái)OpenRouter。

OpenRouter數(shù)據(jù)顯示，截至6月底，LongCat-2.0-Preview的總調(diào)用量已躋身全球前三。

在Hermes、Claude Code、OpenClaw等Agent場(chǎng)景下，LongCat-2.0-Preview的月調(diào)用量分列全球第一、第二和第三位。其在Claude Code的月調(diào)用量，僅次于Claude Opus 4.8，是最受全球開(kāi)發(fā)者歡迎的免費(fèi)模型之一。

社區(qū)反饋顯示，在工具調(diào)用、復(fù)雜指令執(zhí)行等 Agent 核心能力方面，LongCat-2.0-Preview接近Claude Opus 4.6，落后于最新的Claude Opus 4.8。在國(guó)產(chǎn)大模型中，LongCat-2.0-Preview位列頂尖梯隊(duì)。

相關(guān)技術(shù)報(bào)告顯示，LongCat-2.0引入ScMoE跨層快捷連接架構(gòu)、零計(jì)算專家機(jī)制、Ngram Embedding增強(qiáng)等多項(xiàng)原創(chuàng)設(shè)計(jì)。其中，零計(jì)算專家機(jī)制可實(shí)現(xiàn)Token級(jí)動(dòng)態(tài)計(jì)算預(yù)算，讓復(fù)雜Token激活更多專家，簡(jiǎn)單Token節(jié)省算力，該機(jī)制為業(yè)界首創(chuàng)。

訓(xùn)練、推理全程依靠國(guó)產(chǎn)算力，近期將開(kāi)源核心技術(shù)

作為首個(gè)“全國(guó)產(chǎn)”萬(wàn)億參數(shù)大模型，LongCat-2.0全程在國(guó)產(chǎn)算力上完成訓(xùn)練，峰值規(guī)模超過(guò)5萬(wàn)張國(guó)產(chǎn)算力卡，是迄今為止國(guó)產(chǎn)算力上完成的最大訓(xùn)練任務(wù)。

據(jù)悉，2023年起，美團(tuán)就與國(guó)產(chǎn)算力廠商共同推進(jìn)“模芯協(xié)同”研發(fā)，從早期的小規(guī)模驗(yàn)證到超大規(guī)模穩(wěn)定訓(xùn)練，逐步攻克了萬(wàn)卡級(jí)容錯(cuò)恢復(fù)、NPU確定性計(jì)算、算力利用率提升等核心難題，驗(yàn)證了大規(guī)模國(guó)產(chǎn)訓(xùn)練的可行性。

LongCat-2.0的實(shí)踐表明，目前國(guó)產(chǎn)算力卡雖然落后于全球頂尖水平，但計(jì)算正確性和精度已足夠滿足需求，甚至局部略優(yōu)，已經(jīng)可以支撐前沿模型的全流程訓(xùn)練。對(duì)于激活存量國(guó)產(chǎn)芯片而言，這是一個(gè)重要突破。

據(jù)悉，由于算力優(yōu)化、技術(shù)突破等綜合因素，LongCat-2.0的訓(xùn)練、推理成本消耗，低于全球其他萬(wàn)億參數(shù)級(jí)別的大模型。

對(duì)此，LongCat官方宣布，將于近期在多平臺(tái)同步開(kāi)源Infra 框架、推理引擎、模型參數(shù)等核心技術(shù)，以回饋全球開(kāi)發(fā)者社區(qū)。