北京
就在前幾天，DeepSeek V4真的來了！
那個(gè)曾經(jīng)以一己之力打破閉源模型霸權(quán)的DeepSeek，帶著DeepSeek-V4系列預(yù)覽版，向全球開發(fā)者正式宣告——
百萬級上下文（1M Context）的平民化時(shí)代，以及開源Agent能力、世界知識和推理性能上的新巔峰，已經(jīng)到來。
DeepSeek V4，再度實(shí)現(xiàn)國內(nèi)與開源領(lǐng)域的領(lǐng)先。
V4的技術(shù)報(bào)告，已經(jīng)同步發(fā)布。
論文地址：
https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf
01
DeepSeek-V4-Pro
性能比肩頂級閉源模型
DeepSeek-V4 系列包含兩個(gè)版本：擁有1.6T總參數(shù)、49B激活參數(shù)的性能怪獸DeepSeek-V4-Pro，以及專為高效率、經(jīng)濟(jì)性設(shè)計(jì)的284B總參數(shù)、13B激活參數(shù)的DeepSeek-V4-Flash。
可以說，DeepSeek-V4-Pro已經(jīng)達(dá)到了開源模型的新巔峰，對標(biāo)全球頂尖閉源水準(zhǔn)。
首先，V4-Pro在Agent能力上實(shí)現(xiàn)了跨越式突破，其Agentic Coding水平穩(wěn)居開源界首位。
實(shí)測反饋顯示，其編碼體驗(yàn)已超越Sonnet 4.5，交付質(zhì)量直追Opus 4.6（非思考模式），目前已成為公司內(nèi)部Agent編程的首選模型。
其次，它具備深厚的世界知識儲備。
在知識測評維度，V4-Pro顯著領(lǐng)先同類開源產(chǎn)品，與閉源標(biāo)桿Gemini-Pro-3.1的差距已縮減至極小范圍。
另外，它還有頂尖的邏輯推理表現(xiàn)。
在數(shù)學(xué)、STEM及高難度競賽代碼等硬核領(lǐng)域，V4-Pro的表現(xiàn)不僅冠絕開源社區(qū)，更具備了挑戰(zhàn)世界最強(qiáng)閉源模型的實(shí)戰(zhàn)競爭力。
支撐這兩個(gè)模型傲視群雄的，是其底層技術(shù)的「三大神技」：
混合注意力機(jī)制（CSA + HCA）
DeepSeek-V4 并沒有盲目增加硬件投入，而是開創(chuàng)性地設(shè)計(jì)了混合注意力架構(gòu)。
壓縮稀疏注意力（CSA）對KV緩存進(jìn)行token維度的壓縮并結(jié)合DSA稀疏注意力；重壓縮注意力（HCA）則進(jìn)行更極致的壓縮以維持稠密計(jì)算。
這種「長短結(jié)合」的策略，讓模型在處理百萬字上下文時(shí)，計(jì)算量和顯存需求大幅降低。
流形約束超連接（mHC）
為了提升信號傳播的穩(wěn)定性并增強(qiáng)模型表達(dá)力，V4引入了mHC結(jié)構(gòu)，升級了傳統(tǒng)的殘差連接。這讓模型在深層網(wǎng)絡(luò)中依然能保持卓越的建模能力。
Muon 優(yōu)化器
引入全新的Muon優(yōu)化器，讓訓(xùn)練過程不僅收斂更快，且更加穩(wěn)定。
正是這些結(jié)構(gòu)創(chuàng)新，讓DeepSeek-V4在推理效率上實(shí)現(xiàn)了質(zhì)的飛躍。
在100萬token上下文的極端場景下，DeepSeek-V4-Pro的單token推理計(jì)算量僅為前代的 27%，KV緩存占用更是縮減到了驚人的10%。
02
DeepSeek-V4-Flash
極致效能與性價(jià)比的完美平衡
相比于Pro版本，F(xiàn)lash版則是更快捷高效的經(jīng)濟(jì)之選。
盡管在世界知識的深度上略遜于Pro版本，但DeepSeek-V4-Flash保留了與之接近的邏輯推理水平。
受益于更精簡的參數(shù)規(guī)模與激活機(jī)制，它能為用戶提供響應(yīng)更快、成本更低的API接入方案。
在處理基礎(chǔ) Agent 任務(wù)時(shí)，V4-Flash的表現(xiàn)與Pro版不相上下，但在應(yīng)對極端復(fù)雜任務(wù)時(shí)仍存在進(jìn)階空間。
03
架構(gòu)革新
重塑長上下文效率
DeepSeek-V4引入了革命性的注意力機(jī)制，通過在Token維度進(jìn)行高效壓縮，并結(jié)合 DSA稀疏注意力（DeepSeek Sparse Attention） 技術(shù)，實(shí)現(xiàn)了全球頂尖的長文本處理能力。
這種創(chuàng)新大幅削減了對計(jì)算資源與顯存的依賴。
即日起，1M（100萬 tokens）超長上下文將成為DeepSeek官方服務(wù)的標(biāo)準(zhǔn)配置。
DeepSeek-V4和DeepSeek-V3.2的計(jì)算量和顯存容量隨上下文長度的變化
04
Agent能力深度優(yōu)化
DeepSeek-V4 針對Claude Code、OpenClaw、OpenCode、CodeBuddy等主流 Agent生態(tài)進(jìn)行了深度適配。
在代碼編寫與自動化文檔生成等場景下，其產(chǎn)出效率顯著提升。
V4-Pro在特定Agent框架下自動生成的PPT頁面實(shí)例
05
API全面升級，舊版模型倒計(jì)時(shí)
對于開發(fā)者而言，好消息是：API已經(jīng)同步上線！
只需簡單修改 model_name 即可接入這兩款新旗艦：
追求性能：deepseek-v4-pro
追求效率：deepseek-v4-flash
特別提醒：原有的 deepseek-chat 和 deepseek-reasoner 模型名將作為V4的過渡別名（分別指向 V4-Flash 的非思考與思考模式），但這兩個(gè)舊名稱將于2026年7月24日正式停用。
論文解讀
06
兩種壓縮，一套組合拳
V4-Pro中，CSA的壓縮率為4，每4個(gè)token的KV緩存合并成一個(gè)條目。
壓縮之后再通過Lightning Indexer對壓縮后的KV條目打分，每個(gè)query token只選top-1024個(gè)條目做注意力計(jì)算。索引計(jì)算用FP4精度，超長上下文下開銷極低。
HCA走另一條路。壓縮率拉到128，比CSA激進(jìn)得多，但不做稀疏選擇，所有壓縮后的KV條目都參與計(jì)算。極致壓縮換全局視野。
兩種機(jī)制交替堆疊，CSA精細(xì)檢索，HCA全局感知，再加上每層128 token的滑動窗口捕捉局部依賴，三條路徑協(xié)同。
算一筆賬。
以常規(guī)BF16 GQA8（頭維度128）作為基線，V4在100萬token下的KV緩存只有基線的約2%。KV條目還采用混合精度存儲，RoPE維度BF16，其余FP8，體積比純BF16再砍一半。
推理端則把壓縮KV和滑動窗口KV分開管理，支持磁盤級緩存存儲，避免共享前綴的重復(fù)prefill。
07
mHC，6.7%的代價(jià)換來的穩(wěn)定性
標(biāo)準(zhǔn)HC擴(kuò)展殘差流寬度來增強(qiáng)信息傳遞，但多層堆疊時(shí)數(shù)值會炸。
mHC的做法是把殘差映射矩陣約束在雙隨機(jī)矩陣流形（Birkhoff多面體）上，確保譜范數(shù)不超過1，信號深層傳播不發(fā)散。投影通過Sinkhorn-Knopp算法迭代20次實(shí)現(xiàn)。
工程代價(jià)可控，擴(kuò)展因子只有4，經(jīng)過融合kernel和選擇性重計(jì)算優(yōu)化后，額外墻鐘時(shí)間僅6.7%。
08
訓(xùn)練萬億參數(shù)的「土辦法」
Muon的核心是對梯度動量做Newton-Schulz正交化，V4用10次混合迭代，前8次快速收斂，后2次精確穩(wěn)定。
但優(yōu)化器只是一半的故事。V4報(bào)告披露了兩個(gè)訓(xùn)練穩(wěn)定性技巧。
Anticipatory Routing，把路由索引的計(jì)算和主干網(wǎng)絡(luò)的更新解耦，用歷史參數(shù)提前算好路由并緩存。系統(tǒng)在檢測到loss spike時(shí)自動觸發(fā)，日常開銷可忽略。
SwiGLU Clamping，把SwiGLU線性分量鉗制在[-10, 10]，門控上界鉗制在10。簡單粗暴但有效。
MoE工程上，V4開源了MegaMoE，把通信和計(jì)算融合進(jìn)單個(gè)pipeline kernel，通用場景加速1.5到1.73倍，延遲敏感場景最高1.96倍。
09
專家分訓(xùn)，蒸餾合一
V4用On-Policy Distillation（OPD）替代了V3.2的混合RL。先獨(dú)立訓(xùn)練數(shù)學(xué)、代碼、Agent等領(lǐng)域?qū)＜遥儆靡粋€(gè)學(xué)生模型對十幾個(gè)專家做全詞表logit蒸餾。
工程上的關(guān)鍵突破是，不緩存教師logits（顯存放不下），只緩存最后一層隱藏狀態(tài)，訓(xùn)練時(shí)按需重建logits，用TileLang專用kernel加速KL散度計(jì)算。
V4還引入了Generative Reward Model（GRM），讓actor網(wǎng)絡(luò)同時(shí)充當(dāng)獎勵(lì)模型，評判和生成能力聯(lián)合優(yōu)化，不再依賴傳統(tǒng)標(biāo)量獎勵(lì)模型。
后訓(xùn)練階段同步做了FP4量化感知訓(xùn)練，對MoE專家權(quán)重和CSA索引器做FP4量化，且FP4到FP8反量化無損，整個(gè)流程復(fù)用現(xiàn)有FP8框架。
10
DeepSeek
再度證實(shí)開源的力量
從V3的橫空出世到V4的效率革命，DeepSeek始終堅(jiān)持將最頂級的技術(shù)通過開源分享給社區(qū)。
DeepSeek-V4的上線，不僅是技術(shù)參數(shù)的跳躍，更是對「百萬長上下文」和「高性能 Agent」這兩大未來趨勢的有力回應(yīng)。
它證明了通過架構(gòu)創(chuàng)新，我們可以在不犧牲性能的前提下，極大降低大模型的門檻。
現(xiàn)在，你可以在官方App或chat.deepseek.com立即開啟1M上下文的全新體驗(yàn)。
這不僅僅是一個(gè)對話框，這是一個(gè)能裝下整部百科全書、能理解萬行代碼邏輯的「第二大腦」。
參考資料：
https://huggingface.co/collections/deepseek-ai/deepseek-v4
https://modelscope.cn/collections/deepseek-ai/DeepSeek-V4
https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf
https://api-docs.deepseek.com/zh-cn/guides/thinking_mode
THE END
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
