全新統一流式架構，Vivix靈動時刻正式發布首個實時互動模型

henry 發自 凹非寺
量子位 | 公眾號 QbitAI

要我說，諾蘭的《星際穿越》，還是拍保守了。

電影里，兩個平行時空的交匯，要靠摩斯密碼。

而今天，AI已經能“附”到任何物體或角色身上，讓它們在另一個世界里開口、行動，和你實時視頻通話。

比如，這只小貓可以一邊說著土味情話，一邊弓背、搖尾巴、抬爪子，還能在自己的世界里來回走動（注意看，它腳下的影子也會隨之變化）。

重要的是，這些反應并不是提前編排好的。

小貓會跟著你的聲音即時變化：你說一句，它就根據新的輸入作出新的動作和回應。

而這只小貓背后，就是Vivix最新發布的實時交互多模態模型A1。

A1讓用戶可以像打視頻電話一樣，與屏幕另一端的虛擬角色持續交流。

相比傳統數字人和視頻生成模型，A1最大的不同在于——

屏幕里的角色真正擁有了身體。它不再只是對著鏡頭說話，而是能夠行動、轉身、改變姿態，并與所在世界里的物體和環境持續互動。

可以說，這種感覺，真的像在和另一個平行世界連線。

與此同時，為了讓角色背后的世界也變得更加豐富，Vivix還同步推出了W1。

W1讓用戶不再只是站在屏幕外看故事，而是可以隨時介入，改變人物的選擇、行動，以及接下來的劇情走向。

看到這里你可能會想：這得多吃算力啊？

但據Vivix官網技術博客介紹，A1雖然擁有近30B激活參數，卻通過MJD、原生NVFP4訓推策略和一套自研的通信-計算調度+mega-kernel推理基礎設施，將部署門檻極致地壓到了消費級GPU實時推理，近似畫質下推理效率提升了近兩個數量級。

與此同時，其流式調度器響應新輸入的時間最短為300毫秒，從用戶發出輸入，到畫面首次出現可見反應，延遲平均0.6秒。

也就是說，這邊話音剛落，屏幕另一端的角色基本已經動起來了。

官方現已開放內測，歡迎訪問官網及API開放平臺申請體驗：https://vivix.ai/

它究竟是怎么做到的？

統一流式架構與原生交互建模

這通平行世界的視頻電話要真正接通，第一步不是讓角色回答得多聰明，而是讓它在持續生成過程中，始終還是同一個角色、身處同一個世界。

Vivix將A1定位為全球首個在一套原生流式架構中，統一多模態參考實時交互流式生成的基礎模型。

拆開來看，A1在模型層面主要做了三件事：

參考條件要持續生效，新的交互要隨時插進來，音頻和視頻還得一直往下生成。

統一多模態參考、交互與流式生成

為了實現上面的效果，A1首先把多模態參考、實時交互和視頻生成，統一進了一套原生流式架構。

這聽起來像是把幾個模塊接在一起，但真正困難的地方在于：

模型既要隨時響應用戶的新輸入，又要在不斷向前生成的過程中，維持角色、物體和場景的長期一致性。

傳統clip-based視頻模型通常一次生成一個完整片段，由于可以提前看到整個片段，它能夠統籌前后的動作和畫面，相對容易保證人物、場景和物體關系不發生明顯變化。

流式生成卻沒有這樣的條件，它不知道幾秒之后會發生什么，只能一邊看著已經生成的畫面，一邊接收用戶剛剛發來的指令，實時預測下一段內容。

這就像一邊鋪鐵軌，一邊開火車。生成持續得越久，誤差就越容易不斷累積。角色的外形、位置和動作可能逐漸漂移，物體與場景之間的空間關系也可能被破壞。

最簡單的解決辦法，自然是讓角色少動一點，用僵硬換穩定。

但一只不敢轉身、不敢走動，甚至不能真正接觸環境的貓，顯然談不上擁有身體。

A1的做法，是把圖片、視頻、聲音、交互歷史和已經生成的內容共同寫入持續狀態，讓它們在后續流式生成中反復生效。

具體的，A1通過因果時序建模和流式狀態維護，讓相鄰動作保持連續，并在更長時間范圍內維持角色身份、場景和物體關系。

其中，局部連續性先驗負責讓相鄰動作自然接上，全局序列先驗則看住更長時間里的角色身份、場景和物體關系。

在此基礎上，模型同時優化開放式指令遵循、時間連續性、角色一致性、物體一致性和運動動態，重點處理長期生成中的視覺漂移、誤差累積和動作衰減。

換句話說，A1既要保證角色一直是它自己，也不能因為怕出錯，就讓它站在原地一動不動。這是它與現有所有數字人相關模型產品最大的差別。

不過，讓角色和世界保持連續，只解決了“它還在不在”的問題。

想要像視頻通話一樣互動，它還得聽懂文字之外正在發生的一切。

Speech、Audio、Gesture與Event統一建模

今天的大多數數字人，本質上還是一條串起來的流水線：

ASR先把語音轉成文字，LLM根據文字生成回答，TTS再把回答變成聲音，最后由Motion Model或Video Model補上口型和動作。

這套方法可以工作，但鏈路每多一層，就會多一次等待和信息交接。

更麻煩的是，很多信息根本沒法被完整壓縮成文字。

一句話里的語氣、停頓和情緒，環境里突然響起的雷聲、風聲，或者畫面中出現的手勢和動作，都可能在轉寫過程中被丟掉。

A1沒有把ASR文本當作唯一的交互中間表示，而是直接建模語言語義、聲學特征、非語言聲音、環境事件、手勢和動態視覺信號。

如上圖所示，多模態上下文（包含音視頻參考、系統prompt、歷史幀等）會原生多模態地輸入給A1模型，模型在最小時間片內（約300ms）就會推理出對上述上下文的最新響應token。這部分可以理解為模型的“快思考”。

更上層的Director Agent則負責“慢思考”——推理、思考、tool use，并異步給出長時序的宏觀行為控制。

于是，角色不必只等一輪完整的文字轉寫結束后再行動。

用戶的語氣發生變化，環境里突然出現新的聲音，或者畫面中有人做出新的動作，都可以成為新的觸發信號，繼續改變尚未生成的內容。

這就是A1所強調的持續聆聽和事件觸發響應。

感知、規劃、行為控制和音視頻生成，不再是幾個各自排隊的離線任務，而是進入了同一條實時鏈路。

到了這里，角色已經能夠聽懂用戶，也知道接下來該做什么。

但如果下一幀要等上幾秒，這通視頻電話依然打不起來。

MJD把8-Step壓縮到2-Step

實時性的下一道瓶頸，來自視頻擴散本身。

視頻擴散的不同采樣步驟承擔著不同任務：有的先搭出語義結構和運動方向，有的補充局部細節，還有的負責維持前后畫面的連續性。

因此，直接減少采樣步數，往往會同時損失動作幅度、畫面細節和長時穩定性。

為此，Vivix提出MJD（Multidimensional Joint Distillation，多維聯合蒸餾），以8-Step版本作為質量基線，把不同去噪階段承擔的能力共同壓縮進2-Step模型，而不是只針對單幀畫質蒸餾。

具體的，MJD同時優化三個目標：

• Short-Horizon Generation Quality：保留快速采樣下的視覺細節和運動表現；
• Long-Horizon Temporal Consistency：抑制連續rollout中的漂移與累計誤差；
• Multimodal Distribution Alignment：對齊latent空間、像素空間以及語義和動作分布。

此外，為防止模型通過少動換取穩定，MJD還讓學生模型學習教師模型更完整的動作分布，同時在latent潛空間和原始數據空間中進行優化。

前者看住整體生成分布，后者補充細小動作、視覺紋理和長期累計誤差優化。

由此，視頻擴散從8-Step質量基線壓縮到2-Step推理，同時保持了接近8-Step版本的短時畫質、指令遵循、運動表現和長時穩定性。

近30B激活參數模型如何跑進消費級顯卡

近期市面上陸續出現一些近似實時推理的視頻生成模型，包括一系列實時視頻“世界模型”。

他們的實現方式通常是基于小參數量（如1~5B）或較大的VAE壓縮比（如16x16x8）來實現，犧牲了模型的capacity，導致模型效果要么不能有大運動，要么就會頻繁出現較大artifacts。

從技術博客中我們看到Vivix本次發布的兩個模型的有效激活參數接近30B，并采用了8x8x4的高質量壓縮率，計算下來每秒token吞吐需要做到前述工作的數十倍，這對模型推理成本和實時性帶來了極大挑戰。

為了穩穩接住這條實時鏈路，Vivix還推出了VMI，也就是Vivix Model Infra。

VMI的思路可以概括為三步：把互相干擾的任務拆開，讓模型以更低精度運行，再把計算、通信和內存統一調度。

Encoder與Decoder解耦

第一步，是把容易互相堵車的任務拆開。

多模態Encoder負責處理圖片、視頻、語音和其他參考條件，更適合用大Batch追求高吞吐；Real-Time Decoder Loop則要連續逐幀生成，更在意低延遲、穩定輸出和隨時打斷。

如果把兩者塞進同一個資源池，Encoder正在處理的批量任務，就可能堵住Decoder的實時鏈路。

VMI因此把它們拆成獨立服務，分別配置進程、資源池和擴縮容策略。

參考圖片和語音可以集中編碼，正在進行的視頻互動則不用在后面排隊。

在服務層完成Encoder與Decoder解耦之外，VMI還在推理階段引入prefill/decode分離，并重新設計了KV Cache傳輸層。

這兩種“拆開”處理的是不同問題：

前者隔離不同類型的任務負載，后者減少推理階段之間的狀態搬運和等待。按照Vivix的說法，這構成了其面向實時視頻生成的PD分離架構。

整套鏈路最終支持穩定連續生成、模型級打斷和實時重定向，Encoder與Decoder也可以獨立彈性伸縮。

據悉，這套流式調度器響應新輸入最短僅需300毫秒，從用戶給出新指令到畫面出現可見反應，平均延遲低于0.6秒。

原生NVFP4訓推協同

把編碼和解碼拆開，相當于先把道路疏通了。

接下來更直接的問題是：近30B激活參數的模型，怎么裝進消費級顯卡？

答案首先指向4-bit。

更低的數值精度可以減少顯存占用和計算量，但視頻擴散模型偏偏對量化誤差格外敏感。

單步計算中的微小數值偏差會沿去噪鏈路和長時間rollout不斷累積，最終表現為細節退化、角色漂移和時序不穩定。

所以，真正困難的并不是“能不能用4-bit跑起來”，而是跑起來以后，視頻還能不能保住動作、細節和長期穩定性。

針對這一問題，VMI把Blackwell GPU支持的NVFP4 GEMM直接設為目標推理路徑，并在訓練和蒸餾階段引入low-precision-aware distillation，讓模型提前適應4-bit數值分布，而非訓練完成后直接做PTQ。

此外，針對視頻生成鏈路，VMI還加入了專門的去噪誤差校正，壓住量化誤差在不同timestep和連續幀之間的累積。

整套訓練過程也會直接對齊最終部署使用的NVFP4 GEMM Kernel，減少訓練精度與推理精度之間的分布偏移。

實測現實，NVFP4相對BF16基線實現了生成質量接近無損，同時降低顯存占用并提高推理吞吐。

極致的計算、通信調度與mega-kernel

NVFP4讓模型裝得下、算得動。

但在多卡系統里，還有最后一道不太顯眼的瓶頸：GPU、PCIe和顯存不能總在彼此等待。

在RTX級消費GPU上，多卡通信主要經過PCIe。

如果GPU算完以后等數據，PCIe傳完數據以后等計算，大量冷狀態還一直占著顯存，那么即使每一個單獨模塊都很快，整條鏈路依然跑不起來。

VMI為此構建了Compute-Communication-Memory Co-Scheduling Engine，將計算、通信和顯存調度統一納入同一張推理執行圖。

它先讓Attention通信、顯存Offload和跨服務數據傳輸運行在不同CUDA Stream中，盡可能和GPU計算重疊；

再把計算與通信融合進Mega Kernel，減少中間狀態寫回和同步等待；

最后利用CUDA Graphs捕獲整張流式推理圖，把原本數百次Kernel Launch壓縮成少量統一提交。

說得直白一點，就是能并行的盡量并行，能合并的盡量合并，不讓Python、CPU和PCIe成為GPU前面的紅燈。

根據測試結果，VMI實現單卡吞吐超過10000 video tokens/s；在多卡鏈路中，PCIe帶寬利用率達到88%+。

把三項優化放在一起看，邏輯其實很清楚：

Encoder與Decoder解耦，負責疏通實時鏈路；原生NVFP4訓推協同，負責讓近30B激活參數模型裝得下、跑得動；計算、通信和內存協同調度，則負責消滅多卡系統里那些看不見的等待。

到這里，A1才算完成了從“模型可以交互”，到“交互可以實時運行”的最后一公里。

從一個角色，到一個持續演變的世界

從統一多模態參考與流式生成，到原生交互信號建模；從8-Step壓縮到2-Step，再到Encoder/Decoder解耦、原生NVFP4和整套協同調度引擎，六項技術共同補上了實時交互鏈路中的不同缺口。

一套組合拳下來，最終實現了近30B激活參數、近似無損的消費原生NVFP4、消費級顯卡實時生成。

所以，Vivix-A1交付的不再只是一個實時交互的概念，而是一套已經運行起來的原生流式多模態模型。

現在，屏幕另一端的AI已經開始聽見你、轉過身，并繼續在自己的世界里向前走。

今天，A1先讓那個角色活了起來。W1想做的，則是讓它身后的世界，也跟著你的選擇一起改變。

當然，這距離真正的“平行世界”當然還很遠。

但至少，這通電話已經傳來了第一聲回音。