衡宇 Jay 發自 凹非寺
量子位 | 公眾號 QbitAI
終于!和我的二次元老公!成!功!約!會!
瞧瞧這白毛,數萬少女的夢中情人,如今被我拐回了辦公室(??????)?。
你好萌啊老師,好想rua爛你的頭!!!
誰懂啊,作為五條悟的忠實粉絲,對這款真的完全沒有抵抗力……
二話不說,直接安排上了老公同款出場動畫。
「沒關系,我是最強的。」——當辦公搭子也是(doge)
啥,你問我在哪搞到的這好玩意兒?
好吧,肥水不流外人田,這是今天凌晨,Xmax AI全球首發的實時交互視頻模型——X2.0。
![]()
是的,實時可交互,畫面里的每一幀,都是AI根據攝像頭畫面和你的操作實時生成。
刷到這條post的第一時間,小編連夜爬起來實測。
一頓操作下來,我只能說:
Amazing。
偉大的賽博格之神,請賜我一顆長在臉上的、無限續航的攝像頭吧。
打開攝像頭,世界就是你的畫布
上面能「實時換人」的超能力,來自Xmax AI發布的全新模型,X2.0。
但事實上,這只是此次更新的冰山一角。
Xmax本次共主推3大類能力——
- 實時渲染:實時替換攝像頭或視頻中的角色、服裝與視覺風格。
- 次元交互:鏡頭對準,在現實世界里召喚和交互異次元生物。
- 觸屏交互:用觸控實時操控物體運動軌跡,親手捏塑視頻世界。
實時渲染
CharX的「加倍版」,不止服裝、角色,連背景都能變。
在完美保留原始動態與光影的前提下,實現毫秒級、幀級的「變身」。
真·領域展開。
![]()
還有一項非常實用的功能——實時換裝——這個模式下只有服飾會變。
![]()
本質上,CharX、ClothX、VibeX,都是X2.0實時渲染能力的多維度秀肌肉,模型將視頻中的「你」變成可編輯變量,從而可以像調整照片亮度一樣,基于參考圖片實時計算用戶的視覺身份。
次元交互
虛擬現實的概念炒了這么多年,但以前的體驗基本都是靜態的,缺乏真正的「在場感」,只能當個花瓶看看。
X2.0的革命性在于:它能用現實中的物品作為錨點,精準定位并控制虛擬角色的運動路徑,把「物理觸感」變成了交互的一部分。
不知道大家還記不記得,曾經有一款叫《寶可夢GO》的捉寵游戲。玩家需要拿著手機四處Citywalk,地圖上會隨機刷新寶可夢。但交互極其有限,只能丟丟精靈球、拍拍照。
如今,體驗「超進化」。X2.0徹底撕開次元壁,任何地點都能隨時召喚心愛角色,與其進行撫摸、對視等即時無縫的深度互動。
![]()
也可以做「瞄準」式的虛空召喚——指定對象,將其與「平行宇宙」的物體置換。比如將手里這瓶礦泉水,憑空替換成一把匕首。
![]()
或者不替換,直接對現實物體施加魔力。
![]()
《泰迪熊》不再是夢。對準攝像頭吧,X2.0可以讓房間里的所有東西「復活」。
觸屏交互
一項引入「觸控」交互的全新視頻玩法。
只需在屏幕上輕輕拖拽,即可將任意靜態主體動起來。
![]()
說實話,這功能簡直是桌面DIY神器。
它將徹底激活你的手機和電腦:壁紙、照片……所有靜態圖像,都能被一鍵「喚醒」。
不用燒Token設計Codex桌寵了,只需一張照片,家里的小主子隨時化身「賽博形態」陪你上班。
![]()
Free模式
最后,除了上述三項封裝好的核心功能,Xmax還最大限度地開放了模型應用的自定義空間,以覆蓋更廣泛的長尾需求。
Free模式下,你可以通過Prompt「言出法隨」,實現幾乎零門檻的特效創作。
什么噴火、鐳射眼、空間扭曲……在這里,都只能算基操。
![]()
X2.0的技術底牌
市面上的視頻生成模型不少,但X2.0這體驗,完全不是一個物種。
比起「視頻模型」,它更像一款游戲。更嚴謹點說,是一種類似于視頻和游戲之間的內容形態——
不僅能看,還可以隨手即「玩」。基于AI賦能的全新操作系統,所有視頻都能變成可以實時交互的資產。
怎么做到的?
核心在于,Xmax團隊在實時性和交互性兩個維度上下了不少功夫。
先說實時。
你可能會說,不就是延遲低一點嘛?
但實際上,幾毫秒的延遲差距,在實時交互場景中可能直接決定一款產品的生死。C端用戶對心流體驗的要求極為苛刻,多卡幾幀,手指就已經劃走了。
市面上不是沒有類似的實時交互模型,但大多要渲染約3秒、5秒,還可能需要預生成10秒以上,其實并非真正意義上的實時。
而Xmax,直接干到了毫秒級響應,實現了真實時。
怎么做到的?
傳統視頻模型走的是雙向Attention路線:對整段視頻或一個片段做聯合建模,全部生成完畢才能看到結果。這本質上是「下載邏輯」——文件得全部下完才能播放。
Xmax選了另一條路——流式生成。
具體來說,他們提出了逐幀自回歸生成架構,將模型響應時間壓縮到毫秒級。邏輯跟最近大火的GPT Live類似:雙工結構,模型在持續計算的同時,用戶端已經在看到畫面流出,不需要干等。
說起來簡單,但工程實現極難。
這里藏著一個速度、成本、質量的「不可能三角」:堆推理算力來提速,成本飆升,普通用戶根本跑不起;速度提上來了,生成質量又會斷崖式下跌。
要打破這個三角,對團隊的research能力和工程能力都是極限考驗。
![]()
Xmax的解法分三步走——
1、多階段多目標融合蒸餾。大幅壓縮推理所需的采樣步數,從源頭上減少計算量。
2、上下文持久化技術。確保模型在長時間連續生成過程中,畫面質量不衰減、不漂移。
3、極致壓縮。引入注意力矩陣稀疏化、FP8量化等手段,進一步降低顯存和算力需求。
最終效果就是:單張消費級顯卡即可滿血運行,達到960分辨率@24fps。
再聊交互。
這個問題在LLM時代很少有人認真討論。Chatbot從誕生之日起就自帶對話框這個最自然的交互界面——完全是參照即時通訊的形態設計的,天然自洽。
但視頻是完全不同的邏輯。它高維、連續,更貼近現實世界的交互方式,而現實中的交互,很少依賴純語言。
這也是為什么Xmax如此執著于交互方式的多樣性。這不是功能堆疊,而是對這類產品最底層的產品思考。
X2.0支持多種交互模式。文字控制、屏幕交互、空間交互……它能理解你拿著手機在做什么、你的手指向了哪里、你做了什么動作。
可以說,幾乎覆蓋了所有自然的交互動機。
團隊把這稱為「統一交互架構」——把過去只能理解prompt的視頻模型,進一步武裝成能理解攝像頭畫面、理解視頻流、理解手勢與肢體語言的全能選手。
最后,團隊將實時與交互兩方面的技術積累做了集大成式的整合,完成了一件極其秀肌肉的事——
全球首個能在iPhone上本地運行的「實時交互」視頻生成模型,384分辨率@16fps。
簡單拆解一下這件事。
端側本地部署,是對實時性的終極驗證;而手機這一形態,則幾乎涵蓋了C端用戶日常交互行為的全部入口。
為了攻克這一難題,團隊也是在移動端做了大量算法與工程層面的深度優化:
- 訓練側:通過混合精度量化與結構化剪枝等手段,進一步壓縮模型體積;
- 推理側:利用計算圖算子融合,并針對端側芯片進行專屬的硬件加速與內存布局優化。
![]()
當一項能力從云端下沉到端側,它就不再是少數極客的玩具,而是數億普通用戶口袋里觸手可及的日常。所有終端設備的交互方式,都有可能被重新書寫一遍。
交互視頻模型的GPT-3時刻,正在逼近。
Xmax重構視頻「交互」范式
如果說X2.0在C端的體驗是一個引人注目的切口,那么它真正的產業想象力,在于通過開放的API,成為視頻行業的底層基礎設施。
智譜的唐杰之前分享過一個觀點:AI時代,技術本身是最核心的資產,不用思考商業模式和產品形態,都會被吃掉。
背后的邏輯是,模型具備泛化性,只要底層能力跨過某條閾值,它自然會獲得「把傳統解決方案重做一遍」的空間。
X2.0正是這個邏輯的絕佳注腳——
最直觀的就是電商與零售。
試想,當「魔鏡」式的實時虛擬試穿接入電商 App,用戶不再需要對著靜態模特圖腦補上身效果,攝像頭前的你就是模特。
![]()
線下商場的試衣間也可以被徹底改造。
消費者只需站在鏡子前,一鍵切換款式和尺碼。退貨率的下降、轉化率的提升,都是可以直接量化的商業價值。
![]()
其次是虛擬陪伴賽道。
基于空間感知的實時交互,X2.0能讓攝像頭前的立牌、玩偶、手辦「活」過來,角色可觸摸、可互動,在場感和沉浸感有質的躍遷。
當然,內容廠商也能拿它來賦能自家IP。
2000年至2024年,好萊塢原創電影占比從41%暴跌至19%;2025年全球票房前10名,幾乎沒一部非續集影片……
造新IP,越來越難了。
游戲、動漫、網文,所有需要「造星」的行業都在經歷這一場寒冬。
這正是AI交互技術最大的價值所在:讓那些已經沉淀了情感記憶、擁有龐大粉絲基礎的存量IP,煥發全新的生命力。
一個陪伴了粉絲十年的動漫角色,可以在你的臥室書桌上醒來,看著你,回應你的每一個肢體動作。
![]()
直播平臺同樣能迎來范式重構。
有了實時交互AI,觀眾在看直播時就不再只能刷熒光棒,發sc(醒目留言)。你可以隨手進行各種操作——實時換人、換裝、把主播投到月球上去……
完全千人千面的觀看體驗,把直播變成了一場大型多人互動游戲。
![]()
再往深看,智能硬件、文旅、教育、辦公協同……所有需要「人機實時交互」的視頻場景,底層邏輯全部同理。
![]()
這也是Xmax開放API的原因。
是的,你可以通過官方平臺的API,將這根魔法棒接入自己的產品。
這對生態的意義不言而喻。攝像頭,只是C端的一個切入點;一旦通過API接入B端行業,它所能覆蓋的長尾需求幾乎是無限的。
當然,生態這件事也得建立在足夠穩固的基礎設施上。能力成熟是一方面,另一方面是正被滿足的,快速下降的成本曲線——
在目前世界實時交互模型賽場中,XmaxAI的能力在這個垂直賽道中遙遙領先,但價格僅為海外同類模型頭部Decart的十分之一,甚至能力和效果還要更好。
當實時交互視頻的成本降到中小團隊用得起、接入簡單到調API就能跑、終端覆蓋到手機就能用,它改變的,就不只是某一個應用場景了。
這或許也是Xmax團隊反復強調「通用」交互模型的原因。他們想做的,從來不是一個只能用來炫技的Demo,而是一個能真正下沉到千行百業、被無數開發者調用的Infra——
一套消費級的「可交互視頻」底座。
這個野心一旦落地,將系統性地重塑所有與視頻相關的行業和產品。
OMT
一百多年來,視頻的載體換了無數副面孔。
膠片讓位于磁帶,磁帶讓位于數字文件,專業攝影棚讓位于每個人的手機鏡頭……每一次迭代,都在降低創作的門檻。
但有一件事,從未被真正打破:屏幕里發生的一切,和屏幕前的你,始終隔著一道看不見的墻。你能看,但你不能碰。你能消費,但你無法介入。
AI視頻賽道卷了整整兩年,依然沒解決這個問題。
從文生視頻卷到圖生視頻,從幾秒短視頻卷到幾十秒長視頻。參數量越來越大,渲染時間越來越長,生成的畫面越來越精致——
但一個根本問題,始終沒有被正面回答:
用戶到底需要什么樣的AI視頻?
像寫小說一樣絞盡腦汁寫提示詞?
等一條十幾秒的視頻渲染幾十秒甚至幾分鐘?
還是為了一條片子燒掉好幾萬塊錢的算力成本?
Xmax的答案是——
這些都沒必要。
打開攝像頭。世界,就在那里。
你口袋里那個每天都帶著的設備,可以是一扇隨時能通往異世界的門。
那門里面是什么?
如果說X2.0的出現,拉開了現實與虛擬世界的那扇門。那X2.0的API,則是透過那條門縫,初次窺探到的新大陸。
這片土地上最終會長出什么樣的產品,沒人能猜得到。
但,這恰恰是這片尚未成形的新大陸——
最令人著迷的地方。
官方體驗地址:https://platform.xmaxai.com
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.