![]()
前通義千問負責人林俊旸在5月成立的新公司,連名字都還沒起,只知道研究的是世界模型和具身智能,估值就已經到20億美元了,還拿到了騰訊2000萬美元的投資。
此前有人根據林俊旸的推文推斷,說他現在做的是“預測”,Next State Prediction,也就是預測下一幀會發生什么。
這句話沒說錯,然而說了等于沒說。
為什么呢?因為現在所有大模型都是在預測,預測下一個token的內容是什么。
而且如果只是狀態的預測,那OpenAI的視頻生成模型Sora,它其實干的也是預測各個事物的物理狀態,你再開一家公司去干相同的事情,完全沒有意義。
我認為,林俊旸想要賣的是一套更深的東西——想象力。
AI在行動之前,把事情在腦子里過一遍。
我給你舉個例子,我讓機器人去舉起一個水杯,它會在腦子里想“這水杯的摩擦力是如何,我的機器手臂會不會打滑?”、“這小子是不是坑我,水杯有可能是帶電的,我碰一下把我給電壞了咋辦”、“萬一我把水杯給摔了,把我賣了夠不夠賠的?”
把所有可能都想好,再去行動,整個過程,就叫做“想象力”。
你別不信,聽我慢慢給你講。
01
林俊旸的拼圖
我們先從最基本的開始說起。
林俊旸參與過的研究非常多,最知名的肯定是M6。
M6的全稱是Multi-Modality to Multi-Modality Multitask Mega-transformer,翻譯過來是從多模態到多模態,多任務,巨型Transformer。
M6的核心,是把所有模態、所有任務,都塞進同一個大模型框架里。讓模型不僅能處理純文本、純圖像的單模態任務,也能處理跨模態任務,還能做文本引導的圖像生成。
M6是“想象力”的起點,物理世界本身很復雜,有文字、圖像、聲音、空間位置、物體狀態、動作過程和結果反饋。AI想要去理解這個世界,第一步就是把這些不同類型的信息放進同一個模型里處理。
林俊旸很早關心的就不是單個任務,而是如何把不同來源、不同形態的經驗統一成模型可學習的格式。
![]()
光有框架還不夠,你還得讓模型能明白。所以就有了Qwen和Qwen-VL。
Qwen我們都很熟悉了,它可以寫代碼、調用API、使用工具,把一個目標拆成多步行動,并根據工具返回的結果繼續調整下一步。
也就是說,Qwen讓模型有了比較清楚的行動流程:先理解目標,再選擇手段,再執行,再看反饋。
到了,Qwen-VL,它讓AI的眼睛不只是看,還能指。看圖說話大家都會,但Qwen-VL還能做grounding,把圖片里的物體框出來,讀圖上的文字,回答“圖中右下角的紅色杯子在哪個位置”這種問題。
這兩篇放在一起看,Qwen-VL讓模型知道物體在哪,Qwen讓模型知道怎么動手。
相當于是讓模型從觀眾席,走到了賽場上。
2026年春節前后,林俊旸參與了一篇論文,名為WebWorld。這篇論文講的是造一個假的網頁世界,讓Agent在里面練手。
它用超過一百萬條真實網頁交互數據訓練了一個網頁模擬器,能支撐三十步以上的長序列模擬,支持推理、多格式數據。
在當時,WebWorld的模擬質量已經能跟Gemini-3-Pro打平。并且用WebWorld合成數據訓練的Qwen3-14B,在WebArena上直接漲了9.2%,性能追上了GPT-4o。
而且這套模擬能力還能跨領域泛化,代碼、GUI、游戲環境都適用。
為什么要造模擬世界?因為真實世界太慢了。網頁有加載延遲、有訪問頻率限制、有風控攔截。你讓Agent在真實網頁上試錯一千次,可能八百次都卡在網絡延遲上,剩下兩百次還有一半被當成爬蟲封了。
訓練本身需要的是大量多樣化的交互經驗。既然如此那就在模型內部再造一個世界。Agent在這個虛假世界里怎么摔跟頭都行,零成本,零風險。
這就是“想象力”的本質,我是為了要降低后續的風險成本,所以我現在才讓機器人“大腦”內進行模擬訓練,訓練好了以后才能少給我闖禍。
模式有了,那我該讓機器人在腦內訓練什么呢?VideoAgentTrek。它做的是從人類操作視頻里,自動挖出Agent可以學習的操作軌跡。
VideoAgentTrek從YouTube上扒了三萬九千個屏幕錄制的教程視頻,全是無標注的原始視頻,然后自動解析出了一百五十多萬條GUI交互步驟。
這篇論文顛倒了整個認知邏輯。一般人看到教程,想到的是“我跟著學”。林俊旸看到的是訓練數據。
教程視頻里藏著最精準的操作軌跡,鼠標從哪移到哪、點了什么按鈕、打了什么字,全是現成的標注。他想的是怎么把這種“人演示給機器看”的視頻,逆向拆成“機器能學的經驗”。
這個思路一旦成立,數據就取之不竭。每天有無數人在網上錄教程,每一個教程都是一條隱形的訓練軌跡。
說句題外話,這篇論文還有個非常有意思的地方,那就是林俊旸(Junyang Lin)和香港大學的楊俊霖(Junlin Yang)一起出現在了作者的位置。
再然后,就到了CUA-Gym。
如果你讓一個Agent在模擬世界里做一百次嘗試,但是沒有人告訴它哪次對哪次錯,那這一百次就等于白做。CUA-Gym做的事情就是自動安插一個裁判,自動出題,自動批卷。
想象力如果沒有像代碼那樣可以被驗證的獎勵信號,那就是純消耗算力。只有有了裁判、有了分數、有了回放,模擬里跑過的每一步才真正算數。要想把“想象力”放進現實里去,就得有答案、反饋和復盤的系統。
最后,或者說一切的一切,都要落到“執行”二字。因此來到了Qwen-VLA和Qwen-RobotWorld。這兩篇論文是物理世界的雙生子。
Qwen-VLA做了一件事,它在Qwen的基礎上加了一個DiT架構的動作解碼器,把文本、圖像的理解直接輸出為連續的動作軌跡。
為了支持不同形態的機器人,它引入了一個機器人描述符機制,換一個身體就換一個描述文本,同一套大腦不變。效果很猛,LIBERO上97.9%,Simpler-WidowX上73.7%,真實世界的ALOHA實驗中76.9%的跨分布泛化。
Qwen-RobotWorld則是另一個維度,它訓練了一個語言條件視頻世界模型,通過860萬條視頻文本數據,兩億多幀畫面,涵蓋二十多種機器人和五百多種動作類型。
這個模型能根據當前觀察和一句指令,預測未來會發生什么畫面,在EWMBench和DreamGen Bench上都排到了第一。
所有研究成果連起來看,“想象力”從理念到執行,實現了完整的閉環,一環扣一環。
02
李飛飛和楊立昆
如果只拿林俊旸的研究來說事,可能有些站不住腳。但是如果把李飛飛和楊立昆也拉進來,你就發現一切成立了,每個人做出來的世界模型,本質上都是他們一生研究成果的終極大融合。
先說AI教母李飛飛,她從ImageNet起家,她從那時候起研究的就是“AI如何看見世界”。
ImageNet讓機器學會了辨認物體,之后的二十年她都在往更深處挖,從識別走向理解,從理解走向生成,從二維走向三維。
她創立的World Labs,首款產品叫Marble,能讓用戶從文字、圖片或視頻直接生成可進入的三維場景。她的世界模型本質上賣的是一樣東西,空間。一個AI可以感知、生成、編輯、交互的三維世界。
她把這個方向叫“空間智能”,說它是語言智能之后的下一個前沿。World Labs在2025年11月推出Marble,2026年2月估值已經沖到50億美元,也融了10億美元。
楊立昆也是做世界模型的,但是他的世界模型和李飛飛的世界模型是根本上的兩個物種,究其原因是他倆的研究方向不同。
楊立昆從自監督學習出發的,他的核心執念是讓AI不靠海量標注數據,像人一樣通過觀察來理解世界。他的JEPA架構不生成像素,轉而在潛空間里預測世界的抽象狀態變化。
V-JEPA 2用了一百萬小時互聯網視頻做預訓練,然后加上不到62小時的機器人視頻,就能讓Franka機械臂在零樣本條件下完成拾取放置。
2026年3月,楊立昆發布了世界模型LeWorldModel,把端到端的JEPA穩定訓練做到了只用兩個損失項,一千五百萬參數在一張GPU上跑幾個小時就能做規劃。
楊立昆的世界模型賣的是基于邏輯推演的認知結構。他要讓AI在潛空間里理解世界如何演化,不靠背語言、不靠記模式。他對世界模型的理解就成了“AI怎么理解看見的東西”。
比如這有一把椅子,它不能憑空出現,它得立在地面上才站得住。那么通過椅子的質量,就能推演出地面給了多少支撐力。
![]()
所以,這也是為什么我覺得,“想象力”比“世界模型”更接近林俊旸這家公司的真實命題。世界模型只是工具,真正值錢的,是讓機器少用現實犯錯的能力。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.