我這人沒什么養寵物的耐心,但卻很喜歡折騰AI角色。
有段時間,小雷隔三岔五就去豆包、千問里翻別人的Bot。有人讓諸葛亮來到現代,有人讓霸道總裁教高數,還有人捏了個天天催自己上班的二次元老婆。好不好用先放一邊,至少每次點進去,都不知道會遇上什么新品種的電子活人。
結果前陣子再打開,小雷發現這幫Bot要集體畢業了,豆包、千問接連宣布下線相關功能。眼看聊天框里的電子朋友一個接一個消失,我本來已經準備接受現實,結果轉頭又刷到一個更抽象的東西。
Vidu S1。
![]()
(圖源:Vidu)
Vidu S1是一個主打實時視頻交互的模型,不同于普通的AI Bot,用戶只需上傳一張圖片,模型就能快速理解角色的身份、外觀和風格,并在交互過程中實時生成該角色的各種表情和動作,并盡量保持形象與音色的統一。
誒,既然大廠的Bot不讓玩了,那小雷(ID:leitech)干脆自己造一個。
要我說,一個會說中文、能聽懂指令,最好還能當場打坐的哈蘭德就蠻有意思。
一張圖就能生成可對話的哈蘭德
Vidu S1的使用流程不算復雜。
這個模型本身是完全公開的,只要在手機應用商店搜索Vidu AI Pro下載最新版本,進入APP內點擊Vidu S1即可體驗。
注意啊,別下錯成Vidu AI,這是兩個不同的APP,我就被他們騙了一個下載量。
![]()
(圖源:雷科技)
為了方便體驗,Vidu S1里已經準備了一批預設角色。
這里頭數量最多的是各式各樣的妹子,從古裝到現代,從魔幻到現實,此外還有一些動畫角色、拆家狗子可供選擇,多樣性這一塊是沒啥問題。
我先沒急著上傳圖片,隨便挑了一個聊了幾句。
就像這樣,用戶只要選定角色,就可以通過麥克風直接發出語音指令。角色會在畫面中實時回應,并根據對話內容實時生成表情、口型,搭配上身子左右自然晃動,還真有幾分在打視頻通話的感覺。
![]()
(圖源:雷科技)
就是這畫面本身嘛...確實有點糊,看了一下官方規格,說是540P、25幀,你就把它當成網絡不佳的效果吧。
當然,這玩意的能力不止對口型,我們還可以直接用語音指揮角色做出不同動作。
當我發出“舉起左手”的指令后,畫面中的角色確實能夠做出響應,對應的舉手動作也很流暢,沒有出現什么穿幫的情況。
![]()
(圖源:雷科技)
稍微復雜一點的,比如推眼鏡、撩頭發,都算是能較好地完成。
我甚至提出了一個類似于“左手整理頭發,右手整理衣襟,然后雙手放在胸前比心”的復合指令,角色也能勉強做到,就是沒有那么到位。
![]()
(圖源:雷科技)
至于槽點嘛...延遲挺大的。
它的“實時”是站在AI視頻角度說的,你講完一句,角色往往還要停頓一下,再開始回答。這個速度放在視頻生成里確實不賴,但是放進視頻通話里就很明顯,尤其是角色還會一直盯著你,讓人心里多少有些毛毛的。
動作也是同樣的情況。
為了防止穿幫,Vidu S1似乎在系統層面寫死了不準轉身的限制,無論怎么嘗試角色都會拒絕,至于跳舞、上下蹲這類連續動作更是直接糊弄。
![]()
(圖源:雷科技)
屬于是嘴上答應得很積極,身體只象征性地晃兩下,有點像我擺爛的樣子。
當然,預設角色畢竟經過官方挑選,Vidu S1也支持用戶上傳圖片創建自己的角色,接著就該試試我自己上傳的角色了。
我先選了一張Q版角色,正好可以看看它在面對非常規體型時的處理效果。
上傳菲比啾比的圖片后,填寫角色描述,選擇系統提供的預置音色,或者是錄制自己的聲音,然后等個1分鐘左右,一個自定義角色就完成了。
![]()
(圖源:雷科技)
結果非常嚇人,角色的動作和體型完全不匹配。
在我發出“跳起”的指令后,可以看到畫面里的角色身體被驟然拉長,其他指令也都是類似橡膠人的效果。
![]()
(圖源:雷科技)
更別說我設置的角色描述似乎完全沒用,角色無論如何都會在那里自說自話。
最后,我上傳了一張挪威前鋒哈蘭德的圖片。
估計是因為訓練集的緣故,真人圖片比二次元要簡單。靜止時,Vidu S1能把五官和發型保持得不錯;開始說話后,嘴型也能跟上。但表情一激動,牙齒、臉頰和眼神偶爾就會有點不協調。
比較抽象的是聲音,我錄制的聲音完全沒生效,而是隨機在幾種不同的男/女聲中進行切換,畫面看起來異常詭異。
我讓他復刻招牌打坐慶祝,他先低頭,再抬了抬手,最后還是穩穩站在鏡頭前。
![]()
(圖源:雷科技)
看來Vidu S1只能造出一個會聊天的哈蘭德,但暫時造不出那個能在球場上跑起來的哈蘭德,可以改進的地方還是太多了。
AI讓「一分鐘創建一個世界」夢想成真
無獨有偶,今年初谷歌推出了Genie,最近靈光App也升級了世界模型體驗功能。
這類產品的宣傳點都很一致:用戶只要上傳一張圖片,AI就會自己解析畫面元素、理解什么是地面、什么是障礙物、角色該怎么動,把靜態畫面變成可以交互的視頻應用,聽起來跟小時候幻想的“隨便畫張圖就能變成游戲”差不多。
尤其是靈光App,公開展示里又是攻擊,又是射箭,又是施法的,看起來相當厲害,還沒有什么會員之類的資格限制,難免讓人手癢癢的。
![]()
(圖源:雷科技)
既然手癢了,那就去試試,咱們直接從系統推薦的圖片開始。
我選擇了“解鎖冷冽的高科技都市”,靈光自動上傳了一張高度類似于《賽博朋克2077》的場景截圖,等了不到半分鐘,系統就提醒我專屬世界已經就位了。
![]()
(圖源:雷科技)
這速度...真的假的?
你別說,靈光App還真就在短時間內生成了一個像模像樣的賽博朋克世界,你往前走,前方路徑會實時生成,你轉視角,鏡頭也會跟著同步調整,整個過程更像是在一個持續展開的空間里進行探索。
![]()
(圖源:雷科技)
生成完成后,畫面下方除了基礎方向鍵,還出現了一些個性化交互按鈕。第一眼看著確實比過去豐富,仿佛模型已經理解了圖片里的內容,專門設計了一套玩法。
實際按下去就會發現,這些按鈕更多只是讓這個世界播放不同的效果。
畫面里即便還有其他人物,也不能靠近對話,不能攻擊,甚至很難產生任何像樣的接觸。所謂交互,基本還是用戶控制一個角色,在AI持續生成的視頻里走來走去。
![]()
(圖源:雷科技)
而且這個操作延遲...移動角色差不多有1-2秒延遲,切換視角更是卡到嚇人。
為了測試它到底能不能看懂圖片,我又上傳了一張《怪物獵人》的游戲截圖。
![]()
(圖源:雷科技)
按理來說,畫面里有人物、有怪物,還有非常明確的戰斗場景,模型即便不能還原完整玩法,至少也應該根據內容生成攻擊、閃避或者狩獵相關的按鈕。
結果它并沒有。
系統給出的交互方式非常通用,跟圖片里的《怪物獵人》沒有多少關系。更抽象的是,角色才走了沒多久,原來的獵人就慢慢變成了悟空。
![]()
(圖源:雷科技)
看來模型確實知道這是一張游戲截圖,但至于玩的是啥游戲,它可能覺得都差不多,反正手里拿著東西打怪就行。
再來,這次我上傳了一張哈蘭德參加足球比賽的截圖。
這次的問題更直接。進入場景后,原本最關鍵的足球很快就消失了,系統也沒有讓我操控哈蘭德,反而選中了對面一名穿白衣服的球員。
這個角色沒辦法踢球,也不能跟哈蘭德或者其他球員產生有效互動。畫面里的球門、草地和觀眾更像背景貼紙,看著都在,實際上碰不到,也用不上。
更麻煩的是,一旦角色開始移動,整個畫面都會跟著發生變化。
![]()
(圖源:雷科技)
因為原圖里的元素本來就不多,模型又無法穩定記住人物和場景,角色稍微跑兩步,球場、球員位置甚至衣服細節都會重新生成。上一秒還在身邊的人,下一秒可能已經換了長相,連主控角色自己都像邊跑邊整容,隊服換了又換。
真要說有什么體驗好一點的...我覺得是POV視角的風景圖片吧。
給這玩意一張風景圖片,倒是真的能夠享受到在一個不存在的世界里旅行的感覺,只要你能忍受時不時的頓卡就行。
![]()
(圖源:雷科技)
當個新鮮玩具,玩個幾分鐘娛樂一下或許還行,長期的可玩性肯定是支撐不起的。
世界模型成了AI的下一個核心戰場?
說到這里,可能有人會覺得,既然畫質這么渣,Bug這么多,那這些廠商花這么多錢搞這個可交互的世界模型,是不是點錯科技樹了?
在我看來,恰恰相反。
這類模型和應用的出現,其意義遠不止做個游戲這么簡單,它代表了人工智能從“理解靜態世界”邁向了“模擬真實世界”的關鍵一步。
我們現在熟悉的Seedance、可靈這些視頻生成模型,雖然能做出足夠唬人的大片感畫面,但它們是被動展示的。觀眾只能看,不能互動。
![]()
(圖源:字節跳動)
而這些廠商發力世界模型,核心就是想讓AI理解:我做了一個動作,世界就會跟著變化,讓AI從被動展示到主動交互,從靜態敘事到動態推演,這也是通往更強通用智能的重要路徑之一。
試想一下,如果未來的靈光世界模型能進化到4K畫質、60幀,并且物理邏輯完全準確,那意味著什么?
直觀點說,這意味著我們不需要在現實中去訓練機器人了。我們可以讓AI機器人在靈光生成的虛擬世界里,摔倒一萬次,學會走路,學會拿杯子,然后再把這個算法加載到實體機器人身上。
當然了,目前盯著這個賽道的,可不止這幾家廠商。
OpenAI早在介紹Sora時,就曾把視頻模型放進世界模型的語境里討論;英偉達推出的Cosmos,同樣把重點放在物理世界模擬上;國內不少智能駕駛、機器人和游戲公司也在布局。大家都在賭,誰能先造出那個成熟的世界雛形。
對這個新領域而言,好戲才剛剛開場。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.