誰在決定AI的默認審美 | Google DeepMind三位核心研發人員對談圓桌實錄

7月1日，AI Engineer World's Fair 2026大會期間，三位來自Google DeepMind的核心研發人員：視頻大模型技術負責人Dimitris、主導Gemini強化學習與Omni推理方向的Shane Gu（顧世翔）、生成式媒體產品負責人Nicole與《Latent Space》播客主持人進行了一場深度圓桌對話。本次圓桌對話圍繞谷歌Nano Banana 2 Light與Gemini Omni Flash API兩項新發布展開，就視頻與圖像生成模型、音視頻聯合生成、世界模型、強化學習機制、模型評估體系以及前沿部署工程師（FDE）商業化落地等議題進行了系統探討。

關于本次發布，Nicole表示，Nano Banana 2 Light是該系列中速度最快、成本最低的圖像模型，表現已超越初代Nano Banana，足以替代大多數用戶過去在生成與編輯中使用的初代產品；Gemini Omni Flash API首次向開發者開放視頻生成與編輯功能，定價與Veo 3.1 Fast保持一致。Dimitris指出，他用Nano Banana將一份英文說明書拍照后直接翻譯成羅馬尼亞語，同時保持原有排版不變，效果與原版幾乎一致，他認為該能力可延伸至視頻文本渲染、翻譯、國際化及配音等場景。

關于視頻AI Agent與統一模型的路線之爭，Shane認為，語言之所以是極具價值的中間表示，是因為在語言上設定條件相當于在事物生成的因果信息上設定條件，這有助于緩解機器學習中虛假相關性難以判定的問題；他并援引團隊此前發表的論文《視頻模型是零樣本學習器和推理器》，指出視頻模型已具備類似機器人視覺的物理直覺，本身即是一種尚未被充分承認的世界模型。關于模型架構的終局，Dimitris指出，盡管長遠看不同模態模型可能走向統一，但未來六個月內團隊仍將保留執行不同任務的多個專業模型，因為工程、研究與產品之間存在現實權衡；Nicole表示，Gemini Omni的命名意在暗示未來輸入輸出端將實現完全多模態，但在通往這一目標的過程中，垂直專業模型仍有大量有價值的應用場景。

關于視頻模型與AGI的關系，Shane認為，若要打造能夠媲美人類的AGI而非單純依靠算力堆砌的系統，視頻這一世界模型基座是絕對不可或缺的。關于音視頻聯合生成，Dimitris指出，Veo 3是首個實現音視頻聯合生成的模型，其依據在于說話行為背后存在統一的潛在因果生成過程，而非先生成像素再讓音頻跟隨；他表示，此前先生成畫面再拼接音頻的做法效果很差，將音視頻置于單一生成模型中是正確選擇。關于理解與生成的統一，Dimitris指出，目前罕有前沿模型能同時擅長視頻的理解與生成，這是一個尚待解決的挑戰。

關于語言表達的局限，Shane認為，音頻、氣味、味覺與膚色等信息難以被語言精確描述，原因在于這些感官與生存本能緊密相連，人類對其差異極為敏感卻缺乏足夠的詞匯儲備；Nicole表示，視覺美學同樣存在這一局限，語言常常成為描述風格與審美偏好的制約因素。

關于優化目標與人類偏好的關系，Dimitris指出，團隊曾用Omni根據真實視頻的文字描述重新生成對應視頻，結果人類評估者大幅偏愛AI生成版本，但他強調這并不代表AI生成內容更真實或更有用，很可能只是模型的優化方式恰好觸發了人類大腦偏好某種視覺效果的機制，因此他認為人類偏好并非決定優化目標的可靠風向標。

關于提示工程，Shane表示，四年前業界曾普遍預測提示工程將會消失，但他當時即持相反觀點，并認為提示工程是用戶在擁有AI控制權時表達具體意圖的核心手段，不應被放棄。關于默認審美風格，Dimitris指出，團隊默認審美風格存在信息密度過高的問題，如同用力過猛的學生試圖把所有信息塞進一張圖中；Shane補充指出，東亞地區信息圖表的設計密度顯著高于其他地區。關于模型異常行為，Dimitris表示，團隊曾發現模型總是傾向于在手部畫出婚戒，且原因不明，懷疑屬于獎勵機制破解的典型表現。

關于模型評估方法，Nicole指出，涉及文本渲染等可通過光學字符識別進行客觀評估的任務較易實現自動化評分，但涉及審美判斷的任務仍高度依賴人工評估，團隊會對數千個項目進行大規模人工評審，并在模型表現接近時通過并排對比人工決策；她并表示，模型可能在人工評估切片中表現優異，卻仍會嚴重破壞某個用戶的實際工作流，因此團隊高度依賴搶先體驗項目中高審美素養用戶的反饋。Shane認為，超越審美偏好判斷，針對AI生成視頻的檢測與理解本身是一項極其重要且應被持續自動化的智能任務。

關于數據需求，Dimitris指出，團隊并不缺乏隨機網絡視頻數據，而是渴求更專業化的高質量拍攝素材及具身智能相關數據；Nicole表示，真正難以獲取的是人類完成營銷活動等復雜創意任務過程中的實際任務軌跡，這類隱性數據極難憑空制造。關于隱性知識，Shane認為，互聯網上的絕大多數內容僅是人類內在思考過程的最終輸出，真正驅動創作的思考軌跡深藏于對話與靈感之中，難以被記錄和提取；Nicole則指出，這正是當前大語言模型生成的小說類內容容易陷入千篇一律、難以引發情感共鳴的根本原因。

關于前沿部署工程師的角色定位，Shane表示，該角色遠不止于銷售，其核心價值在于將客戶在實際使用中沉淀的洞見反哺至模型研發的最上游環節；Nicole則以室內設計圖案等比例縮放、虛擬試戴耳環比例適配等具體案例指出，一線用戶反饋對研發團隊具有難以替代的價值，因為團隊本身并不在業務一線使用模型執行這些具體任務。

發布回顧：Nano Banana 2 Light 與 Omni Flash API 首發

主持人：我想我們已經開始直播了，歡迎線上和現場的觀眾朋友們。我們通常會在主舞臺演講的間隙，利用這段時間深入探討一些特別重要但沒有專門發布儀式的議題。今天我們非常榮幸請到了研發Omni、Veo 以及 Nano Banana 這幾款全球頂尖生成式模型的幕后團隊。Dimitris，你目前是視頻模型的核心研發人員。

Dimitris: 沒錯。

主持人：Shane，你現在主要負責 Omni 的邏輯推理，以及 Gemini 在強化學習方向的一系列工作。

Shane:正是如此。

主持人：還有Nicole，你負責其余的生成式媒體模型，包括 Nano Banana，以及這周剛發布的所有新內容。

Nicole: 沒錯，我們剛剛發布了一些API。

主持人：對于我們這些不在前沿實驗室工作的人來說，這已經是我們能接觸到的最前沿的技術了。既然你們最了解情況，而且剛忙完發布，我們就來回顧一下，這周到底發布了什么？大家應該去體驗些什么？

Nicole: 昨天我們迎來了兩個重要發布。首先是Nano Banana 2 Light 的上線，這是 Nano Banana 系列中速度最快、成本最低的圖像模型。它的表現甚至超越了初代 Nano Banana。對大多數人來說，這個模型完全可以替代大家過去在生成和編輯中鐘愛的初代產品，而且它的輸出質量已經非常逼近更大規模的主力前沿模型了。

這真的很令人興奮。如果你看過一些演示或者大家嘗試過的案例，就會發現3秒的延遲極大地釋放了創意構思和迭代的潛能。這非常有趣，該模型的生成質量已經達到了極高水準，你既可以用它進行快速迭代，甚至可以直接將部分輸出結果作為生產級的成品使用。這非常棒。

第二個發布，是我們終于推出了在 I/O 大會上預告過的 Gemini Omni Flash API。感謝大家的耐心等待。這是我們首次向開發者開放這些 API，主要提供備受期待的視頻生成和編輯功能。在定價上，我們與 Veo 3.1 Fast 保持一致。因此我們希望以極具吸引力的價格，為大家提供頂級的質量。

主持人：這確實不可思議。當初你們首次發布Omni 時，還和今天未能到場的 Logan 一起錄了期播客。你們在視頻里加了樹懶、拉面等各種有趣的元素。我其實特別想在我們自己的視頻里也這么玩，只是之前苦于沒有 API，因為我必須把整個流程自動化。非常感謝你們推出 API。

Nicole: 那可是我最喜歡的應用場景。大家都該去試試。我生成了一只貓，可能是所有動物里最無聊的了。如果大家不知道我們在說什么，絕對應該去搜一下，非常有意思。那是團隊里的Foefer 做的。

主持人：想要找靈感，想知道這模型能做什么，Foefer 絕對是你最該關注的人。

Nicole: 沒錯，他在這方面簡直是個天才，那些作品都是他做的。

主持人：在深入聊Omni 之前，我想先探討一點。我們在視頻里加入了貓和樹懶，這非常酷也非常有趣。但能不能啟發一下大家，除了這些演示之外，更實用的主力應用場景有哪些？

Nicole: 顯然這個模型的主打功能有兩大核心。其一是支持任何形式的輸入并輸出視頻。未來正如我們之前預告過的，我們還希望推出其他的輸出模態。就目前而言，這意味著你可以把一組圖片當作故事板，配上一段包含角色目標口音的參考音頻，然后就能生成一段完整的視頻。這直接打通了制作微電影或YouTube 短視頻的諸多環節，幫助創作者更輕松地生成內容。

另一大核心功能是視頻編輯。這也是我們非常看好的一點，我們大大降低了門檻。現在你可以使用自然語言對視頻進行添加或刪除元素的編輯。除了有趣的樹懶案例，我們也考慮到了諸多消費者場景。比如你拍了一段背景嘈雜的海灘度假視頻想要消除噪音，過去你可能束手無策，因為你沒有專業工具，或者根本不知道該用什么，現在這就成了一個非常實用的場景。

我們已經看到很多人用它來創作營銷廣告，隨著 API 的發布，我非常期待看到更多這樣的應用。因為我們在第一方產品中無法預見所有的玩法，所以我期待開發者通過 API 去探索。這只是目前浮現出的一些高頻應用。還有人用它來制作教育材料。這讓人非常興奮，我們都曾憧憬過未來的教育形態，一切都可以根據個人的知識水平和偏好風格進行個性化定制。這正是朝著這個方向邁出的一步。

Dimitris: 我昨天剛用了Nano Banana。我父母過來玩，這里有個非常有趣的場景。我在亞馬遜上買了個小物件，但說明書全是英文的，上面還有很多圖解。我拍了張照片對模型說，把這個翻譯成羅馬尼亞語，同時保持其他排版不變。結果非常驚艷！它看起來和原版一模一樣，而且翻譯完美，起碼八九不離十。顯然它底層調用的是 Gemini 來完成翻譯工作。

你完全可以把這種應用場景延伸到視頻上。Omni 的文本渲染能力非常超前。你可以想象在文本渲染、翻譯、國際化等方面有大量真正對各色人群有用的場景。通過更廣泛的權限，你還可以給視頻重新配音等。這里有非常多值得探索的潛在應用。

主持人：我在播客中最受啟發的對話之一，是和這些前沿領域的研究人員交流。我曾和XAI 視頻團隊也就是 Grok 視頻團隊的 Ethan 聊過，他認為未來的趨勢不再僅僅是單一模型，而是更多的視頻 AI Agent。我不知道這個說法是否能引起你們的共鳴，顯然這對強化學習非常相關。他的觀點主要是放棄試圖在一次生成中完成所有任務。你們也有同感嗎，還是說這仍然是一個未定論的研究方向？

Shane:最讓我興奮的是符號化的基礎模型與這種視頻基礎模型真正協同工作的時候。如果你回顧圖像生成和視頻生成的早期發展，很大程度上是在大語言模型能夠提供非常詳細的字幕描述時起步的，比如從Stable Diffusion 或者 DALL-E 2 時期開始。因此語言本質上是一種極具價值的表示方式。一方面它是通用的，另一方面從技術角度來看，我的一個假設是機器學習中一個極其困難的問題是虛假相關性。你無法確定一個具有預測能力的特征到底是不是真正的因果因素。解決這個問題有兩種途徑。其一是通過因果圖上的所有干預手段獲取極其多樣化的訓練數據，其二是你在因果信息上進行條件設定。而在語言上設定條件就如同在世界的因果信息上設定條件。

主持人：這是指提示詞還是一個概念，或者是別的什么？

Shane:沒錯。如果你觀察一下自己是如何描述一段視頻或一張圖片的，你會發現這與我們描述事物生成背后的因果關系非常接近。這極大地賦予了模型豐富的泛化能力，并造就了一個優秀的模型。

另外，八個月前我們發表了一篇關于評估的論文，題為《視頻模型是零樣本學習器和推理器》。那是一篇非常有趣的論文，后來 Nano Banana 團隊跟進發表了《Vision Banana》論文，基本上就是用 Nano Banana 來實現這一想法。核心觀點是，視頻模型是一個處理時空信息的極其優秀的基礎模型。對于傳統的計算機視覺任務，很多都可以通過零樣本解決，當你向它輸入一些視覺測試題時，雖然還有改進空間，但它已經能解題了。它甚至具備了像機器人視覺那樣出色的物理直覺，就像一個世界模型。

我認為關鍵在于將視覺推理與文本推理緊密結合在一起。當然，到底是通過統一的單一模型來實現，還是通過這種 AI Agent 編排來實現，我認為這會是一個漸進演變的過程。我設想最終所有東西都會融合進一個單一模型中。但就目前而言，如果你能將優秀的視頻理解、圖像理解能力，借助 Omni 賦予 Gemini 類似 AI Agent 的運作方式，你能做的事情還有很多。事實上我們的團隊正在這方面進行大量的探索。

主持人：這信息量很大。我越來越想知道的一個問題是，對于你們來說，最終的發展趨勢是否會指向一個統一的產品？目前你們發布了多個模型，Omni 這個名字本身似乎就暗示了最終所有的細分模型都會消失，一切都會整合進 Omni 中。這是你們的計劃嗎？

Dimitris: 我不知道。長遠來看可能是，但目前在工程、研究和產品之間存在著不同的權衡。就像那個叫什么來著，Nano Banana Light？我不太記產品名。

Nicole: 是Nano Banana 2 Light。

Dimitris: 對，Nano Banana 2 Light。它服務于一個特定的細分市場。而且它大概率不能直接塞進能生成 4K 30秒視頻的模型里，它們在代碼檢查點上就不同，訓練方式可能也截然不同。所以這取決于你把目光放多長遠。五年后它們會變成同一個模型嗎？很有可能。但在未來六個月里，我們肯定還會保留執行不同任務的多個模型。因為從實用主義的權衡來看，我們有必要保持模型的多樣性。

Nicole: 我贊同這個觀點。說到這一點，我們之所以給它命名為Gemini Omni，確實是為了暗示 Gemini 在未來會實現輸入和輸出端的完全多模態。這絕對是一個發展方向。我們很可能會看到 Omni 在未來具備生成和編輯圖像等各項能力。但 Dimitris 說的很對，在通往那個未來的道路上，這些更垂直、更專業的模型仍然有大量極其有價值的應用場景。所以我們會繼續研發這些模型，因為它們滿足了當下的特定需求，而這種需求可能在一年后就不復存在了。

Dimitris: 這里還涉及到一個研究課題，即不同模態之間究竟存在多少遷移潛力。你可能認為代碼編寫和視頻生成之間存在某種關聯遷移，但我估計大多數人并不這么想。你既可以嘗試去挖掘其中的聯系，也可能覺得為了同時學習這兩個任務而把它們強行湊在一起純粹是浪費資源。

所以這是一個非常有趣的問題。很明顯圖像和視頻之間存在一定程度的遷移，差異并不大，同時學習輸出視頻和音頻也是有價值的，因為視聽聯合本來就是事物的自然規律。但還有一些模態間的交叉則不是那么顯而易見，比如 3D 表示和代碼編寫。因此探索這些不同的領域邊界是非常有價值的，我們正在圍繞用戶對這些模型的實際應用需求積極進行相關探索。

主持人：有個出乎意料但又沒有得到充分解答的問題是，什么才是正確的中間表示？比如字幕描述，XAI 團隊用字幕描述，Omni 團隊也用字幕描述。我能理解字幕在圖像上的作用機制，也明白你可以將其延伸到視頻中并在時間軸上進行引導。但這種方式感覺非常低效，我覺得應該有更優的方案。也許是代碼？顯然很多視頻是通過代碼生成的，比如 FFmpeg、Matplotlib，還有 3Blue1Brown 用的那個 Manim，也許代碼才是最佳的表示方式。對此有什么假設嗎？是用代碼更好，還是僅僅用英語就足夠了？

Shane:在Gemini 團隊，我們在強化學習 AI Agent 和代碼編寫方面投入了大量精力。我們肯定在探索代碼表示，將其作為一種更好的表示方式。

主持人：但你認為我們最終直接輸出二進制文件，也就是全都是1 和 0 的概率有多大？

Shane:我覺得這跟語言是不是正確的表示方式的討論很相似。比如一位教授曾問過這樣一個問題，為什么思維鏈必須用自然語言？能不能只用連續Token，也就是任意數量的額外計算？一方面，自適應算力顯然能帶來更好的結果。但讓思維鏈真正發揮作用的原因在于，四年前我寫了《大型語言模型是零樣本推理器》和關于自我提升的論文，所以我很早就知道這一點。現在的有效方案是，預訓練可以遵循 Scaling law 進行大規模擴展，從而學習到海量的智能。雖然在強化學習的 Scaling 上也有很多進展，但提取這些信息仍然需要極其龐大的計算量。你肯定希望能充分利用預訓練模型中的智能。所以通過將推理過程與自然語言綁定，你實際上是在直接利用預訓練階段積累的智能來完成任務。如果你去掉了這種約束，你就失去了這個優勢。現在我感覺，不僅在文本領域，在多模態領域取得的許多進展，也是被文本是一種極佳的表示方式這一理念所驅動的。

Dimitris: 沒錯，文本是一個非常理想的底層基座。對我來說原因更簡單，文本是我們人類交流的方式。從根本上講，如果你在打造需要人類交互的產品，哪怕只是個文本界面，我們也會以某種方式使用文本。當然不是所有場景都用文本，所以默認使用文本是很自然的。顯然這也存在爭議，一些強化學習的原教旨主義者會認為，我們不在乎聊天機器人這種東西，那都只是額外的計算量。這沒問題，但我個人對此持保留意見。

主持人：強化學習至上主義者，我想知道誰符合這個描述。

Shane:David Silver。

主持人：原來如此，他們剛剛離職去開啟自己的事業了。我對更好的表示方法非常感興趣，因為我們今天在世界博覽會上策劃的主題之一就是世界模型。你提到了世界模型這個詞，但它的定義并不是特別明確。我認為大家都在向某種理想化的版本收斂。

Shane:當然，現在一切都被稱為世界模型。

Dimitris: 這其實沒太大用處。

Shane:我剛在ICLR 的世界模型研討會上做了一場主題演講。我非常推薦大家去看看 Jitendra Malik 的定義，他是加州大學伯克利分校元老級的計算機視覺教授，他對世界模型的闡述非常精彩。另外還可以參考 Schmidhuber 在 1990 年是如何定義世界模型的，當時主要還只是基于模型。對我而言，世界模型基本上就是基于模型的強化學習中的那個模型，我覺得這樣描述就足夠了。當然李飛飛也寫過一篇很好的博客文章，詳細拆解了視覺智能。

主持人：這部分對話我們就先聊到這里，但我確實認為，將語言作為傳遞所有信息的狹窄通道仍然是一種有損壓縮。

Shane:我們并不是那個意思。我們主要是說視頻模型需要和語言模型結合起來。單靠語言是不夠的，所以我們認為視頻是一個非常具有互補性的基礎模型。目前很多人覺得Veo 和 Omni 只是在生成漂亮的視頻，但我認為我們的愿景遠不止于此。它是一個絕對不可或缺且當前缺失的基礎模型。如果你想打造出能夠媲美人類的 AGI，而不僅僅是一個單純依靠算力堆砌出來的 AI，你就必須擁有它。

主持人：另一件事是你提到了視覺方面，我很好奇在你們的研究生涯中，這種發展軌跡在多大程度上是平行的。很多做視覺研究的人已經跨界成為了研究世界模型的人，也有很多人轉向了生成式視頻和圖像領域。這難道僅僅是把圖像到文本反向操作，變成文本到圖像這么簡單嗎？擴散過程實際上就是這樣嗎？我觀察到我交談過的研究人員的職業路徑以及研究方向的整體趨勢，想聽聽你們對此的看法。

Dimitris: 我肯定是經歷了這樣的轉變。我很早以前就開始做計算機視覺、目標檢測和識別等工作。那是一個相對簡單的問題，而生成任務則困難得多。這是一種完全不同類型的映射關系，逆映射并不像直接反轉函數那么簡單。從貓這個詞生成一張貓的圖像，存在著更多的歧義性。

主持人：在某種程度上這也是一個閉環，因為你的視覺工作創造了合成標簽，然后整個過程得以延續。

Dimitris: 確實如此。我正在嘗試驗證我關于這個領域如何發展以及職業生涯如何隨之演進的理論。

Nicole: 隨著我們在理解端變得更好，生成端也變得更強了。這完全是一個相輔相成、自我提升的過程。這個理論絕對有其道理。我確實和很多做圖像理解的人合作過，他們后來轉做圖像生成，然后其中一些人又轉向了視頻領域，因為那是下一個目標，有更多的維度可以探索。我很好奇你個人的經歷。

Shane:我強烈建議從理解和識別開始入手，因為那本質上就是判別器，這會引導出更好的生成效果，而兩者之間的橋梁基本上就是強化學習。我的經歷是，最初在生成模型領域做算法研究，做一些類似MNIST 的生成任務。隨后我轉向了強化學習和機器人技術。六年前我領導了一個關于機器人靈巧性操作的登月項目。當時還很早，但現在我看到大家都在做這個。四年前我意識到符號化 AGI 的發展速度將遠超物理 AGI，所以我決定投身于大語言模型等領域。最近在與 Dumi 及 Omni 團隊的合作中，我非常享受這個過程。

Shane:對于研究人員，我強烈建議去探索或至少去了解各個社區的頂尖學者在關注什么，以及他們是如何思考問題的。當我審視視頻模型時，它讓我想起了早期的語言模型。最初的語言模型只是一個創意演示，比如在GPT-2 和 LSTM 時代，你試圖用它像寫小說一樣創作故事。隨后指令微調真正讓它作為聊天機器人具備了可用性。但在聊天機器人階段，它仍然存在大量幻覺，指令遵循能力也不夠好，因此你無法用它進行推理。當它在預訓練和后訓練中的推理能力變得足夠好時，Test-time Scaling 和強化學習才真正推動了許多頂尖模型的爆發。

Shane:我認為現在的視頻模型正如我們提到的，是一個互補的基礎模型，我可以想象它會遵循類似的路徑。它在指令遵循方面會有很大的提升，也會大幅減少幻覺，最終達到成為一個非常可靠的世界模型的程度。這樣我們就可以將視頻時空模擬與文本模擬混合起來，以解決任意的AGI 問題。

Dimitris: 此外，我認為文本模型與圖像或視頻模型之間的區別仍然在于，我們尚未在多媒體領域真正統一理解與生成。不進入細節討論的話，這當然取決于你在哪個層面上思考這個問題，但總的來說，據我所知，目前并沒有多少前沿模型能夠同時擅長視頻的理解和生成。這是一個有趣的挑戰。我并不是說我們必須要這么做，但理解和生成顯然是一體兩面的。所以它們理應在某些層面存在于同一個模型中，盡管我們目前并不總是這樣做。

主持人：你也提到了音頻。

Dimitris: 沒錯。

主持人：它和視頻一樣難嗎，還是在本質上有所不同？如果是這樣，表現在哪些方面？三年前一個有趣的方向是人們使用擴散模型來處理音頻，比如Riffusion 方法，不知道你們有沒有關注過。我覺得非常有趣的是，像音頻這種我們感知的模態，盡管在感知上與視頻截然不同，但實際上對機器而言完全一樣，它們看不出任何區別。

Dimitris: 我認為在技術層面上確實存在一些差異，但相對較小。從我的角度來看，音頻真正進入我的視野是在我們發布Veo 3 的時候。我相信這是第一個實現音視頻聯合生成的模型。

主持人：就是演示切金條的那個。

Dimitris: 切金條之類的演示。那是第一個實現音視頻聯合生成的模型。也有其他模型在底層通過AI Agent 的拼湊修補來實現聯合，但這個模型真正做到了同時生成所有內容。我們之所以這樣做并且認為這是一個正確的選擇，是因為從機器學習的角度來看，存在一個統一的潛在因果生成過程。有某種內在機制生成了你說話的過程，并不是說先生成像素，然后音頻再由某個其他過程產生。嘴唇的動作必須與音頻同步。

Dimitris: 這解決了以前模型中存在的很多問題，或者說解決了人們以前生成視頻的方式中存在的問題。以前的做法是先生成像素，然后在上面修補一些東西，讓嘴唇跟隨生成的音頻移動，效果非常差。在Veo 3 之后，人們的反應是，你的模型里怎么可能沒有音頻，這根本說不通，既然有了視頻就必須有音頻。將它們置于一個單一的生成模型中是絕對正確的選擇。

Shane:還有一件事我想聽聽你們的看法，我發現音頻與圖像和視頻的一個區別在于，音頻信息很難被語言化。TTS 之類的技術已經很成熟了，但除此之外，比如你如何用語言描述音樂，如何描述一個人的語調和音高？我覺得用語言表達是遠遠不夠的。有趣的是，在另外兩件事上你也看到了同樣的現象，那就是味覺和嗅覺。另一個有趣的現象是膚色，用來描述膚色的語言其實非常有限。原因在于我們對膚色的微小差異極其敏感，因為這實質上向我們傳遞了一種生存信息，即這個人會傷害我還是可以成為朋友。

Shane:我覺得嗅覺、味覺、膚色和聲音都與原始的生存本能緊密相連，以至于我們的感官系統極為敏感，難以用語言精準描述。我問過一位專業的品酒師，他說他會用約會時描述伴侶的語言來描述味道，因為沒有足夠的詞匯來形容。我很好奇你們是否有同感。

Nicole: 在某種程度上視覺信息也是如此。當你考慮某種特定的風格或美學時，有些人確實擁有更發達的視覺品味或美學鑒賞力。當你試圖描述任何我們通過感官信息體驗到的事物時，語言往往會成為一個限制因素。呼應你剛才的觀點，這正是我們投資世界模型、大力推進感知和生成端研究的原因，因為這構成了我們人類感知和探索世界的重要方式。這也是具身AI 探索世界的重要方式。語言已經讓我們走得很遠，也可能讓我們走得更遠，但在許多這些領域中它讓人感覺受到了限制。我確實不知道該如何描述氣味和味道。Dumi 你有什么想法。

Dimitris: 我覺得我還沒有對此進行過非常深入的思考，所以關于音頻我沒有一個很好的答案。我在想Omni 在音頻方面有哪些不足，但我發現這些都是可以通過更多或更好的數據來解決的問題。我不確定我們是否已經把前沿推進到了觸及人類進化極限的程度。

主持人：他感受到了標注的局限性，這也正是我想要表達的。

Shane:確實如此。

主持人：世界上有大量的信息，這基本上解釋了我們為什么要做世界建模。你剛才提到，你只需要輸入sref 76 這樣的參考參數，然后這就成了你的輸出。

Nicole: 我猜也許我無法用語言描述這種感覺，但這正是提供這些參考參數的意義所在。即使只是描述一個人說話的方式、他們的語調和韻律等，有些術語甚至連我以前都不知道是什么意思。

Dimitris: 比如韻律，還有語流頓挫。

Nicole: 沒錯。有一整套詞匯，如果你不深入某個領域，你甚至不知道它是什么意思，大多數人類領域都是如此。有時這也是個問題，如果我們沒有在使用大語言模型時關注這些方面，它們在這些領域可能也會存在盲區。然后我們在生成端就會感受到這種缺失，因為我們從根本上依賴語言模型對世界的理解來進行后續表示。這一切又回到了關于語言作為媒介的問題上。但正如Dumi 所說，其中一些可能只是我們的重點不在那里，我們還沒有盡最大努力去推進。當我們這樣做時，我們就會發現真正的上限在哪里。

主持人：作為一名播客，我經常思考聲音的問題。我會提出幾點供大家討論，看看是否能給你們帶來一些啟發。我將原始音頻大致分為三個領域，分別是音樂、人聲和音效，這幾乎涵蓋了所有內容。我們即使只關注人聲而忽略其他兩個領域，比如房間的聲音，大房間和小房間的混響，面對面交談、在車里或者通過電話交談的區別。所有這些都是可以被標注的，但我們的體驗卻截然不同。我經常覺得AI 視頻的一個破綻就是它具有工作室級別的音質，因為它是在錄音室里錄制的，這受限于你們的訓練數據。最有趣的一點其實是，當我試圖說服那些對世界模型的必要性持懷疑態度的人時，我會說即使是音頻你也需要世界模型。比如我現在離你遠了一點，所以我的聲音應該聽起來更輕柔或更分散。視頻模型需要捕捉到這一點，因為如果它們想要提供沉浸式的音視頻體驗就必須做到這一點。

Shane:我非常喜歡這個關于是否是工作室音質的例子。在某種程度上，我們沒有足夠的語言來真正描述這種混響或環境噪音。我們的描述還不夠精準。我認為擁有信息相對豐富的標注非常重要的原因在于，我們依賴自然語言作為一種表示。但如果你沒有足夠的表示能力，那就意味著在給定語言條件的情況下，生成過程具有極強的多模態屬性。如果我們能從非常早期的變分自編碼器研究中學到什么的話，那個核心理念就是我們希望在潛在表示中捕捉大部分的隨機性，然后給定Z 生成 X 的過程應該是確定性的。

主持人：我希望在這個領域能取得更多進展，我相信你們正在努力。

Nicole: 甚至面部表情也是如此。這呼應了你剛才關于我們對某些事物極其敏感的觀點。我認為你也可以從人們的面部表情中輕易識別出大量的AI 內容。

主持人：確實。

Nicole: 我們盡量不去制造這種情況，但皮膚紋理等這些能讓現實生活中的事物看起來真實的細節依然是挑戰。我可以通過你點頭的方式或者微表情的變化，來判斷你對我所說的話的反應。我認為我們還沒有完全跨越那道鴻溝，盡管我們已經比一年前好太多了。

主持人：毫無疑問。

Nicole: 但是在很多我們作為人類極其敏感的細節上，還有非常大的提升空間。不過我認為圖像領域可能已經做到了，因為有很多圖像看起來真的與現實毫無區別，我根本無法分辨它們是否是AI 生成的。

Dimitris: 它們甚至比現實更完美。

Nicole: 那是另一個層面的問題了。

Dimitris: 不，我是說比我在度假時拍的照片還要好。我們團隊之前做過一個有趣的實驗，試圖驗證我們能否生成比真實視頻更好的視頻。你只需提取真實視頻的字幕。

Nicole: 對，只需描述它。

Dimitris: 嘗試描述一段真實的視頻，然后用Omni 生成同等版本的視頻，接著進行人工評估。結果發現人類在很大程度上更偏愛 AI 生成的視頻，而且優勢非常明顯。

主持人：因為這是強化學習的過程。這是強化學習過程在起作用。

Dimitris: 這完全取決于你如何去合理化它。它未必是強化學習過程的功勞。我并不是說這是一個好結果，我只是說我們在優化方式上可能觸發了人類大腦中的某種機制，讓人覺得很多視頻看起來就是更好。如果深入考究，它們實際上并不一定更有用，但如果你只是把一段隨機的優兔視頻和它生成的版本并排對比，它看起來就是更好，因為它更清晰，或者擁有更高的HDR。膚色也更好。再說一次，它不是更真實，也不一定能解決你的問題，但它看起來就是更好。

Shane:我覺得這也取決于人們的敏感度。我在日本出生長大，我了解的一點是，他們對建筑和食物等極其敏感。我和那里的一位漫畫家交流過，他對圖像生成AI 感到非常反感。他提到的一點就是視線。僅僅是視線上的微小差異，就讓他覺得令人毛骨悚然、極不自然。

主持人：比如說，如果你覺得畫面看起來有一點點不對勁。

Shane:就像是看起來太假了，所以我認為這確實取決于敏銳度。

Dimitris: 我想表達的是，在決定優化目標時，人類的偏好并不是一個特別可靠的風向標。如果你只是去問大家是否喜歡這個，你得到的結果未必是你真正想要的。

Shane:讓我補充一點，四年前有一場關于提示工程是否會消失的爭論，一些業內大佬說它會消失，但我當時的觀點是它不該消失。因為當你對AI 有控制權時，進行提示工程，也就是下達具體指令，是你控制輸出的唯一方式。而讓你能夠進行提示工程的，恰恰是那種敏銳度。誠然，也許現在 AI 可以做大量的自動提示，也能生成還算過得去的內容，但永遠不要滿足于 AI 自動生成的內容，要不斷微調你的敏銳度，并始終通過提示去探索差異。

Nicole: 就這一點而言，我認為未經訓練的普通人眼光與專業人士之間存在著巨大的鴻溝。我把自己也歸為普通人，雖然我有一些審美感知，而且做這行久了也有自己的偏好。你剛才舉了漫畫家的例子，那是經過幾十年技藝打磨的人。無論是做設計還是建筑，任何從事這些行業的人都具備截然不同的專業水準，能察覺到普通人看不到的細節。但Dimitris 說得對，如果你在大街上隨便找十個人做調查，他們大概率會更喜歡那種過度平滑、色彩非常飽和的風格。

主持人：這就是所謂的照片墻濾鏡。

Nicole: 沒錯，就是這樣。所以這也帶來了一個問題，如果你不給出具體提示，默認的審美風格應該是什么樣。但回到Shane 剛才的觀點，我們一直努力提升這些模型的一項能力就是指令遵循，這樣，當你希望模型生成不同的效果時，你能夠做到，無論是通過語言還是參考圖，因為有時候語言的局限性太大了。這些模型在這方面確實在不斷進步，但還有很長的路要走。

主持人：作為一名產品總監，你會因為要為全世界設定默認風格而感到壓力嗎，我的意思是，會有這種感覺嗎？

Nicole: 也許我應該有這種壓力，我不知道，我還沒想過這個問題。

主持人：你懂的，總得有人來設定一個默認值，默認值必須存在。

Dimitris: 實際上，我們確實考慮過這個問題。舉個例子，如果大家看看納米香蕉生成的內容，當納米香蕉專業版發布時，曾出現過納米香蕉信息圖表的大爆發。

主持人：我試過，確實如此。

Dimitris: 許多神經信息處理系統大會的論文里到處都是，很多論文都用了它生成的信息圖表。

主持人：你們能用你們的水印技術跑一下，看看有多少是用它生成的嗎？

Dimitris: 我們應該能做到，雖然還沒這么干過。但我看到，也許這也是我算法的偏差，但它們真的是無處不在。這其實讓人挺頭疼的，因為我覺得我們默認的審美風格有點太雜亂了。我覺得模型就像個用力過猛的學生，它剛學到點東西，就會覺得，我知道關于這個概念的所有信息，讓我把它們全塞進同一張圖里吧。

Shane:在東亞特定地區的信息圖表設計中，那種高密度風格的信息密度是這個的五倍。

Dimitris: 或者也許是其他原因。

主持人：等等，等等。你的意思是，同樣的提示，同樣的內容，如果是特定東亞語言的版本，信息密度會更高？這確實很有意思，因為那是當地的風格。

Shane:有些風格非常公文格式，甚至有一個專門的詞來形容它。

Dimitris: 不過在開發全能版模型時，我們確實一起經歷了整個過程，在最后階段，我們做了一堆測試，比如我們做了一些調整，那么我們更偏好哪種風格，是更柔和一點，還是飽和度更高一點。

Nicole: 我們當時對飽和度進行了大量的討論。

Dimitris: 當時討論了很多，我覺得Nicole 只是留下了心理陰影，所以選擇性遺忘了。但她全程參與了這個過程，就是決定我們到底更偏好哪種調色板。這并不是你需要做出妥協的地方，正是因為最終做決定的是我們自己。說實話，最終拍板的就是模型團隊。大家可以合理地提出質疑，我們真的是做這件事的最佳人選嗎，還是說我們應該和一個具有真正創意視角、更像藝術總監的人合作，我們在這個問題上確實反復討論過。

主持人：我們有受信任的測試人員。

Nicole: 我們確實有提供大量反饋的受信任測試人員，而且我們非常重視這些反饋。

主持人：順便說一句，他們組織得非常好，有定期的周會之類的，非常棒。

Nicole: 洛根的團隊做了很多這方面的工作，所以要向今天沒能到場的洛根致敬。我們在谷歌內部也有很多人，比如Foefer，每次我們發布新的模型權重檢查點時，他們都會給我們提供海量的反饋。有時他們會發現我們沒注意到的問題，我們可能覺得這個優化看起來還行，然后他們就會跑回來說，你們干了什么，你們把我的草地全毀了，現在的細節全糊了。

Dimitris: Mickey 最近剛好注意到，這在現在也不是什么超級機密了，我們的模型總是傾向于在手上畫婚戒。這確實非常奇怪，我以前從來沒注意過。但他看到了，而且有一個專門的反饋頻道供他發布這些，他就問為什么每只手上都有婚戒。當時我的反應是這太奇怪了，聽起來非常像典型的獎勵機制破解，但你知道，這往往是我們在開發過程中未必能注意到的問題。

主持人：這是強化學習的假象還是其他原因。

Shane:我不知道，畢竟偏好空間非常大，然后模型可能就偏向了那一點。虛假相關性、獎勵機制破解，它可能以很多詭異的方式發生。

Dimitris: 確實如此。

主持人：這又引出了另一個話題，就像我說的，我盡量用主舞臺的機會做些介紹或銜接。我們有專門的評估環節，我們請到了字節跳動旗下的Character AI 和優酷的海外母公司平臺 YouTube 來分享他們是如何評估視頻的。你們是如何評估視頻的，除了依靠 Foefer 之外。畢竟不是所有人都有一個 Foefer，而且，我覺得需要有一些更定量的方法。

Shane:我的意思是，你通過改進雙子座模型來提升視頻的評估能力。

Nicole: 這絕對是一種方法，其實這非常難。讓自動評分器去評估視頻里的東西非常困難，特別是涉及審美之類的層面。有些東西會稍微客觀一點，特別是當我們討論圖像以及評估信息圖表的文本渲染時，那其實還好。因為你可以用光學字符識別把文字提取出來，然后你可以判斷這個字母錯了。如果渲染文本里錯了一個字母，整個圖就完全沒用了。所以根據我們的發現，這類東西更容易用自動評分器評估。但我們很大程度上仍然依賴人工審查，所以我們做了大量的人工評估。

Dimitris: 極其大量的人工評估。

Nicole: 每次Shane 就會提出新的想法，每次我們有了新模型，我們想做更多事情，想加入更多能力，然后我們就不得不運行更多的評估。到最后，如果有兩個模型表現得非常接近，我們就得把它們生成的輸出并排放在一起看，借此來做決定。有時候我們十個人坐在一個會議室里，就盯著并排播放的視頻看，然后討論你更喜歡這個，還是更喜歡那個。

主持人：確實令人驚嘆。

Shane:實際上，當你加入的能力越多，評估就真的越復雜。即便是單個能力，比如視頻編輯，它幾乎是一種具備AGI 完備性的能力，想想視頻編輯以及帶音頻的編輯。

主持人：剪輯師聽到這個肯定會很高興。

Shane:我的意思是，這是生成式媒體中最難的問題。

Dimitris: 我不知道它是不是最難的，但絕對名列前茅。就評估的復雜性而言，自由形式的視頻編輯是你可以做任何事。我在這上面花了很多錢，真的很難，請幫幫我。比如添加某些元素，我們并沒有一個叫作“添加一只樹懶”的評估項。

Nicole: 我們現在應該加上了。

Dimitris: 我們現在確實應該加，但類似這樣的事情，評估起來并不容易。

主持人：我只是對你們使用的樣本量感到驚訝。為了測試你們模型的整個功能覆蓋面，你們仍然依賴于數百個數量級的人工測試。

Nicole: 并不是這樣，我們做的工作遠不止這些。

Dimitris: 對的。

Nicole: 我們對數千個項目進行大量的人工評估。我覺得這里還有一個因素，我們可以討論像線上實驗這樣的東西，在這個更大規模的層面上，你能捕捉到那些更微小差異的信號。然后是自動評分器，這絕對是一個方向。我覺得它在大語言模型領域是一個非常明確的方向，但在媒體模型領域還處于非常早期的起步階段。而且，有時你仍然需要依賴人工判斷。我們確實非常依賴那些有著極高審美素養的人，以及那些在日常工作流中頻繁使用這些模型的人提供的反饋。因為一個模型可能在某些人工評估切片中表現極佳，但卻會嚴重破壞某個人的實際工作流。這就是為什么我們要開展搶先體驗項目并試圖獲取反饋，盡量在更廣泛地發布之前將其融入進模型里。感覺Shane 剛才談到這個的時候，從他的表情看他有個犀利的觀點。

Shane:每一類人類的工作都應該逐步通過自動化分攤成本。有趣的是，視頻理解，尤其是針對AI 生成視頻的檢測，是一項極其有趣的視覺任務。其中一部分是審美或視覺質量，但在某些情況下，它在語義上是不合邏輯的。比如，你拿電影里的一個經典場景試圖去重建它。模型能生成出一些畫面，但在某一點上一些語義信息是不合理的，它實際上是前后不一致的。那么 AI 能檢測出這一點嗎？所以當我評估 AI 視頻時，我當時就覺得，我覺得自己好聰明，AI 還是落后的。但我們應該投入大量精力。我認為，超越純粹的審美或偏好，視頻理解是一項極其重要的智能任務。我們應該始終努力去自動化替代人工標注。

主持人：你們需要什么數據？和我聊過的很多人實際上都很想見見你們，他們是帶著善意來的。他們有大量的視頻數據，他們有游戲數據，他們有真實世界的視頻數據，他們有圖像，他們有標注員。你們想要什么？

Dimitris: 你這是在提供贊助嗎？

主持人：我感覺這就相當于你們在應對各種請求，我們完全理解。我相信你們肯定會收到很多推介，也會有很多人想和你們交流。我認為真正的問題在于如何從海量噪音中篩選出有價值的信號。因此建立一個清晰的對接標準非常關鍵，比如明確告訴大家如果你能提供A、B 和 C，我們就會感興趣。

Dimitris: 這個問題話里有話。我不確定是否有一個簡單的答案。我認為我們確實已經擁有了大量數據。但在公開場合談論這個有些敏感。

主持人：我不想給你惹麻煩。

Dimitris: 但我想說的是，很難在不透露我們項目進展和未來方向的情況下去討論這件事。總的來說我們確實需要高質量數據，這也不是什么秘密，我們大可以直截了當地說。

主持人：具身智能數據嗎？

Dimitris: 當然。我們已經公開宣布過在機器人領域有一些合作。因為我們在谷歌DeepMind 有一個機器人團隊，他們一直對這類數據非常感興趣。具體到 Omni 模型而言，我們對高質量數據非常渴望。這類數據不一定是隨機的 YouTube 視頻，而應該是一些更專業的拍攝素材。這些都是我們一直在積極尋找的資源。

Nicole: 我覺得探討一些AI Agent 相關的工作可能會更容易回答這個問題，也就是人們試圖完成的實際任務。無論是由我們自己還是供應商來做，這類數據實際上都很難憑空制造。比如你在策劃一場營銷活動，實際的過程究竟是怎樣的？你是從拿到新產品的照片開始，想把它做成視頻廣告，接著再把它轉化成一系列能夠適配不同平臺推廣格式的素材嗎？從上一步到下一步，你在這個過程中經歷的任務軌跡到底是什么？這些數據非常有用但獲取難度極大。因為我們并不總是有合適的第一方平臺界面讓用戶真正去執行這些操作。即使與外部供應商合作，他們可能同樣沒有這樣的產品觸點。大量此類信息其實都散落在人們日常執行任務的真實場景中。如果有人找到了獲取這些數據的解決辦法，請務必聯系我們。

Shane:包括每一個思維鏈，每一個思維鏈都至關重要。

主持人：也許還有中國實驗室正在使用的數據。

Shane:沒錯。

主持人：作為一個媒體人，我知道有許多播客創作者和營銷部門的從業者都非常樂意成為你們的數據源。你們甚至可以在我頭上戴個腦機接口，直接和我們交流并觀察我的工作流程。因為大家總是有做不完的工作，而這些工作在某種程度上需要轉變成一種標品。顯然對于真正高質量的內容，你可以像工匠一樣精雕細琢，甚至對標好萊塢的標準，但實際上現實中大量的工作都屬于流水線化的標品，完全可以通過AI 模型來模擬，我們也希望你們能夠去實現這一點。

Nicole: 正如Dimitris 所指出的，我們也非常渴望獲得高質量的數據，我們確實極其看重數據質量。

主持人：你們既想要高質量也想要標品化，兩方面都想兼顧。

Shane:感謝你的主動推介。

主持人：我還特意安排了一個數據質量的專場。我認為大家都想了解在AI 領域如何進一步提高標準。這在很大程度上需要教育市場、教育研究人員、工程師以及創始人，明確告訴他們這就是我們未來的發展方向。現有的大量數據其實都是垃圾數據，大家不要再制造那些低質內容了，而應該把精力放在真正有價值的地方。我覺得業界是會聽取這些建議的。

Nicole: 但就這一點而言，這其中其實蘊含著很多難以標準化的手藝和繁瑣的流程。即使是剛才提到的營銷活動的例子，你也不可能在五分鐘內就輕松搞定。你需要經歷一個完整的設計過程，不斷進行迭代，最終選擇這個方案而不是另一個方案，可能僅僅是因為某些特定原因讓你更偏愛它。比如海報上人物的眼神注視方向剛好對了。我們其實并不清楚這些微妙的細節，因為我們都不是營銷總監，而AI 同樣也不懂這些人類的隱性偏好。

Shane:甚至對于自然語言，我也是同樣的觀點。我常說99% 的信息都存在于人的大腦中。你只能通過積極的對話并與他們建立深厚的聯系才能提取出這些信息。因此互聯網上的絕大多數內容，其實都僅僅是這些人類內在思考的最終輸出結果。

主持人：完全同意。

Shane:但這背后的思考軌跡到底是什么，這個人是怎么產生寫這篇論文的靈感的，起點在哪里，靈感源于何處，又是哪些對話激發了這一切，這些過程都深藏在人們的內心深處。所以即便是語言領域也是如此，我認為創意領域也是完全相通的。這其中存在大量難以言傳的隱性知識。

Nicole: 這就像寫小說一樣。一部小說之所以能打動你，通常是因為你在故事架構、情節走向或者角色身上感受到了一種強烈的個人共鳴。如果你去讀今天大語言模型生成的絕大多數內容，就會發現它們往往會陷入一些默認的行文模式，語言開始讓人感覺千篇一律，所有的場景描寫聽起來都極其相似。讀者會很快意識到這沒什么意思，因為根本無法與之產生情感共鳴。這再次證明了人類專業知識的獨特價值。

Shane:最近一個很好的趨勢是，谷歌云和谷歌DeepMind 開始在前沿部署工程師崗位上投入大量資源。我也看到了一些針對創意和生成式媒體領域的招聘動作。我認為這些都是非常務實的努力，因為我們已經意識到僅僅依靠公開數據能做的事情存在上限，但通過與實際應用場景的合作模式，我們可以提供更好的模型和產品，并獲取真實世界的業務反饋。

主持人：我們在這里也首次設立了前沿部署工程師的專場討論。現在幾乎每個AI 實驗室都在宣布相關的計劃，這進展真的很瘋狂。我非常熱衷推動的一件事，之前在認知公司時我也曾大力倡導過，那就是不應僅僅把前沿部署工程師視為銷售和解決方案提供者，而是要讓他們也深度參與到模型評估工作中，成為專業的評估員。

Shane:前沿部署工程師絕不僅僅是銷售，他們的職責范疇要比銷售寬廣得多。

主持人：那你怎么定義前沿部署工程師呢，因為我確實會不由自主地把他們和銷售聯系起來，比如你為客戶定制的解決方案越多，就越像銷售行為。

Shane:我將后訓練定義為從預訓練階段到最終用戶體驗之間的所有環節，這中間的一切流程都屬于后訓練。對我而言，前沿部署工程師這個概念最初起源于帕蘭提爾等公司，所以行業的歷史背景可能有所不同。但核心不僅在于與客戶合作并確保他們知道如何有效使用模型，更重要的是從中提煉出能讓研發和客戶雙方都受益的深刻洞見。客戶可以在使用模型的過程中建立大量的Harness工程，而我們則可以借此在非常上游的研發環節進行針對性改進。因此，如何將客戶的真實反饋有效地反哺到模型的開發過程中，這正是我想賦予前沿部署工程師的核心角色。

Nicole: 補充一點，如果業界同仁想和我們團隊甚至直接和我交流，在不占用大家太多時間的前提下，我們其實非常樂意，因為與正在使用我們AI 模型的人溝通并了解他們遇到的實際痛點，對我們來說具有巨大的幫助。畢竟這也是大家試圖用模型解決的真實世界任務。比如我會和一些使用我們圖像模型做室內設計的設計師交流，他們會反饋說自己真的很想采用某個特定圖案，但需要把它等比例縮放應用到十種不同尺寸的地毯上，而且有時候地毯尺寸非常特殊，此時模型在復制圖案時就完全失敗了。或者他們會遇到虛擬試戴耳環的場景，耳環有特定的比例，用戶的頭部也有特定的比例大小。如果真的要做虛擬試戴，這些物理比例關系必須非常合理，而模型恰恰在處理這些真實世界里發生的諸多細節上屢屢翻車。所以這些來自一線的反饋對我們極具價值，因為我們研發團隊本身并不在業務一線使用模型做這些具體任務，也就很難察覺到這些應用盲區。

Shane:結合你剛才提到的營銷活動的例子，企業往往有品牌語言這樣的視覺規范概念。可能就是一堆圖像或者設計文檔在傳達某些理念，但這給模型處理帶來了相當模棱兩可的問題。到底什么是宜家的品牌語言，難道僅僅是藍色和黃色的簡單組合嗎，那顯然不足以構成一個品牌的全部。

Nicole: 更細致來說，具體是哪一種色調的藍色呢。

Shane:各大品牌的要求都非常具體，他們確實極其在乎具體的顏色色調。它絕不能只是隨機的藍色配上隨機的黃色，那樣拼湊出來的就不會是宜家了。我這只是舉個例子。但這正是我們在實際應用中面臨的問題，解決這些品牌特定的微觀需求不一定屬于我們開發前沿模型的核心職責，但我們確實希望從根本上打造出人們能用來解決具體業務任務的實用產品，而不僅僅是停留在實驗室里的研究產物。所以深刻理解用戶在真實場景中真正關心什么是非常有必要的。

主持人：我相信很多人都非常感謝你們在AI 領域所做的開創性工作，當然未來也還有很長的路要走。哪怕只是在過去幾年里，你們在 Nano Banana、Veo 和 Omni 模型上就已經取得了如此巨大的進展，我不知道你們還在醞釀哪些顛覆性的大招，但我們真的非常期待。之前當 Sora 沉寂的時候我是非常失望的，我認為除了讓 AI 寫代碼之外，我們需要對生成式模型在多模態領域進行更廣泛的探索，我覺得那是至關重要的方向。

Nicole: 我們顯然也非常看好這個探索方向。

主持人：雖然我們都熱愛寫代碼，但生成式AI 的潛力遠不止于此。非常感謝你們抽出時間參與交流，這次對話非常愉快，我已經迫不及待想看到你們團隊接下來的最新進展了。

Nicole: 感謝你的邀請，今天的探討非常深入。

Dimitris: 謝謝大家。

| 文章來源：數字開物

? END ?

【專欄】精品再讀