谷歌AI的14年、Gemini翻身之戰(zhàn)，與視覺(jué)理解模型：專訪DeepMind前核心科學(xué)家Andrew Dai｜Neolabs特輯

他的論文，啟發(fā)了OpenAI GPT的誕生。

在谷歌研究AI 14年，Andrew Dai推動(dòng)數(shù)項(xiàng)重要論文、輾轉(zhuǎn)數(shù)個(gè)產(chǎn)品，最后成為帶領(lǐng)Gemini打下翻身之戰(zhàn)的核心人物之一。

Andrew長(zhǎng)期處在谷歌AI研發(fā)的中樞：從早期sequence learning（序列學(xué)習(xí)）、文本生成、對(duì)抗訓(xùn)練，到 PaLM、FLAN、Gemini、多模態(tài)和長(zhǎng)上下文等等。與他合作論文的，都是谷歌的眾多傳奇大佬人物，包括Quoc Le、Ian Goodfellow、Liam Fedus、Jeff Dean等人。Andrew的職業(yè)軌跡可以說(shuō)就是一部谷歌AI大模型的編年史。

然而在將Gemini 3順利上線之后，Andrew Dai決定離開(kāi)待了近14年的谷歌。原因是他看到了一條大公司“不敢走”、或者是“走得太慢”的路——不是純語(yǔ)言模型，也不是世界模型，而是語(yǔ)言與視覺(jué)推理的結(jié)合。

今年4月，Andrew創(chuàng)立的Elorian AI宣布融資5500萬(wàn)美元，估值3億美元，正式從保密階段走向公眾視野。投資方包括Menlo Ventures，Altimeter Capital等主流硅谷基金，還包括英偉達(dá)和以個(gè)人身份參與的Jeff Dean。

2026年的Google I/O正在召開(kāi)，我們此次與Andrew一起回顧了谷歌過(guò)去14年的AI發(fā)展史：如何錯(cuò)過(guò)，如何落后，如何追趕，又如何重回巔峰的。這背后究竟有一些什么樣的故事？Andrew Dai現(xiàn)在要做的多模態(tài)視覺(jué)推理模型又是什么？

硅谷沒(méi)有秘密，但有一群信仰不一樣未來(lái)的科學(xué)家們。在巨頭們押注SOTA LLM之際，眾多科技領(lǐng)軍人物都開(kāi)始紛紛創(chuàng)建自己的AI前沿新實(shí)驗(yàn)室（Neolabs），他們不拼算力和參數(shù)，而是希望找到一條真正達(dá)到智能的路徑。此次，硅谷101也開(kāi)啟了Neolabs特輯，想和這群科學(xué)家們深度聊聊，他們眼中的AGI之路。今天這期，是此次特輯的第一期視頻播客。

（本文為視頻改寫，歡迎大家收看以下視頻）

01

從倫敦到硅谷

一位谷歌AI核心科學(xué)家的14年

陳茜：非常感謝Andrew，歡迎你來(lái)做客硅谷101。我覺(jué)得你們的新辦公室這邊采光很好，這個(gè)房間你們以后準(zhǔn)備用來(lái)做什么？

Andrew Dai：這個(gè)房間以后會(huì)讓研究員和工程師坐在這里。我們租辦公室至少要租兩年，所以已經(jīng)預(yù)估好兩年后會(huì)有多少人了。

陳茜：兩年后你會(huì)有多少人？

Andrew Dai：可能是50到70人。

陳茜：現(xiàn)在多少人？

Andrew Dai：現(xiàn)在是14個(gè)人，還有兩個(gè)人在辦簽證，很快就16個(gè)人了。

陳茜：我在來(lái)之前聽(tīng)了你的一個(gè)英文播客，發(fā)現(xiàn)你有一點(diǎn)British accent（英式口音），是因?yàn)槟阒霸谟?guó)念書嗎？

Andrew Dai：對(duì)，我在中國(guó)出生，但五歲就去了英國(guó)，因?yàn)槲腋赣H去英國(guó)讀博士，帶著我一起過(guò)去。本科我在劍橋讀，然后去愛(ài)丁堡讀博士。

陳茜：你的中文其實(shí)還是講得挺好的。

Andrew Dai：我的家人一直督促我練中文，我也認(rèn)識(shí)一些來(lái)自中國(guó)的朋友，所以一直在堅(jiān)持學(xué)。

陳茜：你是什么時(shí)候來(lái)到硅谷的？

Andrew Dai：14年前，就是2012年，為了在谷歌工作。

陳茜：當(dāng)時(shí)為什么想來(lái)谷歌？

Andrew Dai：我讀博士研究的是人工智能，從中學(xué)起就一直想做AI。那時(shí)候Google Brain（谷歌大腦）團(tuán)隊(duì)比較有名，所以我就想加入谷歌大腦。而DeepMind那時(shí)候還是一家很小的初創(chuàng)公司，我甚至不知道有DeepMind這家公司，所以就直接想來(lái)人工智能的中心，就是硅谷。

陳茜：如果你留在倫敦的話，是不是也有可能加入DeepMind，然后最后也來(lái)到谷歌？

Andrew Dai：很可能。后來(lái)我才知道，我們實(shí)驗(yàn)室的很多同學(xué)都去了DeepMind，就我一個(gè)人來(lái)到了Google Brain。當(dāng)然來(lái)這里還有另一個(gè)原因，因?yàn)楣韫群苋菀讋?chuàng)業(yè)，很多新公司都從這里誕生。所以我當(dāng)初打算來(lái)這里待幾年，然后就創(chuàng)業(yè)。

陳茜：沒(méi)想到一待就是14年。

Andrew Dai：對(duì)，沒(méi)想到待那么久。

陳茜：我們來(lái)講講你進(jìn)入谷歌后的工作。你的第一份工作是去到了Google Now，那個(gè)團(tuán)隊(duì)是當(dāng)時(shí)Larry Page希望Android和Search團(tuán)隊(duì)搭建一個(gè)能結(jié)合用戶數(shù)據(jù)，來(lái)主動(dòng)給用戶推送提醒信息的功能。那時(shí)候背后已經(jīng)有一定的AI研究，你在Google Now里在做什么？

Andrew Dai：那個(gè)經(jīng)歷比較有意思。他們招我去Google Now是為了做AI，但我到了團(tuán)隊(duì)才發(fā)現(xiàn)，工程上有很多基礎(chǔ)設(shè)施的工作要做，比如有新聞出來(lái)，他們想個(gè)性化地推送給用戶，我就編寫了一套系統(tǒng)，能在15分鐘內(nèi)把新聞推送到所有人的手機(jī)上。有一次我們發(fā)現(xiàn)推送新聞很慢，要100毫秒，大家在想為什么這么慢？我發(fā)現(xiàn)數(shù)據(jù)在東海岸，而我要把數(shù)據(jù)送到西海岸，按照光速就需要這么多時(shí)間，沒(méi)有辦法更快，我從中學(xué)到了很多end-to-end（端到端）的東西。后來(lái)快離開(kāi)的時(shí)候，我也開(kāi)始做更多AI、更多個(gè)性化的工作。再之后就去Google Brain了。

02

兩次收購(gòu)、兩種哲學(xué)

Hinton與DeepMind如何改變谷歌

陳茜：谷歌在2013、2014年有幾個(gè)重要節(jié)點(diǎn)。第一個(gè)是2013年收購(gòu)了Geoffrey Hinton的公司DNNresearch，Hinton之后加入谷歌工作。你覺(jué)得Hinton來(lái)到谷歌之后產(chǎn)生了什么樣的影響？

Andrew Dai：Hinton來(lái)了之后，谷歌就更加重視AI。那幾年我記得CEO也說(shuō)了，Google是一家AI公司。Larry Page和Sergey Brin當(dāng)初創(chuàng)造算法，目標(biāo)本就是讓機(jī)器運(yùn)用AI幫助人們理解網(wǎng)絡(luò)上的內(nèi)容，所以他們一直非常重視AI。但2012年之后開(kāi)始了Deep Learning（深度學(xué)習(xí)）新階段，谷歌覺(jué)得如果不投這個(gè)方向就會(huì)落后，所以收購(gòu)了Geoffrey Hinton的公司。從那以后，深度學(xué)習(xí)對(duì)谷歌就非常重要，它們的模型也越來(lái)越多地轉(zhuǎn)向Neural Network（神經(jīng)網(wǎng)絡(luò)）。

陳茜：2014年谷歌又收購(gòu)了DeepMind，你覺(jué)得DeepMind團(tuán)隊(duì)的加入，包括Demis Hassabis的加入，在多大程度上改變了谷歌？

Andrew Dai：DeepMind和DNNresearch的收購(gòu)方式很不一樣。DeepMind在收購(gòu)時(shí)簽了一份協(xié)議，要求保持獨(dú)立、團(tuán)隊(duì)可以繼續(xù)留在倫敦，不用來(lái)美國(guó)，附帶很多這樣的條件，所以基本上是一個(gè)獨(dú)立的研究實(shí)驗(yàn)室。這跟Google Brain的定位不同，Google Brain的目標(biāo)是做研究，然后和產(chǎn)品合作、將模型推向產(chǎn)品，DeepMind更像是你想做什么就做什么，只要你覺(jué)得重要，像AlphaGo這樣的項(xiàng)目都可以做，兩邊的理念有一定差異。

陳茜：所以DeepMind是非常獨(dú)立的，Hassabis說(shuō)了算，谷歌也不太會(huì)管他們。

Andrew Dai：對(duì)，他們的招聘也有自己的方式，內(nèi)部包括代碼等很多東西都跟谷歌是分開(kāi)的。

陳茜：那當(dāng)時(shí)Google Brain的AI研究員，比如你，會(huì)跟DeepMind的人有合作嗎？

Andrew Dai：會(huì)，但比較少。合作時(shí)會(huì)有credit assignment（功勞分配）的問(wèn)題，這個(gè)項(xiàng)目到底是DeepMind主導(dǎo)還是Google Brain主導(dǎo)。在大公司里，ownership（所有權(quán)）很重要，所以這類項(xiàng)目就更復(fù)雜了。

03

半監(jiān)督序列學(xué)習(xí)

谷歌錯(cuò)過(guò)的“GPT時(shí)刻”

陳茜：我看到你在2015年開(kāi)始研究語(yǔ)言模型的預(yù)訓(xùn)練與微調(diào)，當(dāng)時(shí)就應(yīng)該是在Google Brain部門了。這一輪GenAI（生成式AI）的奠基石Transformer論文是2017年發(fā)布的，但在此之前，你和Google Brain聯(lián)合創(chuàng)始人之一Quoc Le共同主導(dǎo)了一篇文章《Semi-supervised Sequence Learning》（半監(jiān)督序列學(xué)習(xí)），可以幫我們解釋一下，這篇論文主要解決了什么問(wèn)題么？

Andrew Dai：那篇文章其實(shí)不是我們一開(kāi)始就計(jì)劃好的。我們本來(lái)是在做一種叫paragraph vectors（段落向量）的技術(shù)。那時(shí)候有Word2Vec，也就是Word Embedding（詞嵌入），大家可能聽(tīng)說(shuō)過(guò)，LLM出現(xiàn)之前大家都在用這些東西。我們想做一個(gè)更好的版本，做了很多很多實(shí)驗(yàn)，但都失敗了。

有一天我跑了一個(gè)實(shí)驗(yàn)，發(fā)現(xiàn)結(jié)果非常好，比其他論文的分?jǐn)?shù)都高。但當(dāng)我想復(fù)現(xiàn)它重跑一次，卻跑不出之前的結(jié)果，我就覺(jué)得肯定哪里有bug。于是我繼續(xù)挖，發(fā)現(xiàn)是因?yàn)橛?xùn)練這個(gè)模型的時(shí)候，我是從另一個(gè)目錄，也就是另一個(gè)checkpoint（檢查點(diǎn)）開(kāi)始的，而那個(gè)checkpoint屬于一個(gè)別的做語(yǔ)言模型的項(xiàng)目。這時(shí)候我就發(fā)現(xiàn)了：如果先做語(yǔ)言模型，再用監(jiān)督數(shù)據(jù)進(jìn)行微調(diào)，就可以得到一個(gè)很好的模型。這就是我們發(fā)現(xiàn)的東西，然后就把它寫成了論文。

之前大家是把這兩部分分開(kāi)的，沒(méi)有想過(guò)用語(yǔ)言模型來(lái)做語(yǔ)言理解。我們的核心想法是：把語(yǔ)言模型和fine-tuning（微調(diào)）結(jié)合到一起，就可以做出一個(gè)很好的模型。所以我們是第一個(gè)把這兩部分放在一起的團(tuán)隊(duì)。

陳茜：這篇論文現(xiàn)在回看，很像是“大規(guī)模預(yù)訓(xùn)練+下游微調(diào)”的范式。當(dāng)然那時(shí)候Transformer還沒(méi)出來(lái)，你們用的還是LSTM（長(zhǎng)短期記憶網(wǎng)絡(luò)），但你當(dāng)時(shí)有沒(méi)有意識(shí)到，它可能會(huì)引領(lǐng)出一個(gè)更大的東西？

Andrew Dai：那時(shí)候我們的卡很少，大家都沒(méi)有用很多顯卡做訓(xùn)練，所以模型規(guī)模也比較小。我記得那年我們?cè)贜eurIPS（神經(jīng)信息處理系統(tǒng)大會(huì)）上發(fā)表了這篇文章，LSTM的主要作者Sepp Hochreiter來(lái)看了我們的海報(bào)，說(shuō)他已經(jīng)試過(guò)我們這個(gè)方法，結(jié)果很好。從那時(shí)候我們就知道，以后應(yīng)該會(huì)有很多人用這個(gè)方法，但我們沒(méi)想到過(guò)了十年還在用，而且模型規(guī)模擴(kuò)大了這么多倍。

陳茜：那Transformer出來(lái)的時(shí)候，你有意識(shí)到這兩個(gè)東西可以融合起來(lái)，變成一個(gè)更大的突破嗎？

Andrew Dai：Transformer出來(lái)的時(shí)候，我就覺(jué)得它很適合和我們做的預(yù)訓(xùn)練結(jié)合。所以Transformer論文發(fā)布第二天，我就找了我的朋友，Transformer論文的一作Ashish Vaswani，對(duì)他說(shuō)：“我們兩年前有這篇預(yù)訓(xùn)練的文章，結(jié)果很好，你要不要在Transformer上也試試預(yù)訓(xùn)練？”但那時(shí)候他很忙，在做一些圖像處理的東西，所以沒(méi)有時(shí)間，后來(lái)就是OpenAI做了。

陳茜：那OpenAI是誰(shuí)主導(dǎo)這件事，發(fā)現(xiàn)了Transformer可以和你們這篇文章結(jié)合？

Andrew Dai：是Alec Radford。他寫了GPT-1、GPT-2、GPT-3的論文，引用了我們那篇文章，看出了scaling的潛力：模型越來(lái)越大，產(chǎn)出的語(yǔ)言就越來(lái)越好。

陳茜：谷歌是什么時(shí)候意識(shí)到這兩個(gè)東西都是從自己這里出來(lái)的，結(jié)果被OpenAI結(jié)合在一起用了？

Andrew Dai：我覺(jué)得是GPT-3出來(lái)的時(shí)候才意識(shí)到。GPT-3是整個(gè)世界的轉(zhuǎn)折點(diǎn)，不只是谷歌，Meta等很多公司都發(fā)現(xiàn)GPT-3的語(yǔ)言能力相當(dāng)驚人，可能scaling才是正確方向。之前大家都不愿意把那么多顯卡都押在一個(gè)實(shí)驗(yàn)上，但GPT-3之后，谷歌就開(kāi)始愿意這樣投入了。

陳茜：在GPT-3出來(lái)之前，Google Brain的聯(lián)合創(chuàng)始人Jeff Dean、Andrew Ng（吳恩達(dá)）、Quoc Le，還有DeepMind的Hassabis，他們那時(shí)候分別在做什么？

Andrew Dai：Hassabis那段時(shí)間我記得好像是在做AlphaGo，他們相信把游戲做好就可以產(chǎn)生intelligence（智能），比如Atari（雅達(dá)利）游戲和圍棋。

Google Brain是另一個(gè)方向，包括Geoffrey Hinton也是這個(gè)想法：如果做一個(gè)什么都能做的AI，那才是真正的intelligence（智能），不要只專注一個(gè)小領(lǐng)域。那時(shí)候Google Brain的文化以自由著稱，你想做什么都可以做。Jeff Dean在領(lǐng)導(dǎo)Brain團(tuán)隊(duì)，但下面的研究員什么都在做，有的在做音樂(lè)生成，做語(yǔ)言的人其實(shí)很少，基本上就是Quoc和我還有幾個(gè)人，大部分人都在做視覺(jué)或視頻處理。

陳茜：就是沒(méi)有一個(gè)人強(qiáng)有力地站出來(lái)說(shuō)：我們要集合所有資源押注在同一個(gè)賽道上，直到他們看到GPT-3出來(lái)。

Andrew Dai：對(duì)，后來(lái)就變了。

陳茜：所以你覺(jué)得OpenAI為什么能看到Semi-supervised Sequence Learning（半監(jiān)督序列學(xué)習(xí)）的能力，而谷歌看不到呢？你當(dāng)時(shí)跟Transformer作者說(shuō)了這個(gè)想法，他沒(méi)理你，之后你就沒(méi)有再推進(jìn)了嗎？

Andrew Dai：那是2017年，時(shí)間節(jié)點(diǎn)很特別。那時(shí)候Google Brain開(kāi)始成立谷歌健康部門，覺(jué)得health（醫(yī)療健康）是一個(gè)很熱門的領(lǐng)域，大家都想進(jìn)入這個(gè)方向，包括蘋果和微軟。谷歌也覺(jué)得應(yīng)該把AI放進(jìn)健康里，所以讓我選擇：是要進(jìn)入這個(gè)新的谷歌健康部門，讓AI可以治病，還是留在Brain。我選擇去了Health，因此就沒(méi)有機(jī)會(huì)去做GPT這類模型了。

陳茜：那有沒(méi)有其他人繼續(xù)往這個(gè)方向深推呢？

Andrew Dai：后來(lái)沒(méi)有繼續(xù)往上scale（擴(kuò)展），但有人把它用到了產(chǎn)品上，像Smart Compose、Smart Reply就是用了預(yù)訓(xùn)練的方法。

04

谷歌落地為何總是慢半拍

PaLM 2、FLAN、RL與MoE

陳茜：了解了。我們接著說(shuō)說(shuō)你在Health部門在研究什么？ 是去做產(chǎn)品了是嗎？

Andrew Dai：對(duì)，在Health部門，我做的是幫助產(chǎn)品落地的研究，主要負(fù)責(zé)用醫(yī)療記錄來(lái)預(yù)測(cè)一個(gè)人以后可能患什么病，或者需要服什么藥，從而幫助醫(yī)院節(jié)省成本或輔助醫(yī)生決策。因?yàn)轭A(yù)訓(xùn)練很成功，所以我們也在醫(yī)療領(lǐng)域用了預(yù)訓(xùn)練，但那時(shí)候模型還很小，最后沒(méi)有做出預(yù)訓(xùn)練的成果，不過(guò)發(fā)表了其他論文。那時(shí)候有Google Brain Residency Program（谷歌大腦住院醫(yī)項(xiàng)目），是一個(gè)比較好的時(shí)代，招了很多類似實(shí)習(xí)生的人待一年，后來(lái)創(chuàng)業(yè)的Liam Fedus、Demi Guo和David Ha，都是我當(dāng)時(shí)的實(shí)習(xí)生。

陳茜：在2018年，也就是你去Health部門一年后，我看到你和Ian Goodfellow等人合作了一篇有分量的論文叫MaskGAN，用于改善文本生成的質(zhì)量。這篇論文的底層技術(shù)進(jìn)步給你帶來(lái)了哪些收獲？因?yàn)槲铱吹狡渲幸恍┘夹g(shù)探索，比如in-filling（填空任務(wù)）等，在后來(lái)的BERT和Gemini多模態(tài)預(yù)訓(xùn)練中都有一定程度的啟發(fā)和影響。這篇論文對(duì)你意味著什么？

Andrew Dai：這篇文章是我和Liam Fedus、Ian Goodfellow一起寫的。我們覺(jué)得“填空”是一個(gè)很好的任務(wù)，可以讓模型學(xué)到很復(fù)雜的東西。我認(rèn)為這篇論文有一個(gè)比較突出的地方，就是在RL（強(qiáng)化學(xué)習(xí)）方面，那時(shí)候基本上沒(méi)有其他人在做預(yù)訓(xùn)練之后再做RL，我們可能是最早幾篇把RL用在預(yù)訓(xùn)練之后的論文，而現(xiàn)在這已經(jīng)是業(yè)界通用的方法了。

陳茜：相當(dāng)于你們是最早一批把RL用在語(yǔ)言模型上的團(tuán)隊(duì)。

Andrew Dai：對(duì)。我們那時(shí)候就覺(jué)得光做預(yù)訓(xùn)練還不夠，因?yàn)轭A(yù)訓(xùn)練的模型不會(huì)學(xué)到它自己寫出來(lái)的內(nèi)容哪里好、哪里不好，也不會(huì)學(xué)到該怎么改。有了RL，模型可以看到自己寫的這一段不像自然語(yǔ)言，RL就可以把它改好。

陳茜：在很多大家都認(rèn)為有共識(shí)的技術(shù)范式上，你們也都是第一批團(tuán)隊(duì)去做的，包括MoE（混合專家模型）。你研究MoE是在2021年左右，聯(lián)合主導(dǎo)了GLaM（Generalist Language Model） MoE LLM（大語(yǔ)言模型）的開(kāi)發(fā)。現(xiàn)在MoE架構(gòu)我們都很熟悉了，不過(guò)真正把MoE帶到大眾視野的，可能還是去年DeepSeek V3發(fā)布的時(shí)候，但我沒(méi)想到谷歌內(nèi)部在2021年就已經(jīng)在研發(fā)這條路線了。

Andrew Dai：GPT-3出來(lái)之后，Google Brain團(tuán)隊(duì)有些人感到有點(diǎn)著急，覺(jué)得一定要做出一個(gè)比它更好、功能更多的模型。那時(shí)候我們意識(shí)到，這些模型越來(lái)越大，通過(guò)API提供服務(wù)會(huì)非常貴，因?yàn)閰?shù)太多，耗電量很大。如果每次只用模型的一部分，耗電就少很多。幾年前Noam Shazeer發(fā)表過(guò)一篇關(guān)于MoE的文章，但那時(shí)候沒(méi)有做預(yù)訓(xùn)練。所以我們就把MoE加上預(yù)訓(xùn)練、再加上fine-tuning（微調(diào)），最終做出了一個(gè)比GPT-3更好的模型，這就是我們的成就。

陳茜：2021年GPT-3出來(lái)后，你說(shuō)谷歌內(nèi)部開(kāi)始感到壓力了？當(dāng)時(shí)是什么情況？

Andrew Dai：當(dāng)時(shí)我在Google Health的經(jīng)理Claire回到了Google Brain，我就和她談，想離開(kāi)Google Health。她說(shuō)他們?cè)谧鲆粋€(gè)模型，但達(dá)不到GPT-3的水平，就問(wèn)我能不能幫他們解決這個(gè)問(wèn)題。我覺(jué)得是數(shù)據(jù)的問(wèn)題，所以我就過(guò)去了，處理了一段時(shí)間數(shù)據(jù)，最終做出了一個(gè)比GPT-3更好的模型，并發(fā)表了論文。那時(shí)候DeepMind也發(fā)表了一篇文章，競(jìng)爭(zhēng)從那時(shí)候就開(kāi)始了，那時(shí)候因?yàn)閮蛇叾伎吹搅薌PT-3，DeepMind覺(jué)得要競(jìng)爭(zhēng)，Brain也覺(jué)得要競(jìng)爭(zhēng)，否則大家都會(huì)認(rèn)為谷歌做不出這樣的模型。

陳茜：你當(dāng)時(shí)為什么想離開(kāi)Health？

Andrew Dai：我覺(jué)得對(duì)一家大型科技公司來(lái)說(shuō)，做醫(yī)療健康非常難，而且難度不在于技術(shù)，而在于文化。

因?yàn)獒t(yī)生有自己傳承了數(shù)百代的文化和做事方式。這個(gè)行業(yè)本身對(duì)資源和認(rèn)知的要求就更高，很多醫(yī)生按照自己的直覺(jué)做決定，如果我們要推AI，他們就會(huì)問(wèn)：為什么AI要我做這個(gè)？我做了幾十年，肯定比這個(gè)AI懂。所以那時(shí)候讓醫(yī)生接受AI就非常難。

陳茜：是不是說(shuō)，在實(shí)際產(chǎn)品落地上，大型科技公司比不上那些跟醫(yī)院、醫(yī)生或藥企關(guān)系緊密的公司？

Andrew Dai：對(duì)。而且大公司可能還會(huì)讓醫(yī)生覺(jué)得“他們是來(lái)?yè)屛覀児ぷ鳌屷t(yī)院的錢的”。如果是初創(chuàng)公司，他們就不會(huì)那么感受到威脅，這也是一個(gè)因素。

陳茜：是不是當(dāng)時(shí)技術(shù)也沒(méi)有好到讓大家覺(jué)得非用不可？

Andrew Dai：對(duì)，那時(shí)候的時(shí)機(jī)還不對(duì)。就像現(xiàn)在，因?yàn)镃hatGPT，很多醫(yī)生覺(jué)得“我也可以用AI了，大家都在用”。但那時(shí)候不是這樣，那時(shí)候醫(yī)生對(duì)AI是相對(duì)陌生的用戶群體。現(xiàn)在他們已經(jīng)不陌生了，所以顧慮也就沒(méi)那么多了。

陳茜：時(shí)機(jī)不對(duì)，技術(shù)可能也比較粗糙，產(chǎn)品也沒(méi)有那么完善，而且美國(guó)醫(yī)療產(chǎn)業(yè)本就是一個(gè)很難打入的市場(chǎng)。

Andrew Dai：It's a big lesson.（這是一個(gè)很大的教訓(xùn)。）

陳茜：所以你的take-away（收獲）就是：要在正確的時(shí)間做正確的事，研究正確的技術(shù)。

Andrew Dai：對(duì)，這對(duì)創(chuàng)業(yè)來(lái)說(shuō)尤其重要。

陳茜：你從Health出來(lái)之后，在2022年主導(dǎo)了谷歌PaLM 2模型的預(yù)訓(xùn)練。這個(gè)模型對(duì)谷歌非常重要，因?yàn)槟菚r(shí)候谷歌和OpenAI已經(jīng)存在模型層面的競(jìng)爭(zhēng)壓力了。PaLM 2出來(lái)的時(shí)候，你們滿意嗎？

Andrew Dai：PaLM 2大約在2023年初就訓(xùn)練完成了，我那時(shí)候覺(jué)得這是一個(gè)很好的模型。我們那時(shí)候從來(lái)沒(méi)有見(jiàn)過(guò)跑得那么順暢的預(yù)訓(xùn)練：從頭到底，一次都沒(méi)有停，一次都不需要rewind（回退）。不像Meta那段時(shí)間發(fā)布的OPT模型，可以看到他們的日志，重啟了很多次，做了很久。PaLM 2就非常順，從立項(xiàng)到訓(xùn)練完成不到一年，特別順暢。

陳茜：為什么能這么順？你們做了什么事情？

Andrew Dai：我們那時(shí)候有訓(xùn)練GLaM和PaLM 1積累下來(lái)的經(jīng)驗(yàn)，在架構(gòu)上做了很多測(cè)試和實(shí)驗(yàn)，知道這個(gè)方案穩(wěn)定、不會(huì)出問(wèn)題。正式開(kāi)始大規(guī)模訓(xùn)練之前，我們也做了一些pilot runs（試運(yùn)行），所以就有high confidence（高置信度）這個(gè)會(huì)成功。

陳茜：在2022年你還寫了一篇重要論文——FLAN（Scaling Instruction-Finetuned Language Models），探索了任務(wù)數(shù)量、模型大小以及加入了Chain-of-Thought（思維鏈/CoT）的數(shù)據(jù)，能給我們講一下FLAN的重要性在哪里嗎？

Andrew Dai：FLAN之前，大家都是用few-shot prompting（少樣本提示）來(lái)使用模型，如果你要讓它做某件事，你要先給它舉幾個(gè)例子，比如數(shù)學(xué)題，你先給它一道題和答案，再問(wèn)它新的問(wèn)題。FLAN的核心思想是：其實(shí)你不需要在每次對(duì)話里給例子，只要在微調(diào)數(shù)據(jù)里放入這些示例就夠了，模型就會(huì)學(xué)會(huì)“你給我什么問(wèn)題，我就必須給出答案”。好處是你不再需要每次都提供few-shot（少樣本）例子，但壞處就是，如果你問(wèn)它不知道的問(wèn)題，它也會(huì)假裝知道。正是有了這種方式，ChatGPT這樣的聊天機(jī)器人才成為可能，因?yàn)槟憧梢灾苯訂?wèn)它問(wèn)題。

陳茜：PaLM 2你們還是比較滿意的，但你們的風(fēng)頭還是被GPT-4給搶了，是嗎？

Andrew Dai：對(duì)，我們做完得比較早，2023年初就完成了。但谷歌內(nèi)部的官僚體制和龐大的組織系統(tǒng)，讓他們決定要等到Google I/O統(tǒng)一發(fā)布。OpenAI當(dāng)然知道Google I/O是什么，知道我們要發(fā)布模型，谷歌那么大，內(nèi)部沒(méi)有什么秘密。所以他們恰好在Google I/O之前發(fā)布了GPT-4，GPT-4的結(jié)果比PaLM 2更好。我們發(fā)布PaLM 2的時(shí)候，我就覺(jué)得晚了一步，如果早點(diǎn)發(fā)布，我們就可以說(shuō)我們是世界上最好的模型。

陳茜：你覺(jué)得可惜嗎？

Andrew Dai：有點(diǎn)可惜。

陳茜：但PaLM 2還是很重要，雖然GPT-4在benchmark（基準(zhǔn)測(cè)試）上可能比你們好，但至少谷歌向大家證明了：我們站穩(wěn)了，我們沒(méi)有落后太多。

Andrew Dai：對(duì)，而且沒(méi)有PaLM 2的話，當(dāng)時(shí)那個(gè)叫Bard、后來(lái)叫Gemini的產(chǎn)品也會(huì)比較危險(xiǎn)，因?yàn)锽ard就是用PaLM 2做出來(lái)的聊天機(jī)器人，如果沒(méi)有PaLM 2，谷歌就沒(méi)有聊天機(jī)器人了。

05

拉響紅色警報(bào)

DeepMind與Google Brain的整合與碰撞

陳茜：2022年底OpenAI上線了ChatGPT，把整個(gè)AI市場(chǎng)引爆了，谷歌內(nèi)部拉響了Code Red（紅色警戒）。之后Sergey Brin也回歸了谷歌，當(dāng)時(shí)做出的一個(gè)決定，就是把DeepMind和Google Brain合并起來(lái)。跟我們講講這次整合順利嗎？還是有很多摩擦？

Andrew Dai：這個(gè)整合大家有個(gè)preview（預(yù)期），其中Gemini就是一個(gè)整合后的預(yù)期產(chǎn)品代表。因?yàn)樵诠俜胶喜⒌膸讉€(gè)月之前，DeepMind和Brain的人就已經(jīng)開(kāi)始一起做Gemini了，但是不是 official（官方的），那段時(shí)間就已經(jīng)感受到一些摩擦。后來(lái)領(lǐng)導(dǎo)層認(rèn)為時(shí)間線要更快，不能繼續(xù)落后于ChatGPT，就決定加快把兩個(gè)團(tuán)隊(duì)整合在一起，摩擦也隨之更加明顯。

因?yàn)閮蛇呌袑?duì)等的團(tuán)隊(duì)：DeepMind有基礎(chǔ)設(shè)施團(tuán)隊(duì)，Brain也有；DeepMind有多模態(tài)團(tuán)隊(duì)，Brain也有；數(shù)據(jù)方面，DeepMind有數(shù)據(jù)團(tuán)隊(duì)，我就代表Brain的數(shù)據(jù)團(tuán)隊(duì)。所以一開(kāi)始確實(shí)關(guān)系比較緊張，他們決定每個(gè)部門由DeepMind出一個(gè)負(fù)責(zé)人、Brain出一個(gè)負(fù)責(zé)人來(lái)聯(lián)合領(lǐng)導(dǎo)，這就比較復(fù)雜了。

陳茜：所以比如數(shù)據(jù)部門，你是一個(gè)co-lead（聯(lián)合負(fù)責(zé)人），DeepMind那邊也出一個(gè)co-lead，其他的每個(gè)部門也是同樣的設(shè)置，是嗎？

Andrew Dai：對(duì)，而且還需要進(jìn)一步劃分。比如在數(shù)據(jù)部門里，哪部分由倫敦做，哪部分由Mountain View（山景城）的Brain團(tuán)隊(duì)來(lái)做？這非常復(fù)雜，浪費(fèi)了很多時(shí)間。

陳茜：為什么一定要設(shè)置這樣的機(jī)制呢？

Andrew Dai：這樣更公平一些。

陳茜：也就是Google Brain跟DeepMind誰(shuí)都不服誰(shuí)，這是一個(gè)兩邊都同時(shí)給糖的安排。

Andrew Dai：對(duì)，是一個(gè)對(duì)等的設(shè)置。

陳茜：你覺(jué)得這樣的設(shè)置會(huì)拖累模型的研發(fā)速度嗎？

Andrew Dai：我覺(jué)得一開(kāi)始可能出模型的節(jié)奏會(huì)慢一些。兩個(gè)之前從未合作、甚至有一定緊張關(guān)系的團(tuán)隊(duì)突然被放在一起，肯定有些事情會(huì)變慢、會(huì)有人換組，這些都發(fā)生了。

陳茜：整個(gè)磨合過(guò)程你覺(jué)得經(jīng)歷了多長(zhǎng)時(shí)間？還是說(shuō)到現(xiàn)在還在磨合？

Andrew Dai：可能現(xiàn)在還在磨合。不同部門的速度不一樣，比如基礎(chǔ)設(shè)施方向磨合得較快，多模態(tài)也是。

陳茜：兩邊整合的結(jié)果，就是很多人離職，對(duì)吧？

Andrew Dai：是的，有不少人離職，兩邊都有，Brain這邊有，DeepMind那邊也有。

陳茜：這兩個(gè)誰(shuí)都看不上誰(shuí)的部門整合在一起，同心協(xié)力做Gemini。2023年底，Gemini 1.0出來(lái)了，這個(gè)模型你們滿意嗎？

Andrew Dai：那個(gè)模型有點(diǎn)倉(cāng)促。我們剛剛開(kāi)始合作，很多事情都是拼命趕deadline（截止日期）。那時(shí)候有一個(gè)圣誕節(jié)的截止日期，5月份Google I/O剛發(fā)布了PaLM 2，我們想要每6個(gè)月出一個(gè)新模型，所以大家都在趕。這些人之前都沒(méi)有合作過(guò)，模型又基本上是從頭開(kāi)始做，所以有些地方?jīng)]有做好，比如一些小眾的語(yǔ)言的就沒(méi)有做好。那時(shí)候媒體報(bào)道了Gemini 1.0在某些語(yǔ)言上表現(xiàn)欠佳，所以我們隨即就開(kāi)始趕做Gemini 1.5了。

陳茜：我看到Gemini 1.5才用到了MoE（混合專家模型）架構(gòu)，但這是你在2021年就已經(jīng)在研發(fā)的東西，為什么這么晚呢？

Andrew Dai：這也是一個(gè)速度的問(wèn)題。1.0要趕快推出來(lái)，所以就沒(méi)有時(shí)間做MoE的模型，只能做dense（稠密）模型，因?yàn)镸oE還需要額外的調(diào)優(yōu)和優(yōu)化時(shí)間。ChatGPT出來(lái)之后，整件事變成了一場(chǎng)競(jìng)賽，我們?cè)诟鶲penAI比賽，如果MoE會(huì)拖慢我們的進(jìn)度，就不能做，所以……

陳茜：所以優(yōu)先級(jí)變成了先追上進(jìn)度，而不是創(chuàng)新，谷歌這時(shí)候變成了追趕者。是不是也因?yàn)镚PT-4用了MoE，所以Gemini 1.5才決定一定要用MoE了？

Andrew Dai：其實(shí)我們本來(lái)就打算用MoE，只是時(shí)間問(wèn)題。我們從那篇2021年的論文就已經(jīng)知道MoE效果更好。但我們不知道OpenAI會(huì)那么快用MoE，不知道GPT-4會(huì)是一個(gè)MoE的模型，當(dāng)時(shí)有些人認(rèn)為還會(huì)是dense模型。我的實(shí)習(xí)生Liam Fedus去了OpenAI之后，他們就開(kāi)始做MoE了。

陳茜：所以他和你一起研究了這件事，然后把它帶去了OpenAI。硅谷其實(shí)沒(méi)有什么秘密可言，因?yàn)闆](méi)有競(jìng)業(yè)協(xié)議。

Andrew Dai：對(duì)，特別是大模型領(lǐng)域。大公司里肯定會(huì)有人去OpenAI、Anthropic，所以大公司很難保持秘密。

06

Gemini翻身仗

“大模型最大的差異點(diǎn)是數(shù)據(jù)”

陳茜：Gemini 2.0對(duì)你們來(lái)說(shuō)是比較大的翻身仗嗎？

Andrew Dai：Gemini 2.0像是一種進(jìn)化，各種方法都更成熟了，包括MoE、長(zhǎng)上下文等。總體來(lái)說(shuō)，是一個(gè)更好的模型。

陳茜：我聽(tīng)說(shuō)在數(shù)據(jù)方面，你在Gemini 2.0上也有一些創(chuàng)新。能跟我們解釋一下，你做了什么讓Gemini 2.0變得更好？

Andrew Dai：在數(shù)據(jù)上有一個(gè)很大的變化，我們用了新的方法來(lái)處理數(shù)據(jù)質(zhì)量，檢測(cè)質(zhì)量的標(biāo)準(zhǔn)也更嚴(yán)格了。有些公司可能認(rèn)為架構(gòu)和卡夠了就能做出好模型，但數(shù)據(jù)其實(shí)非常重要。你看那些論文，一般都不會(huì)說(shuō)數(shù)據(jù)是什么、來(lái)自哪里，這是一個(gè)秘方，所以我們發(fā)表了新的方法。

陳茜：所以你覺(jué)得數(shù)據(jù)是大模型之間很大的差異點(diǎn)嗎？看起來(lái)模型架構(gòu)大家都在用類似的東西，算力大公司都不缺，基礎(chǔ)設(shè)施也都差不多，差異點(diǎn)是否就在數(shù)據(jù)上？

Andrew Dai：對(duì)，我覺(jué)得最大的差異就是數(shù)據(jù)。

陳茜：但數(shù)據(jù)不只是來(lái)源的問(wèn)題，因?yàn)榇蠹一旧习鸦ヂ?lián)網(wǎng)數(shù)據(jù)都窮盡了，而是如何優(yōu)化和篩選更高質(zhì)量的數(shù)據(jù)用于訓(xùn)練，是嗎？

Andrew Dai：對(duì)，你選用什么數(shù)據(jù)很重要。網(wǎng)絡(luò)上有大量數(shù)據(jù)，但也有很多垃圾信息和對(duì)模型沒(méi)有幫助的內(nèi)容，所以需要找到那些好的數(shù)據(jù)，讓模型能學(xué)到新東西。就像人一樣，每天只讓他讀廣告，他什么都學(xué)不到，要給他有信息、有知識(shí)的數(shù)據(jù)才行。來(lái)源也有一些區(qū)別，因?yàn)楣雀栌兴阉鞯慕?jīng)驗(yàn)，知道怎么爬取網(wǎng)絡(luò)，其他公司也有自己的優(yōu)勢(shì)。

陳茜：所以你在Gemini 2.0數(shù)據(jù)上的主要提升，就是把垃圾信息的數(shù)據(jù)剔除掉？

Andrew Dai：對(duì)，垃圾信息以及其他一些低質(zhì)量的數(shù)據(jù)，還有更多不方便透露的內(nèi)容。

陳茜：在合成數(shù)據(jù)方面，你也參與了對(duì)嗎？

Andrew Dai：對(duì)，我也聯(lián)合主導(dǎo)了合成數(shù)據(jù)這塊。合成數(shù)據(jù)用不好會(huì)導(dǎo)致一個(gè)很差的模型，但用得好，就像GPT-5，可以把模型做得非常好。

陳茜：“用得好”和“用得不好”有什么區(qū)別？

Andrew Dai：用得不好就是指，如果處理得不好，模型就會(huì)頻繁輸出合成數(shù)據(jù)里的特定詞匯。比如合成數(shù)據(jù)里有很多“delve”這個(gè)詞，訓(xùn)練完的模型也會(huì)更多地說(shuō)“delve”這個(gè)詞。所以合成數(shù)據(jù)同樣需要高質(zhì)量，否則模型會(huì)學(xué)到錯(cuò)誤的東西。比如合成數(shù)據(jù)里有錯(cuò)誤的數(shù)學(xué)，那模型的數(shù)學(xué)能力也會(huì)變差。

陳茜：Gemini 2.5大約在去年年中發(fā)布，年底發(fā)布了Gemini 3.0，那時(shí)候真的是短暫地超過(guò)了GPT，驚艷了整個(gè)市場(chǎng)，大家都在歡呼谷歌回來(lái)了，谷歌股價(jià)也漲得非常快。但你在Gemini 3.0之后就離開(kāi)了，能跟我們講講為什么嗎？

Andrew Dai：我先講一下Gemini 2.5。2.5是因?yàn)镹oam Shazeer從Character.AI回到谷歌，他幫助了2.5，讓2.5成為了一個(gè)比較好的模型。

陳茜：Shazeer帶來(lái)了什么讓2.5變得更好？

Andrew Dai：他帶來(lái)了他的能力。舉個(gè)例子：有一次我跟Noam討論Transformer的架構(gòu)，我說(shuō)在這里加一個(gè)connection（連接）會(huì)不會(huì)更好？他說(shuō)不會(huì)好，因?yàn)間radient（梯度）就會(huì)從這里移到那里，他連模型都不用跑，就知道訓(xùn)練之后會(huì)是什么結(jié)果。他真的是一個(gè)天才，一看代碼就知道這是不是一個(gè)好的模型，憑直覺(jué)就能理解模型是如何工作的。

陳茜：所以acqui-hire（收購(gòu)式招聘）是合理的，一個(gè)人的能力就能幫公司省很多錢和時(shí)間。

Andrew Dai：這確實(shí)是一筆劃算的交易，他非常厲害。

陳茜：那在3.0上你們做了哪些優(yōu)化？

Andrew Dai：3.0我們繼續(xù)在數(shù)據(jù)方法上做了新的創(chuàng)新。但我離開(kāi)的原因是：我能感覺(jué)到我們用的方法和取得的進(jìn)展都比較保守，因?yàn)橛袔浊€(gè)人在這個(gè)項(xiàng)目上，用那么多GPU做預(yù)訓(xùn)練，就不能用太激進(jìn)、太有風(fēng)險(xiǎn)的新想法。所以我覺(jué)得那是一個(gè)比較好的離開(kāi)時(shí)機(jī)，去創(chuàng)業(yè)。

陳茜：所以你覺(jué)得在數(shù)據(jù)上還可以更快地提升優(yōu)化，用更大膽、更激進(jìn)的方式去做事情。但在谷歌，你覺(jué)得這方面的速度被拖慢了。

Andrew Dai：對(duì)，對(duì)谷歌來(lái)說(shuō)可能有點(diǎn)危險(xiǎn)，因?yàn)檫@種方法會(huì)大量改變數(shù)據(jù)。

陳茜：那你的新方法是什么？

Andrew Dai：這個(gè)我不能說(shuō)。（笑）

07

Neolab爆發(fā)

創(chuàng)立Elorian AI，探索視覺(jué)推理路線

陳茜：你的新方法就是你自己創(chuàng)業(yè)。你想做的是視覺(jué)推理模型，在你能說(shuō)的范圍內(nèi)，能解釋一下你想用什么技術(shù)路徑實(shí)現(xiàn)什么目標(biāo)嗎？

Andrew Dai：我們的團(tuán)隊(duì)是一個(gè)full-stack（全棧）團(tuán)隊(duì)，有非常了解數(shù)據(jù)、預(yù)訓(xùn)練、多模態(tài)、RL（強(qiáng)化學(xué)習(xí)）、post-training（后訓(xùn)練）、infer（推理）的人。所以我們不只是想在數(shù)據(jù)上做改變，去做一個(gè)更好的多模態(tài)推理模型，我們是整個(gè)full-stack approach（全棧方法）。我覺(jué)得Anthropic就是這樣的，它是一個(gè)專注于編程的全棧公司，每個(gè)部分都聚焦在編程上。我們則是在數(shù)據(jù)、架構(gòu)、RL算法的每個(gè)環(huán)節(jié)都聚焦在多模態(tài)上，包括vision encoder（視覺(jué)編碼器）都會(huì)有新的方法。

陳茜：為什么你們現(xiàn)在做的事情谷歌做不了？

Andrew Dai：可以對(duì)比Anthropic。Anthropic的編程模型做得很好，但它不做多模態(tài)的東西，不會(huì)生成圖片或視頻，因?yàn)樗麄儗Ｗ⒂诰幊獭６鳪emini和ChatGPT，他們的模型什么都可以做，在我們行業(yè)叫g(shù)eneralist models（通用模型），Claude這個(gè)模型可能叫specialist model（專用模型）。我們這個(gè)公司也是同樣的想法：如果你做一個(gè)specialist model（專用模型），generalist model（通用模型）就很難超越它。因?yàn)槲覀儠?huì)有更多多模態(tài)數(shù)據(jù)，我們會(huì)把數(shù)據(jù)調(diào)整好，去掉對(duì)多模態(tài)沒(méi)有幫助的數(shù)據(jù)，比如“二戰(zhàn)是誰(shuí)贏的、在哪里打”這類信息對(duì)多模態(tài)其實(shí)沒(méi)什么幫助，我們就可以減少這類數(shù)據(jù)，把更多資源留給多模態(tài)數(shù)據(jù)、視頻和圖片，這種方式其他公司很難追上來(lái)。

陳茜：現(xiàn)在的視覺(jué)模型，比如Google的Veo系列或者OpenAI的Sora系列，你覺(jué)得它們還不夠好，因?yàn)橐曈X(jué)里面它們還不夠理解自己在生成的東西，是嗎？能給我們解釋一下，視覺(jué)理解模型是什么？它跟Sora和Veo這樣的視頻生成模型有什么區(qū)別？

Andrew Dai：生成、理解和推理是非常不同的三件事。以語(yǔ)言模型舉例：5年前這些模型已經(jīng)會(huì)寫代碼，讓GPT-3寫代碼，普通人看了會(huì)覺(jué)得寫得很好，像是工程師寫的，但工程師看了肯定會(huì)說(shuō)：這個(gè)不對(duì)，根本跑不了，這就是生成和理解的區(qū)別。這些大模型都很容易生成內(nèi)容，一眼看上去挺好，但仔細(xì)看就會(huì)發(fā)現(xiàn)問(wèn)題，比如圖片里字寫錯(cuò)了、人有三只手、動(dòng)物有五條腿。導(dǎo)演看了視頻也會(huì)說(shuō)：這個(gè)地方不對(duì)，明顯是AI生成的，拍攝風(fēng)格很AI。所以我們?cè)谝曈X(jué)理解能力上，可能相當(dāng)于5年前的GPT-3、GPT-2在語(yǔ)言理解上的水平。

陳茜：我記得我們?cè)谇安傻臅r(shí)候，你提到了一個(gè)老鷹抓兔子的比喻，我覺(jué)得很形象。

Andrew Dai：對(duì)，那是在談世界模型。你可以想象一只老鷹，很多老鷹都捕食鳥類，但要抓住一只鳥，你肯定需要理解重力、風(fēng)和氣流，知道翅膀需要以什么角度才能追上另一只鳥，還要預(yù)測(cè)那只鳥會(huì)往哪個(gè)方向飛，計(jì)算需要多快的速度才能在同一個(gè)點(diǎn)截住它。老鷹的大腦可以處理這些非常復(fù)雜的計(jì)算，也可以計(jì)算出兔子跑到橋下會(huì)從哪里出來(lái)，或者老鼠跑進(jìn)草叢會(huì)從哪里出來(lái)。這些動(dòng)物對(duì)自然世界、物理世界有深刻的理解。

但如果我們能把老鷹的大腦取出來(lái)問(wèn)它：萬(wàn)有引力定律是什么？萬(wàn)有引力常數(shù)是多少？需要拍打什么角度才能飛行？它不會(huì)知道這些，因?yàn)檫@些概念都是人類發(fā)明的，如果我們是有4只手或者有 20 個(gè)手指，那我們數(shù)學(xué)可能就很不一樣。因此，老鷹自己的世界模型，幫不了其他領(lǐng)域，這就是我覺(jué)得世界模型和語(yǔ)言模型的區(qū)別。

陳茜：現(xiàn)在很多neolab出來(lái)，嘗試不同的模型研發(fā)思路。一派是大語(yǔ)言模型，一派是世界模型，但你相信存在一個(gè)中間點(diǎn)，也是目前你們?cè)谧龅倪@一派：既需要語(yǔ)言模型，又需要視覺(jué)模型。能不能幫我們梳理一下這三派各自的信仰，以及他們押注的AGI路徑？

Andrew Dai：我們現(xiàn)在看語(yǔ)言模型，它們的思維鏈都是用語(yǔ)言來(lái)完成的，包括Gemini、ChatGPT、Claude，他們認(rèn)為思維鏈越來(lái)越長(zhǎng)、越來(lái)越多樣，模型就越來(lái)越聰明，可以做越來(lái)越多的事情，最終達(dá)到AGI。通過(guò)更強(qiáng)的編程能力，從而做出更好的模型。但如果你看這些模型在處理視覺(jué)問(wèn)題上的表現(xiàn)，它們現(xiàn)在都不會(huì)“數(shù)”東西，比如桌子上放幾個(gè)杯子，它們經(jīng)常會(huì)產(chǎn)生幻覺(jué)、說(shuō)錯(cuò)數(shù)量。所以我覺(jué)得，光scale（擴(kuò)展）語(yǔ)言部分，還是不夠理解我們的世界，不夠理解圖片和視頻。

另一個(gè)方向是世界模型，很多做這個(gè)的實(shí)驗(yàn)室來(lái)自計(jì)算機(jī)視覺(jué)領(lǐng)域，比如李飛飛和Yann LeCun，他們的想法更偏學(xué)術(shù)。學(xué)術(shù)界強(qiáng)調(diào)novelty（新穎性），因?yàn)槟惚仨氁衝ovel的東西才能發(fā)表論文，所以他們傾向于做與眾不同的新東西。他們相信視覺(jué)是intelligence（智能）的關(guān)鍵，就是因?yàn)槿祟愑幸曈X(jué)，所以人很聰明。這也有歷史背景，NeurIPS以前大部分文章都是視覺(jué)方向，做語(yǔ)言理解的人很少，包括我和Quoc，都算少數(shù)。但從語(yǔ)言角度看，光靠視覺(jué)是不夠的。動(dòng)物能用視覺(jué)做我們的機(jī)器人還做不到的事，就像老鷹可以抓住那只鳥。但就算我們做出一個(gè)很好的虛擬老鷹，我們還是沒(méi)有intelligence，還達(dá)不到AGI。視覺(jué)領(lǐng)域的人會(huì)覺(jué)得vision is the key to intelligence（視覺(jué)是智能的關(guān)鍵），所以他們更傾向于靠視覺(jué)和圖像數(shù)據(jù)，靠世界模型。但這樣就無(wú)法和數(shù)學(xué)、物理、化學(xué)這些人類創(chuàng)造的概念體系結(jié)合，因?yàn)檫@些都是人為的東西，和世界模型還是比較遠(yuǎn)。

所以我們公司的想法是：要把視覺(jué)推理和語(yǔ)言推理結(jié)合起來(lái)，才能做出一個(gè)可以幫助所有行業(yè)的模型。

陳茜：就相當(dāng)于把重力公式輸?shù)嚼销椀哪X子里？

Andrew Dai：對(duì)，哈哈，用老鷹的眼睛，用一部分老鷹的大腦，但還是要用人的推理。

陳茜：世界模型這個(gè)概念這兩年很火，你覺(jué)得這些公司的發(fā)展能達(dá)到AGI嗎？

Andrew Dai：可能五年后再問(wèn)我這個(gè)問(wèn)題，我覺(jué)得它們現(xiàn)在還非常早期，可能相當(dāng)于大模型最早期的階段：訓(xùn)練的時(shí)候還是在一塊顯卡上跑。就像我們2015年做最初的預(yù)訓(xùn)練時(shí)也是一塊顯卡開(kāi)始，但需要很多年才能做成一個(gè)大模型。

陳茜：所以你覺(jué)得世界模型還沒(méi)有到它的Transformer時(shí)刻？

Andrew Dai：還沒(méi)有。他們可能需要一種新的結(jié)構(gòu)，像JEPA，我覺(jué)得還需要再走幾步才能到一個(gè)有用的模型。

陳茜：你覺(jué)得在視覺(jué)推理領(lǐng)域，其他公司的競(jìng)爭(zhēng)優(yōu)勢(shì)是什么？谷歌內(nèi)部可能也看到了這個(gè)方向，Meta、OpenAI也會(huì)做。我看到DeepSeek之前好像也發(fā)布了一篇類似的文章，后來(lái)把那篇文章刪掉了。你覺(jué)得現(xiàn)在的競(jìng)爭(zhēng)格局是什么樣的？

Andrew Dai：DeepSeek那篇文章很有意思，發(fā)出來(lái)之后又刪了，但在網(wǎng)絡(luò)上什么都刪不了，大家都已經(jīng)讀過(guò)了。其實(shí)DeepSeek的想法和我們的路徑很像。但其他前沿實(shí)驗(yàn)室，像OpenAI、DeepMind和Anthropic，我覺(jué)得他們?cè)絹?lái)越偏向編程方向，因?yàn)榫幊淌袌?chǎng)很大，而且他們認(rèn)為做好編程模型可以實(shí)現(xiàn)self-improvement，也就是所謂的recursive self-improvement（遞歸自我提升，RSI）。誰(shuí)先突破，誰(shuí)就先達(dá)到AGI，這些前沿實(shí)驗(yàn)室都不想成為第二，所以有很大壓力去做更好的編程模型。正因?yàn)檫@種壓力，他們對(duì)多模態(tài)視覺(jué)推理這個(gè)方向關(guān)注不夠。我在Gemini的時(shí)候就感受到了這一點(diǎn)，所以覺(jué)得現(xiàn)在是做多模態(tài)推理模型的好時(shí)機(jī)。

陳茜：所以你覺(jué)得DeepSeek會(huì)是你們比較大的競(jìng)爭(zhēng)對(duì)手嗎？

Andrew Dai：可能吧，但我不知道他們?yōu)槭裁窗涯瞧恼聞h了，是不是又換了方向？

陳茜：如果你們是一個(gè)非常research-driven（研究驅(qū)動(dòng)）的團(tuán)隊(duì)，距離達(dá)到AGI還有一段時(shí)間。那投資人肯定也會(huì)問(wèn)：中間你用什么來(lái)養(yǎng)活自己？除了VC的錢，你們的產(chǎn)品商業(yè)化落地是怎么規(guī)劃的？

Andrew Dai：我們是一個(gè)研究與產(chǎn)品并重的實(shí)驗(yàn)室，也做frontier research（前沿研究）。但我有Google Brain的背景，Google Brain當(dāng)時(shí)也有一個(gè)目標(biāo)：把這些模型放到產(chǎn)品里，讓幾十億人使用。現(xiàn)在Gemini就有很多人在用了，那是比較成功的。我們這家公司也有同樣的目標(biāo)：做一個(gè)APII（應(yīng)用程序接口），讓大家使用，幫助企業(yè)解決視覺(jué)問(wèn)題。

陳茜：就是通過(guò)模型API的方式變現(xiàn)。但你的ultimate goal（終極目標(biāo)）還是幫助大語(yǔ)言模型和視覺(jué)模型一起達(dá)到AGI？

Andrew Dai：對(duì)，至少達(dá)到視覺(jué)AGI。

陳茜：怎么定義視覺(jué)AGI？

Andrew Dai：我覺(jué)得“視覺(jué)AGI”比“AGI”表達(dá)得更準(zhǔn)確。AGI的門檻每天都在變，有些人說(shuō)我們已經(jīng)達(dá)到AGI，有些人說(shuō)沒(méi)有。但“視覺(jué)”這件事，大部分人都能看到東西，在最基本的層面上能力差不多，比如你看到一個(gè)方向盤就知道怎么用，看到系鞋帶的動(dòng)作就知道怎么做，拼樂(lè)高或宜家家具也都是視覺(jué)問(wèn)題，但這些現(xiàn)有的模型都做不好。如果有了一個(gè)可以做這些最基本視覺(jué)任務(wù)的模型，那距離AGI就不遠(yuǎn)了。

08

“最重要的資源是時(shí)間”

谷歌14年的研究品味與引路人

陳茜：你覺(jué)得自己出來(lái)做公司跟在谷歌有什么不一樣？在谷歌14年，你有無(wú)限的資源、資金和人才，出來(lái)之后什么都要自己搞，需要找人、找錢、找方向，這中間的差異對(duì)你來(lái)說(shuō)是什么樣的體驗(yàn)？

Andrew Dai：很多地方不一樣，卡方面當(dāng)然少很多。但有一個(gè)優(yōu)點(diǎn)，在谷歌或大公司，優(yōu)先級(jí)可能每周都變，今天有卡，下周可能就沒(méi)了。在新公司則更穩(wěn)定，我們買了卡，沒(méi)有人會(huì)拿走。

另外，我突然需要學(xué)很多新東西，比如怎么用PyTorch（因?yàn)镈eepMind都用JAX）、怎么用Megatron、怎么用AWS、怎么用Slurm。谷歌基本上不用開(kāi)源的東西，所以學(xué)習(xí)曲線對(duì)我來(lái)說(shuō)很陡峭。

還有一個(gè)比較難的是招聘，DeepMind的Gemini團(tuán)隊(duì)很多人都想加入，發(fā)了offer候選人一般會(huì)接受。但在小公司不一樣，我們現(xiàn)在還沒(méi)有太大的名氣，候選人知道小公司風(fēng)險(xiǎn)更大。所以招聘更難，有的人喜歡大公司的安全感，但也有人想嘗試新的地方，覺(jué)得我們可能會(huì)成為下一個(gè)OpenAI或Anthropic，所以會(huì)加入我們。

陳茜：出來(lái)之后，你說(shuō)會(huì)有更多的research freedom（研究自由）。但研究自由的代價(jià)是什么？

Andrew Dai：代價(jià)是支持會(huì)少一些。在谷歌，如果一個(gè)研究想法不成功，沒(méi)關(guān)系，還可以做下一個(gè)項(xiàng)目，公司有很多資源支持你。但在初創(chuàng)公司，一個(gè)失敗的研究想法風(fēng)險(xiǎn)更高，因?yàn)槟切┵Y源已經(jīng)消耗了，不會(huì)回來(lái)。因此我做研究的壓力會(huì)稍微大一些，我們現(xiàn)在就是尋找世界上最好的研究員，靠他們做出很好的成果。

陳茜：你覺(jué)得谷歌這14年帶給你最大的是什么？

Andrew Dai：我這幾年運(yùn)氣很好，能待在世界一流的研究室，看著AI發(fā)展到今天這個(gè)程度。10年前沒(méi)有人會(huì)想到AI會(huì)發(fā)展得這么快，這是不可能的。我本來(lái)一直覺(jué)得世界變化比較慢，登月都已經(jīng)是快六十年前的事了，但AI出現(xiàn)之后，突然感覺(jué)科技發(fā)展又重新提速了。

陳茜：你之前跟我提到過(guò)一個(gè)詞叫research taste（研究品味），說(shuō)neolab的這些人，都是因?yàn)樗麄兯粗氐难芯糠较蛟诖蠊纠锊槐恢匾暎@很考驗(yàn)一個(gè)研究員的研究品味。能跟我們說(shuō)一下，研究品味為什么重要嗎？你在谷歌的14年是如何養(yǎng)成這種研究品味的？

Andrew Dai：對(duì)，研究品味很重要，不只是因?yàn)榕軐?shí)驗(yàn)需要卡和資源，我覺(jué)得最重要的資源是時(shí)間。如果你跑了一個(gè)錯(cuò)誤的實(shí)驗(yàn)或者走了一條錯(cuò)誤的路，時(shí)間不會(huì)回來(lái)。你要知道什么時(shí)候繼續(xù)追一個(gè)方向，也要知道什么時(shí)候放棄，研究品味就能幫助你做出這些判斷。

我的研究品味很大程度上來(lái)自Geoffrey Hinton。他一直認(rèn)為，做AI要根據(jù)大腦的工作方式來(lái)，如果大腦用某種方式處理視覺(jué)，那我們的模型也應(yīng)該用類似的方式。就像CNN（卷積神經(jīng)網(wǎng)絡(luò)），這些神經(jīng)網(wǎng)絡(luò)模型是參照大腦的神經(jīng)元設(shè)計(jì)的，也是從數(shù)據(jù)中學(xué)習(xí)的。我們現(xiàn)在的模型也都是從數(shù)據(jù)學(xué)習(xí)，一個(gè)全新的Transformer什么都不知道，給了數(shù)據(jù)才能做事。這也契合神經(jīng)科學(xué)的想法：大腦一開(kāi)始什么都不懂，通過(guò)成長(zhǎng)才慢慢學(xué)會(huì)很多東西。所以我做研究的時(shí)候，也按照這個(gè)思路來(lái)判斷：如果某個(gè)新方向和人類神經(jīng)認(rèn)知的方式相差很遠(yuǎn)，我可能就不會(huì)追那個(gè)方向。

陳茜：你的新公司Jeff Dean也有投資，你覺(jué)得在整個(gè)谷歌生涯中，Jeff Dean對(duì)你來(lái)說(shuō)是怎樣的存在？

Andrew Dai：Jeff Dean是一個(gè)很好的advisor（導(dǎo)師）。我剛進(jìn)Brain團(tuán)隊(duì)就認(rèn)識(shí)了他，那時(shí)候我們的模型跑得很慢，我的經(jīng)理說(shuō)如果有速度問(wèn)題，直接去問(wèn)Jeff Dean，他什么都知道。他來(lái)到我的電腦旁邊，不光看代碼，還看machine code（機(jī)器碼），比C++和Python還要深層的代碼，然后說(shuō)“噢，這個(gè)地方不對(duì)”，然后他就給改了。

從那時(shí)候我就知道Jeff Dean是很親力親為的人，什么都懂、什么都學(xué)，包括自學(xué)了深度學(xué)習(xí)，才能做出Google Brain。所以他是我比較重要的榜樣。他現(xiàn)在是Gemini的負(fù)責(zé)人，做得很好。

陳茜：在谷歌里面還有沒(méi)有其他對(duì)你影響很大的人？

Andrew Dai：Quoc Le的影響也比較大，我跟他合作了好幾個(gè)項(xiàng)目，也一起帶了好幾個(gè)實(shí)習(xí)生。谷歌厲害的人太多了，我覺(jué)得Google Brain和DeepMind就是這一代的Bell Labs（貝爾實(shí)驗(yàn)室），聚集了非常多聰明的人。包括Noam Shazeer，他真的非常厲害。還有Demis Hassabis，他是很獨(dú)特的人，致力于用AI幫助整個(gè)世界，這個(gè)目標(biāo)我覺(jué)得很了不起。

陳茜：最后可以聊聊你想招什么樣的人才？對(duì)于好的人才，你跟他們喊幾句話，告訴大家為什么他們應(yīng)該來(lái)你的公司，和你一起實(shí)現(xiàn)視覺(jué)AGI？

Andrew Dai：我們現(xiàn)在在招世界一流的團(tuán)隊(duì)。我們認(rèn)為人才密度越高，進(jìn)步就越快。我看到DeepSeek這些中國(guó)研究機(jī)構(gòu)，正是因?yàn)橐?guī)模小、人才密集，才能做出很好的東西。我們?cè)谡杏卸嗄B(tài)經(jīng)驗(yàn)、RL經(jīng)驗(yàn)的研究員，也在招管理過(guò)GPU集群、training kernels（訓(xùn)練算子）、CUDA kernel（CUDA算子）、optimization（優(yōu)化）這些方向的基礎(chǔ)設(shè)施工程師。

為什么要加入我們？因?yàn)槲矣X(jué)得我們這個(gè)團(tuán)隊(duì)屬于是neolab里的頂尖梯隊(duì)，能找到有這么多數(shù)據(jù)經(jīng)驗(yàn)、預(yù)訓(xùn)練經(jīng)驗(yàn)、前沿模型經(jīng)驗(yàn)的地方可能只有三四個(gè)，大部分其他的neolab都沒(méi)有這么豐富的積累。我們的方向也是一個(gè)比較新的方向，我們認(rèn)為會(huì)帶來(lái)下一代的推理，一種更接近人類推理方式的reasoning（推理）。我們希望大家來(lái)跟我們一起成長(zhǎng)，成為下一個(gè)Anthropic或下一個(gè)OpenAI。

陳茜：好的，謝謝Andrew。

Andrew Dai：謝謝。

09

Office tour

AI科學(xué)家需要綠植和白天蒸桑拿?

陳茜：你們也是剛搬進(jìn)來(lái)，對(duì)吧？

Andrew Dai：對(duì)，剛搬進(jìn)來(lái)，我們還在用鑰匙開(kāi)門。

陳茜：現(xiàn)在是周五下午，員工都差不多離開(kāi)了。你們現(xiàn)在有多少人？

Andrew Dai：差不多15個(gè)人。

陳茜：你們現(xiàn)在的比例是怎樣的？多少人在做研究，多少人在做基礎(chǔ)設(shè)施？

Andrew Dai：可能是12個(gè)人在做研究，1個(gè)人在做基礎(chǔ)設(shè)施，2個(gè)人在做運(yùn)營(yíng)，我們是非常重研究的團(tuán)隊(duì)。

我們之所以選擇這個(gè)辦公室，就是因?yàn)檫@個(gè)院子。就像大學(xué)里的Quad（四方院）。我們午飯、happy hour都來(lái)這里，有客人也在這里接待。

陳茜：你們還需要多一點(diǎn)綠植。

Andrew Dai：對(duì)，還有一個(gè)噴泉，可以讓人放松。

陳茜：這個(gè)院子你打算再加什么東西嗎？

Andrew Dai：我們有一個(gè)研究員想加一個(gè)桑拿，累了就去泡。可能在桑拿的時(shí)候能想到一些東西。就像我洗澡的時(shí)候會(huì)thinking（思考）。

陳茜：所以你會(huì)用視覺(jué)模型去玩桌游嗎？

Andrew Dai：我試過(guò)了，但它們太差了，連象棋都不太會(huì)玩。可能等我們的模型做完之后，就可以用它打桌游了。

陳茜：你最愛(ài)的辦公室是哪一間？

Andrew Dai：就是角落那間。

陳茜：這間嗎？光線很好，還有一個(gè)站立式辦公桌。所以你經(jīng)常會(huì)在這邊看著外面，想一想？

Andrew Dai：對(duì)，或者坐在這里打電話。

陳茜：你現(xiàn)在大概一天的時(shí)間分配是怎樣的？有多少時(shí)間在做運(yùn)營(yíng)工作，多少時(shí)間在做research（研究） 跟thinking（思考）？

Andrew Dai：我白天大部分時(shí)間都在做運(yùn)營(yíng)，比如面試、搭建IT架構(gòu)、搭建AWS。Research（研究）基本上是周末和晚上，在家里很安靜，可以思考新的方法。

陳茜：經(jīng)常在洗澡的時(shí)候有新想法。

Andrew Dai：是的，很多idea都是洗澡時(shí)冒出來(lái)的。

陳茜：我也是。然后idea來(lái)了之后，馬上用Claude Code就可以實(shí)現(xiàn)了。

Andrew Dai：對(duì)，現(xiàn)在因?yàn)榫幊棠Ｐ秃芎茫覀兛梢院芸焯走M(jìn)去看看，這個(gè)idea好不好，快很多。

陳茜：這個(gè)idea是來(lái)自研究員還是你自己？你們公司的idea是怎么產(chǎn)生的？

Andrew Dai：都有。比如一些新的vision encoder（視覺(jué)編碼器）的想法是我提出的，一些SFT（監(jiān)督微調(diào)）和數(shù)據(jù)的想法是團(tuán)隊(duì)里的人提出的，現(xiàn)在正在跑。但我們總體覺(jué)得，自動(dòng)化研究工具產(chǎn)生的想法太平庸了，沒(méi)有創(chuàng)造力，做研究一定需要?jiǎng)?chuàng)造力。

以前ideas很便宜，因?yàn)榫幊毯茈y、執(zhí)行很難。但有了Claude Code、GPT Codex之后，執(zhí)行容易了很多，ideas的價(jià)值就上漲了。

陳茜：所以這些有創(chuàng)造力的研究員，現(xiàn)在是大家爭(zhēng)搶的寶貴資產(chǎn)。

Andrew Dai：對(duì)，creative researchers（有創(chuàng)造力的研究員）非常重要。

陳茜：最近neolab出來(lái)了很多人和創(chuàng)業(yè)公司，你覺(jué)得這個(gè)趨勢(shì)還會(huì)持續(xù)嗎？

Andrew Dai：我覺(jué)得還會(huì)，因?yàn)楝F(xiàn)在機(jī)會(huì)很多，開(kāi)源模型很多，融資也變得容易了一些，很多公司都在IPO。所以這段時(shí)間我覺(jué)得還會(huì)有更多。但這也是一個(gè)窗口，過(guò)了一段時(shí)間，我們這一代neolab都成長(zhǎng)壯大了，再新起來(lái)的就會(huì)更難了。

陳茜：你覺(jué)得這個(gè)窗口的截止日期是什么時(shí)候？

Andrew Dai：很難說(shuō)，可能是這兩年吧。然后等一段時(shí)間，又會(huì)有下一代實(shí)驗(yàn)室。

陳茜：下一代實(shí)驗(yàn)室會(huì)是什么樣子的？

Andrew Dai：我不知道。可能是AGI之后的實(shí)驗(yàn)室，那我就不知道了，可能都是AI在跑，但現(xiàn)在它們的創(chuàng)造力離人類的創(chuàng)造力還太遠(yuǎn)了，所以還不適合。

陳茜：好的，謝謝Andrew。

Andrew Dai：謝謝。

以上就是我們與Andrew Dai的全部訪談和辦公室探訪了。Neolab是如今在硅谷非常重要的一個(gè)支線，也是今年在硅谷101著重關(guān)注的方向。接下來(lái)我們還會(huì)有更多Neo Labs創(chuàng)始人的深度訪談。

如今VC的大量資金涌入這樣的新型AI實(shí)驗(yàn)室，是因?yàn)檫@些大基金們?cè)贠penAI等前沿模型上的賭注已經(jīng)太重了，他們需要一些對(duì)沖：萬(wàn)一大語(yǔ)言模型無(wú)法走到最后呢？那么接下來(lái)AI怎么發(fā)展，可能就是要看這些neolab的研究的成果。

就像AI靈魂領(lǐng)袖Ilya Sutskever說(shuō)的那樣：我們正在重新回到“研究時(shí)代”。

注：部分圖片來(lái)源于網(wǎng)絡(luò)

【本期節(jié)目不構(gòu)成任何投資建議】

【視頻播放渠道】

國(guó)內(nèi)：B站｜視頻號(hào)

海外：Youtube

聯(lián)系我們：video@sv101.net

【創(chuàng)作團(tuán)隊(duì)】

監(jiān)制｜泓君 陳茜

撰稿/采訪 ｜陳茜

剪輯｜Frentee 橘子

運(yùn)營(yíng)｜孫澤平 王梓沁 13