<blockquote id="g5mpq"><rt id="g5mpq"></rt></blockquote>

    1. <pre id="g5mpq"></pre>
      <i id="g5mpq"><legend id="g5mpq"></legend></i>
      浪漫女家教主演:黛比地区:台湾 ,日本jiZz,爸爸的种子在线观看,特别的酒店2免费,哇嘎在线,荒野渔夫高清免费观看,新有菜在线免费观看,哇嘎美国
      網易首頁 > 網易號 > 正文 申請入駐

      對話王仲遠:當 AI 邁向物理世界,物理 AGI 的上限還很高

      0
      分享至

      商業漫談

      Jane's interview


      AI 將正式從數字世界,邁向物理世界。

      過去幾十年,

      神經網絡的每一次突破,

      都伴隨著數據、算力、參數的規模突破和算法創新。

      所以我對 Scaling Law 依然是 believe 的。

      文 | 衛詩婕

      對話嘉賓|王仲遠(智源研究院院長)

      創新應該以何種方式被規劃?

      三年前,我曾經寫下過一個中國式嘗試(《 》)。

      2023 年,在中國大模型正如火如荼的時候,我曾專訪過當時的智源研究院創始理事長、美國國家工程院外籍院士張宏江博士。

      作為一家非營利機構,智源研究院效仿 OpenAI,是一家獨立于政府、商業和高校之外的新型科研機構。 2018 年前微軟亞洲研究院創始人之一、剛從金山 CEO 的位置上退休的張宏江主導了這一切。在宏江博士看來,真正的科研創新,需要讓年輕學者在最有熱忱和動力的年齡展開真正高效的學術研究,做最前沿的、敢于失敗的、但值得長期投入的技術探索方向。所以,當年的智源就堅定地喊出了要給年輕人以舞臺。

      2020 年,智源最早啟動大語言模型悟道系列,為此調度大量資源,并大膽地啟用年輕人。后來,中國大模型創業潮里的靈魂人物唐杰、劉知遠、文繼榮、黃民烈、楊植麟、魯百、宋睿華等,都曾是悟道項目中出現過的身影。

      智源研究院,也因此被稱作,中國大模型的黃埔軍校。

      距離那次采訪已經三年過去,智源研究院經歷了從大語言模型到多模態世界模型的研究路線進化,這家年輕的機構,也迎來了首位 85 后院長——王仲遠博士。

      1985 年出生的王仲遠,今年剛好 40 歲。在智源倡導「青年人挑大梁」的口號下,沒有什么語言和行動,能比選任一位足夠年輕的院長,更具說服力。

      2018 年, 33 歲的王仲遠曾被麻省理工科技評論評為 35 歲以下科技創新 35 人中的遠見者。理由是:他曾在知識圖譜和 NLP 領域解決多項挑戰性問題,是 AI 領域杰出的青年科學家代表。

      過去近 20 年,仲遠先后經歷過微軟、Facebook、美團、快手這四家大廠——用他的話來說,他在微軟學會了做研究,在 Facebook 學會了將技術落地為產品,在美團學會了管理,在快手意識到深度學習將迎來大一統…

      帶著深厚的產學研經驗,和最強的學術熱情,仲遠來到了智源。

      在今年 6 月初的智源大會上,智源邀請到四位圖靈獎得主,并發布悟界系列模型——涵蓋原生多模態、腦科學、微觀生命、具身大腦多個大模型,以及一個跨本體具身大小腦協作框架。其中,多個重要項目負責人都在 30 歲上下。

      我們的對話就發生在智源大會后一周。這場對話將涵蓋:

      1. 為什么 AI 是年輕人的事業?

      2.這一輪深度學習浪潮,過去 13 年來的演進

      3. 具身智能是未來嗎?

      4. 什么是世界模型?跨模態、多模態和全模態是什么?

      5. 為什么 AI 將從數字世界走向物理世界?

      下文為訪談節選,為方便閱讀,下文為訪談節選。

      (完整版請觀看視頻版或收聽播客版)

      (?視頻版可前往B站,播客版可前往小宇宙、蘋果Podcast 等,搜索同名賬號《衛詩婕 商業漫談Jane's talk》)

      由于訪談全文較長(共 16891 字),可先參考目錄:

      Chapter 1. 為什么 AI 是年輕人的事業?

      1.智源是一家什么樣的研究機構?為什么堅定地支持年輕人?

      2.首位 85 后院長如何誕生?

      3.圖靈獎得主 Hinton 也坦言:「很多了不起的創新研究,都是我的學生做的」

      4.仲遠幾次關鍵選擇,背后的技術理想

      Chapter 2. 從微軟、Facebook 到美團、快手: 快與慢的哲學

      1.微軟要求員工,要以最高道德標準行事

      2.Facebook:move fast , break things(快速行動,打破傳統)

      3.同理心、growth mindset 與「練心智」

      4.愚昧之巔,絕望之谷,開悟之坡

      Chapter 3.深度學習,要開始大一統了

      1. 從 2018 就開始用 Transformer 的企業

      2. Transformer 大一統,意味著什么?

      3.「當56個民族都開始使用普通話時,大家就可以交流了」

      4. 跨模態、多模態,全模態

      5. 越簡單、統一的結構,有越強的生命力

      Chapter 4.從原生多模態到世界模型:“AI 將從數字世界走向物理世界”

      1. 從語言到多模態,再到具身智能和 AI for Science,最終到世界模型

      2.「人類的互聯網數據已經被用完了」

      3. 文本數據枯竭的幾種解決方式:合成數據、后訓練和推理、多模態

      4. 多模態數據到底能不能夠提升大模型的智能?

      5. 人類出生時還不會說話,就已開始多模態的訓練

      6. 僅有語言模型是遠遠不夠的

      7. 為什么大模型會突然「精神失常」?

      Chapter 5.談具身智能:“大語言模型或許進入下半場,但多模態和具身的上限還很高”

      1. 兩歲的小女孩,在沒有任何大人教導的情況下,學會了拆糖果

      2. 泡沫起來太快、熱度太高,未來兩年可能會陷入低谷

      3. AI 在物理世界的上限還很高

      4. 功成不必在我,智源倡導「真開源」

      5. 我們不知道自己的開源模型被哪些團隊用了

      6. AI 進入物理世界的關鍵難點

      7. 我對于 Scaling Law 還是相信的

      Jane's interview

      01

      為什么 AI 是年輕人的事業

      “很多技術突破,都是年輕人做出來的”

      衛詩婕 :今天的對話有一個淵源:2023年我采訪了當時的智源研究院理事長張宏江老師。那時你還沒有來。

      王仲遠 :那篇文章我也看到了,真的寫得非常好,非常有深度。

      衛詩婕 :當時印象最深的一點是,宏江老師說一定要支持年輕人、給年輕人機會。GPT-3 出現時是萬卡集群,2020 年的智源從 80 張卡追起,堅定地調度大量資源、啟用一批年輕人去訓大模型。比如今天面壁智能的 CTO 劉知遠,當年在清華年輕到還沒評上副教授,卻在智源運作了一個千萬級資源的項目,他說他特別感謝智源。

      你是智源史上第一位 85 后院長。你的到來讓大家更加相信,智源會是年輕人的舞臺。你是如何成為首位 85 后院長的?

      王仲遠 :從智源組建的第一天開始,我就知道這個機構的存在,當時我還在美團負責 NLP 加搜索的團隊。2018年 Bert 模型已經出現了,那時候國外也已經開始在探討 Bert 、 GPT 系列的模型。智源就是在這樣一個背景下成立。

      那時候我陸陸續續會聽說,智源讓青年人挑大梁——很多和我年齡差不多的、也很年輕的助理教授、副教授們,都在智源開始承擔很大、很重要的項目,慢慢就覺得,這是一個好有意思的機構。它在 AI 界這么有名、每年智源大會非常火爆,但卻很重用年輕人。但即便是這樣,2023 年 7、8 月份時,宏江博士通過別人引薦,說他們在遴選院長,問我愿不愿意聊一聊,我還是不敢相信:

      按照以往的科研機構,院長怎么也得找個院士或大咖吧。我這么年輕,真的有機會嗎?那時候我才 38 歲。

      衛詩婕 :是心動的對吧?

      王仲遠 :是心動的,但不敢相信。后來我才得知,他們選了一個最年輕的。

      衛詩婕 :找工作要面試,選院長需要面試嗎?

      王仲遠 :非常多輪,前前后后聊了也有小半年。選院長有全方位的考核:一要看科研方面有沒有足夠的成績;也看系統開發、讓技術實際落地的能力;最后,由于要調度的資源很大,也要看實際的管理能力。

      衛詩婕 :「系統」是指什么?

      王仲遠 :指的是科研最終要變成人人可體驗的成果,而不止是一篇 paper。就像 ChatGPT 出現之前,從 GPT 到 GPT 1、 GPT 2 、 GPT3,業內人確實都已經關注到這些科研工作了,但直到 ChatGPT 這樣的產品出來,人們才能真正體會到,當下的人工智已經達到這樣一個水平。

      衛詩婕 :為什么國家領導人也說, AI 是年輕人的事業?

      王仲遠 :其實很多很多的技術突破,都是年輕人做出來的。包括 Hinton(圖靈獎得主)教授,他也提過類似的觀點,他說「我很多的創新其實都是我的學生做出來的」。在人工智能這個領域,尤其也是這樣。如果你關注我們去年的智源大會,會看到像 OpenAI 的 Sora 的技術負責人,他提到,今天所有人工智能的技術突破,是顛覆了以往所有的范式。那么也就意味著,以往陷入在傳統的科研范式中越深的人,越難以自拔,越難以突破那種思維的局限和慣性。但年輕人是不受束縛的,年輕人是沒有失敗的,可以去做各種各樣的嘗試。真正的突破,是需要去做這些嘗試的——這也是智源青年人挑大梁的理念來源。

      智源很多重大的科研項目都是由年輕人來擔當整體的負責人。比如我開頭提到的王鶴老師(銀河通用創始人),他從 Stanford 畢業之后,也就一兩年時間,就在智源這邊獲得了相應的支持來開展具身智能的研究。再比如智源的原生多模態世界模型 Emu3,負責人今年也才 29 歲,也是獲得了千萬級資源的支持。

      衛詩婕 :你來到智源,如何讓年輕人之間的學術氛圍活躍起來?

      王仲遠 :智源有幾個非常核心的理念,包括不論資排輩、不看帽子、倡導代表作文化。我們在遴選項目負責人的時候,更多地看過往科研方面的代表作,或者做過的開源項目。這些代表你在行業里面有沒有自己的認知和影響力。

      但這些都是過去。更重要的是看這個年輕人有沒有對技術的理想和熱情。

      衛詩婕 :怎么去甄別一個人有沒有技術理想?

      王仲遠 :從言談和實際行動的選擇中都會有體現。我自己就是一個理想和現實主義交織的、不斷融合的經歷。

      最早我加入微軟亞洲研究院的時候,深度學習剛剛開始,我們不斷做了很多單點技術的突破,但坦率講,我一直覺得 AGI 很可能是下一代的事情。

      那時候我們常開玩笑,人工智能和人工智障,只差一個字。

      但我記得 2018 年 Bert 出來的時候, Bert 模型打破了 11 項 Benchmark ,達到了 SOTA 的水平。這樣一個基于 Transformer 架構的深度學習、用堆數據的方法,似乎有可能解決原來 NLP 里一直都沒辦法解決的智能的瓶頸,當時我做知識圖譜其實也是在用另外一條路嘗試突破自然語言處理的智能水平。

      我意識到這絕對是一個重大突破。于是我找到老王(王慧文),那時我還在美團,找他申請了 400 張 V100,在當時,這是一筆很大的算力支持,讓我意外的是,老王非常痛快地通過了,你也知道,美團是極其務實、非常講究 ROI 的一家公司。但最終,我們當時也做出了美團 Bert 這樣一個模型,然后在很多的業務開始落地。

      到了 2022 年底, ChatGPT 發布了。我們當時在快手搞了一個叫 K7 的多模態大模型,這時候,這不僅僅是一個探索了,我們意識到大模型技術真正有可能影響到整個產業和社會,這是一次重大的技術變革。也就是在那個階段,我產生了很多思考。

      我印象很深,2023 年 3 月份, GPT 4 剛剛發布沒幾天,我到我們家娃的小學,給三年級的小朋友們上一堂人工智能課,給他們講,數字人是多么有意思,ChatGPT 解題解的有多么好。全班的小朋友都沸騰了,大家說,哇,好厲害,以后可以不用做作業了。

      這時候班上一個小女孩站起來問我說,叔叔,如果人工智能什么都能做了,那么將來我們做什么呢?就是這樣一個非常簡單的問題,直擊我的心靈,讓我反思了很久,我在想,原來我覺得 AGI 是下一代的事情,甚至下一代才會接觸到 AGI 的可能性、還不是實現。但事實是,我們這一代就會觸及到(AGI 的可能性),并且我們的下一代很可能就會跟它(AI)共存,到時候的社會會是什么形態?今天還有哪些技術突破亟待解決?

      如果面對的是這樣一場重大革命,在企業里我會有力不從心的感覺,難以將自己 100% 的精力都 all in 在 AI 上。我的內心很掙扎。這就是技術熱情和理想。所以我來了智源。

      衛詩婕 :你后來怎么回答那個小女孩?

      王仲遠 :坦誠講,直到今天,我依然沒有一個很準確的答案。人工智能究竟會成為我們的工具,還是會成為超越人類智能的存在。其中有不確定性。

      我當時回復那個小女孩,AI 在不斷發展,很重要的一點是,我們要持續去了解技術、使用技術、測試它的邊界。第二,人在社會里更重要的是三觀:世界觀、人生觀、價值觀,這決定了你能否變成一個對于社會來說有價值的人。第三,練就并保持自我學習的能力。


      Jane's interview

      02

      從微軟、Facebook

      到美團、快手:

      “快與慢的哲學”

      衛詩婕:你人生當中第一次感受到學術研究帶來的快感是什么時候?

      王仲遠 :在人大的時候,當時申請了一個叫做 SIGMOD 的獎學金,我們做了一個叫 Deep Web Learning 的項目。簡單來說我們做的研究是如何把生成網絡的數據給結構化,其實就是知識圖譜的一些雛形。

      最終我們搭建了一個叫「 job 通」的系統,能幫助學生們更加便捷地獲取各種求職信息的一個系統。當時很多人大學生就開始用起來了,這就給了我非常大的一個鼓舞。

      我所說的「系統性」的理念,在那時就埋下了。

      衛詩婕:你曾經說過,大四時堅定地等微軟的 offer,并因此拒絕了其他所有大廠的offer?

      王仲遠 :微軟亞洲研究院在那個年代是一個讓人仰望的機構。1998 年它在中國成立,也是一個創業型的科研機構,跟智源研究院今天的狀態非常像。當時它匯聚了一批全球最頂尖的研究員,不僅僅有頂尖的科研成果,也在為這個社會培養頂尖的人才。

      那時人們心里會有一個認知:如果你想做最頂尖的研究,一定要去這個機構。我想做科研,所以我堅定地等待微軟的offer。好在最后等到了。

      衛詩婕:微軟教會你最重要的事是什么?

      王仲遠:微軟要求員工以最高的道德標準行事。大意是這樣。呼應我上面說的三觀。我始終堅持認為,一個能力很強、但道德品行很差的人,對于社會的危害是非常大的。

      衛詩婕 :你在微軟從應屆校招生一路做到主管研究員。去微軟就是因為想做學術研究,但為什么 6 年之后選擇離開 、去了 Facebook ?

      王仲遠 :這就又回到了整個技術發展的趨勢。我們知道這次深度學習的興起、第三次人工智能發展的浪潮是從 2006 年辛頓教授等人在《 Science 》上的一篇論文開始的。然而它真正的爆發是在 2012 年,辛頓教授帶領他的兩個學生在 ImageNet 比賽上一舉奪冠,讓整個產業界又開始關注到,原來深度學習真的 work。

      整個2006- 2012年間,深度學習在發展,技術路線也有各種爭論。這期間,從 2010 年到 2016 年,我一直在微軟亞洲研究院,在那里的每一天,我都充滿了激情和能量,每天非常期盼去上班。但很難說哪一年的具體哪一天,我突然開始意識到,我好像與社會有些脫節了。

      衛詩婕:為什么?

      王仲遠 :這時候國內的阿里巴巴、騰訊、百度已經形成了 BAT,美團、今日頭條也出現了。外面的世界似乎在各種高樓平地起,而微軟亞研院像一個非常安全的港灣,一個世外桃源,有點像烏托邦、象牙塔。

      我的同學們一直給我傳來產業界的各種信息,我知道,這個世界在發生劇烈的變化。我擔心離這些變化越來越遠,很擔心被這個時代拋棄。所以我最終決定邁出這一步。

      衛詩婕:為什么最終選擇了 Facebook?

      王仲遠 :當時剛好有個機會去 Facebook 看看。Facebook 是真正的互聯網公司,節奏完全不一樣。在 Facebook 一周就可以發版一次。我們經常開玩笑說 Facebook 是最像創業公司的一家大公司,他也非常強調「 Move fast, break things(快速行動,打破傳統)」——與其想得那么多,還不如趕快行動。即使做錯了也沒關系,再迭代就好了。

      在 Facebook,人們一有想法,就立刻把它變成產品,然后全世界幾十億的用戶就用到了。這種成就感很多時候真的會讓人有非常強的 passion(熱情) 和動力。

      我那時候在 Facebook 工作,經常不自覺工作到了凌晨一兩點。這個從來不是 Facebook 主動要求的,而是自發的。回國后和很多人交流時我都說,Facebook 在寬松的地方真的非常寬松,男性的陪產假居然有四個月,每周三可以在家辦公,早餐、午餐、晚餐全部免費提供。

      這是一家讓人覺得非常寬松、非常自由,又很容易去迭代的一家公司,但是,他也通過一系列 OKR、激勵和淘汰機制要求你不斷證明自己,創造出新的一個又一個的業績和結果。我們當時有 weekly Scrum,大家每周都會在一起快速地同步,我們做了什么,我們還要做什么。這樣迫使你不進則退。

      所以我來到智源后,也會嘗試去營造這樣一個環境。一方面我們特別的寬松,我加入智源之后干的很重要的一件事情就是取消了上下班打卡,也增加了很多的福利,還加大了激勵,(績效獲得) S 和 A 的同學,年終獎大幅地提升,甚至超過互聯網公司。但我們也會淘汰。甚至會終止項目。

      衛詩婕 :過程上是寬松的,但是在結果上相對嚴格。

      王仲遠 :對。

      衛詩婕 :快和慢之間的哲學,怎么把握?

      王仲遠 :模型訓練也好,企業管理也好,都需要快和慢的結合。我們既需要對終極科研目標的追求,同時出于現實的考量,我們也要看哪一些是比較低垂的果實,需要把它盡快拿到,這個需要去平衡——因為我們需要很多的資源、很長的周期,也需要短期結果去讓投資人相信,他們不是所托非人。

      如果是很確定性的事情,就是要快,因為你不快,別人就已經搶先做出來了。但是有一些不確定性的事情,就是要慢,要給科研人員以足夠的思考時間,足夠的反思和嘗試的時間,給他以失敗的寬容,試錯的空間,才有可做到真正的突破。

      很有意思的是,你剛才正好問到 Facebook,我們今天早晨開會的時候還在聊, Facebook 的 Lama 4,為什么最近好像有點不那么給力?信息不一定準確,但可能因為他們做幾個月就換一撥人,又做幾個月又換了一撥人。快節奏的調整過程中,就缺乏了積累和沉淀。

      衛詩婕 :離開 Facebook 后你回到了國內,先后加入美團和快手。過程中是否練就了識別人,以及識別企業文化的能力?

      王仲遠 :微軟 CEO 薩提亞寫過一本書叫《刷新》,里面有兩個詞對我影響深遠:一個是同理心,一個是 growth mindset(開放心態)。

      同理心是站在別人的角度去思考問題,這樣我們能夠很快理解,為什么沒法達成一致?或者為什么能夠達成一致?這樣有利于合作共贏。

      美團和快手這兩家公司,都是符合這樣的文化氛圍的。后來我發現原來不同的優秀企業之間,背后是有共性的,都需要做認知的迭代。美團內部會不斷地對一些項目進行復盤,復盤的同時還要做認知迭代,就是想想這件事情為什么做對了(或做錯了)。不僅要把對的部分給認清楚,錯誤的部分也能夠反思清楚,這很重要。

      我在微軟學會了做研究,在 Facebook 學會了做產品、將技術轉化為成果,在美團學會了管理。

      衛詩婕 :美團管理的精髓是什么?

      王仲遠 :定戰略,建團隊,拿結果,煉心智。

      衛詩婕 :前三個可以理解,練心智是什么意思?

      王仲遠 :很多時候即使你盡了全力,你依然有可能失敗。這個時候,你的內心需要足夠的強大,你可以去反思自己為什么成功,也可以去反思自己為什么失敗,盡管這個過程非常痛苦。說到這又讓我想起在美團時有一個理論,叫愚昧之巔、絕望之谷,開悟之坡。你聽過嗎?

      衛詩婕 :沒有。

      王仲遠 :人成功時會覺得自己很順利,這時候會產生一種錯覺,覺得自己無所不能、做啥成啥,覺得自己是非常 unique 的,極度之優秀的,這就產生了愚昧之巔。但很多時候,人所取得的成績是天時、地利、人和綜合的結果,你錯誤地將其都歸納為自己的成果,這就處在了一個愚昧之巔。老王說,作為一名管理者,一個很重要的任務是,當你的團隊成員處于愚昧之巔的時候,你就要將他推向絕望之谷,讓他認知到「愚昧之巔」。

      但你處在「絕望之谷」的時候,你是否自暴自棄、自我否定,覺得自己一事無成?這又變成了另外一個極端。我們需要一顆更加平和的心去面對(失敗)。

      這就進入到開悟之坡。你能夠更淡然地看待成與敗。意識到哪些事情要應勢而為,哪些或許應該放棄,于是你的人生就會進入更加怡然自得的狀態。

      衛詩婕 :你經歷過絕望之谷嗎?

      王仲遠 :肯定經歷過。但我不想分享。哈哈哈。

      衛詩婕:你在絕望之谷的時候想些什么,可以開始爬這個開悟之坡?

      王仲遠 :一定要有這個意識:當你處于絕望之谷的時候,你不是孤單的,全世界幾乎每一個人都會經歷自己的絕望之谷。第二,要用自己最舒服的方式來幫助自己走出抑郁或低谷的狀態。比如我自己就曾經選擇去旅行,在挪威的羅弗敦群島,有雪山、紅葉、大海、藍天。你會發現世界如此之大,為什么要困于自己的繭房之中。

      衛詩婕 :你在美團還學到什么?

      王仲遠 :大概是在 2018 、2019 年的時候,興哥(王興)發過一份全員信,就叫苦練基本功。他說整個商業拉長足夠多的周期來看,很多的失敗最終都是源于基本功不夠扎實。無論是做研究、做商業、做任何的事情,最后大家比拼的都是基本功。

      你能不能夠把基本功的每一個細節,都做到足夠的到位?

      現在訓大模型,為什么不同的模型公司,訓練出來的模型效果不同?雖然現在訓模型的技術大家是相對統一的,方法差不多,但最終模型效果的差異,就藏在你數據的質量、訓練過程極致效率的優化,每一個芯片的利用率,網絡通訊里面的每一次故障,loss曲線中每一次異常的波動你是否都追究了?是否有足夠的敬畏心去扎入到細節中?只有這樣,模型效果才會達到驚艷。

      直到今天,作為院長,我不得不有各類的對外溝通、定戰略、談合作伙伴等等事情。但是對于一些重大的項目,我現在依然會盯得很細,甚至會深入到很多細節,因為細節決定了成敗。

      Jane's interview

      03

      深度學習,要開始大一統了

      越簡單、統一的結構,

      有越強的生命力

      衛詩婕:你加入快手之后,主要精力就在多模態對嗎?

      王仲遠 :對,因為快手是一個短視頻的平臺,所以它不僅僅有 NLP。事實上,快手的 NLP 在最開始還不是主流,我當時接手了快手的 MMU 團隊,這是一個 AI 平臺,它包含了視覺的能力、音頻的能力,后來我們又建設了 NLP 的能力,最后我們發現,很多的技術殊途同歸。我加入后力推的第一個項目,是把整個視覺的底層模型架構全部升級為 Transformer。在那個時候(2020),企業里關于是否運用 Transformer 依然是有爭議的,因為需要消耗的資源量還是挺大的。

      衛詩婕:為什么那個時候就堅定地換成 Transformer?

      王仲遠 :剛才提到2018年,在美團我們已經做了 Bert, Bert 的底層是 Transformer, GPT 的底層也是 Transformer,我意識到一點,深度學習,有可能要大一統了。底層的架構越來越像,越來越接近,都開始基于 Transformer 來進行訓練。

      當我們把原來的視頻、音頻,從 CNN 或者 RNN 的這些結構,都往 Transformer 結構轉變的時候,我意識到,不同模態之間的轉化,也就是跨模態甚至到多模態,可能成為了一種趨勢。

      衛詩婕 :大家都用 Transformer,意味著什么?

      王仲遠 :意味著不同模態的信息,在做編碼的時候,可以統一。

      以前,不同領域的信息,是互不干擾,比如自然語言處理會用分詞、詞法分析、句法分析、語義分析,分階段來完成;在圖像領域有標簽生成的任務,也有把它轉成編碼的任務,還有圖像上的區域識別,物體的識別等等,這些背后的模型,雖然我們都叫深度學習,但深度學習所使用的神經網絡結構各不相同。簡單來講就是,一種任務就用一種結構,這些結構不統一,編碼方式也不統一,訓練數據的格式不統一,最終就各做各的。但當 Transformer 出現,且語音、視覺、NLP 都開始用 Transformer 的時候,我就開始意識到,不同模態可以放在一起進行融合。

      就好像咱們國家有 56 個民族,但是我們都有一個共同的語言叫普通話,當我們使用普通話的時候,不同民族之間大家都可以交流了。所以,不同模態之間,當他們有了共同的架構,就有了共同的語言,就能夠進行融合、產生意想不到的效果。

      衛詩婕 :跨模態、多模態,甚至還有全模態,這幾個概念怎么區分?

      王仲遠 :單一地看,從文字變成圖像,文字變成聲音,圖像變成腦電信號等等,從一種模態跨越到另一種模態,我們將其稱為跨模態——雖然目前行業里更多把這類模態稱為多模態。但我們行業里常常說,此多模態非彼多模態。

      現在常見的圖像理解、視頻理解這種多模態,背后用的模型基本都是類似于以大語言模型為核心,再加上不同模態往語言模型的映射, CLIP 之類的一些架構,以一種偏組合式的、以語言模型為核心的構建方式。比如,文字生成圖像用的是 stable diffusion 這樣的架構,文字生成視頻用的是diffusion、 Transformer 這樣的一些架構。

      但真正的多模態能夠統攬所有的模型,指的是輸入的時候就能夠接受不同的模態一起輸入,輸出的時候也能夠接受不同模態的輸出。他所使用的技術解決方案和剛才講的這些解決方案不一樣。全模態指的是,我們希望所有的模態都能作為輸入,所有的模態都能作為輸出,所以它更代表大一統。

      衛詩婕:智源今年在智源大會上發布了原生多模態世界模型 Emu3。什么是原生多模態?

      王仲遠 :現在我們講的原生多模態,就是希望從一開始就能夠設計出一種統一的架構,能夠把不同的模態各自編碼,或者以某種方式編碼到這個架構里。因為我們人類的大腦某種意義上,就是一個全模態。我們可以接受外界各種各樣的信號,也能輸出各種各樣的信號,最直接的當然是文字、聲音,但是當我們閉上眼睛,也能想象畫面,像視頻一樣,這就是我們全模態的能力。

      這么多年的研究和產業實踐的經驗,我意識到,越簡單、統一的結構,有越強的生命力, scale up 的可能性,越有可能改變這個世界。

      Jane's interview

      04

      從原生多模態,

      到世界模型

      “AI 將從數字世界,走向物理世界”

      衛詩婕 :智源給出了一個 AI 發展的趨勢判斷:從語言到多模態,再到具身智能和 AI for Science,最終到世界模型,為什么是這樣的趨勢?

      王仲遠 :2023 年您采訪宏江博士的時候,業內大家會有一些這樣的爭論:大模型似乎已經開始產業化了,智源還需不需要做大模型?智源接下來該做啥?去年我們開始梳理和分析未來發展趨勢,有一個基本論斷:大模型的發展還遠沒有到盡頭。

      現在已經成熟和收斂的技術路線基本上是局限于大語言模型,或者基于大語言模型所構建出來的多模態模型。那么已經相對成熟的技術路線,就應該交給企業來做。

      我們現在可以看到,大語言模型所依賴的文本數據,主要是互聯網數據。 Ilya 在 NeurIPS 有一次主旨演講,全世界只有一份互聯網數據,因此大語言模型的 Pre-train 階段有可能就已經結束了。固然可能依然還會有一些新的這種數據,高質量的數據,比如說領域數據,比如說一些閉源的數據可以被用來加入到 Pre-train,但是人類的互聯網數據已經被用完了。

      解決文本數據枯竭有幾種方式:

      第一種是合成數據,如何讓人工智能有一天能夠通過合成的數據繼續不斷地迭代大模型的訓練,這肯定是一個非常重要的研究方向。在這個研究方向上,你可以想象互聯網數據本身也是人類寫的。但如果有一天機器人的智能達到或超過人類智能,就有可能創造出比人類創造的數據還高質量的數據,那這些數據就有可能反哺大語言模型,這就是合成數據。

      第二種是,不在意文本數據枯竭的問題了,因為已經有了壓縮了很多知識的foundation model,這個 foundation model 的能力可能還沒被完全激發,這就是后訓練和推理模型,它在去年很大程度上改變了整個產業的格局,使得慢思考的能力所激發出來的智能又出現了一條新的 Scaling Law 曲線。像現在的O3、O4, DeepSeek 的 R1 以及大家所期待的 R2,都可能繼續激發智能。

      第三種,可能是多模態。文本數據以外,其他的模態,比如聲音、圖像、視頻、3D 以及像腦信號這些模態的數據,數據量可能是文本數據的百倍、千倍乃至萬倍,是很高的一個上限。這些數據并沒有被有效地用來做大模型的訓練,來做智能化的提升。

      這里面學術界和產業界會有一個爭論:多模態數據到底能不能夠提升大模型的智能?

      NLP 領域的學者普遍會有一種天然的自豪感,覺得語言是人類所獨有的,沒有任何一種動物能像人類一樣擁有如此完備的語言體系。許多人認為語言才能夠提升模型的智能。但是,我自己也做過視覺、語音等多模態模型。多模態一定是有它的獨特性的,能否提升智能取決于對智能的定義。比如說很多的動物,它沒有語言體系,但它也有智能——依然能夠解決覓食的問題、與同伴交流的問題、能夠對世界有各種各樣的探究。

      而且在真實落地的時候,我們發現僅有語言模型是遠遠不夠的,因為在各行各業的生產生活中,不同模態是非常多的:PPT、流程圖、設計圖,醫療領域的核磁、CT、X光,這些都是多模態的數據。所以,不管多模態能否提升智能,一定是人工智能要去突破的一個方向。

      另外一方面,現在大語言模型的學習路徑和人類學習路徑是很不一樣的。我們人類從一出生的時候是不會說話的,但我們已經開始通過視覺接觸這個世界、開始了學習。人類已開始的學習就是通過多模態的訓練。

      所以我們會認為,既然神經網絡是仿照人類大腦的神經網絡構建的,現在固然找到了一條已經走通的路徑,就是大語言模型,那么應該也要有一條路徑能夠將不同的模態也壓縮在一個神經網絡當中,這就是智源研究院所去探索的原生多模態模型。

      衛詩婕 :按照現在行業通用的,以語言為核心多模態大模型,會有什么問題嗎?

      王仲遠 :舉一個例子,現在以大語言模型為核心的多模態理解模型經常遇到的一個問題是,我們可以把大語言模型訓練到了博士生的水平,但是在加入其他的模態之后,模型的智能水平似乎退化了,退化成了大學,甚至退化成了高中水平。

      所以我們經常看到一種現象:(問模型)3.1 大還是 3.2 大?它就搞不清楚了。這跟人類的大腦不太一樣,正常情況下,人類接觸到的知識越多,我們的大腦是越來越聰明,并不會突然之間喪失一些常識。

      所以,我們其實也想探究整個神經網絡問題的一個本質:到底什么樣的訓練方式能夠更好地去訓練出一個優秀的大模型?我們的原生多模態大模型就在做這方面的一些探索。

      衛詩婕 :為什么是這個順序——從語言到多模態,再到具身智能、 AI for science 再到世界模型?

      王仲遠 :語言大模型現在已經走通了,純視覺模態的大模型還沒有完全走通,因為視覺的信號,一方面數據量特別的大,另外一方面有效信息又特別的少,所以使得純視覺模態的大模型,還有很長的路要走。

      之前我跟謝賽寧(華人計算機科學家)交流,他就特別希望探索,不考慮語言,純從視覺中學習出智能。也許這是兩種不同的智能。

      理論上,原生多模態大模型能夠越來越接近人類的大腦,那就意味著它能看到這個世界、感知這個世界,理解這個世界,還能跟這個世界進行交互,所以我們認為,它(AI)將從數字世界邁入物理世界。當它進入物理世界后,整個物理 AGI 將得到一個重大支撐,新的一扇大門就會被推開。這也是為什么我們今年發布了「悟界」系列大模型。

      衛詩婕 :悟界的「界」代表跨界,是嗎?

      王仲遠 :「界」代表的是虛實世界。人工智能將從數字世界邁向物理世界。物理世界里原來也有一些智能,比如說基于強化學習本身,包括像無人駕駛,像機器人要去拿一個杯子,要讓他自主決策、像人類一樣有泛化的能力,僅僅通過強化學習是不太夠的。

      衛詩婕:那么到底什么叫世界模型?

      王仲遠 :剛才提到,當下很多的多模態大模型,走的其實是捷徑,不一定是終極路線。走的是捷徑,指的是,當有了大語言模型,把別的模態往大語言模型的這個語義空間映射完之后,發現他已經具備了一定的多模態能力,特別像你在一個封閉環境里先學到了博士學位,但最后告訴你,這個世界不是這個樣子的。你突然間受到了巨大的沖擊,以至于精神有些失常(笑),于是智力下降,然后渾渾噩噩地解決一些問題,但沒有解決本質的問題。

      所以我們看到很多機器人在使用現有的多模態大模型時,它對于空間和時間的感知是不夠好的。這是因為它「看」到的,都是對于靜態畫面的描述,因為這是從數字世界就很容易得到的一個訓練數據集。于是它「看到」這里有兩個人在交流,兩個人都穿著黑色的衣服。但是在真實世界里,我們很少這么交流,大家第一反應會是,他們實際在交談,這可能是一個訪談節目。有時甚至不是描述性的,而是會預測下一個動作,這需要對現實世界有深刻的理解。

      所以,我們希望去構建一個對世界有真正理解的原生多模態模型。

      衛詩婕:是否要像人類理解這個世界的方式一樣,去對這個世界建模?

      王仲遠:是。其實楊立昆(LeCun,圖靈獎得主)在 2023 年的時候參加智源大會,就已經提出了世界模型。前兩天他也發布了最新一版的世界模型。

      很多人在問什么是世界模型?什么是空間智能?什么是時空智能?它跟現在的大模型、多模態、大語言模型和多模態大模型又有什么樣的區別?行業里目前還沒有很明確的定義,所以這就意味著,大家對于世界模型的技術實踐路徑就也不是那么統一。LeCun 有他自己的關于世界模型的理解,并且他們做了很多的嘗試。

      衛詩婕 :智源的世界模型跟 LeCun 提的世界模型有什么區別?

      王仲遠 :我們的世界模型還是剛才講的,走的是大一統的路線。LeCun 他所提出的這種(世界模型),其實分了一些模塊。

      我們希望用更加簡單的方式來做世界模型的學習,當然最終能不能達到我們所期待的世界模型的效果,還有待驗證。也許它具備了一定的世界模型的屬性,最終我們發現,靠一個大一統的模型具備了很多的能力,但可能還不夠,那需要再加一些模塊。將來的世界模型的構造也有可能變得更復雜,但是我們希望最開始能用一個很簡單、很容易能夠擴展,能夠 scale up 的一些結構來訓練這樣一個世界模型的基礎模型。這是我們的技術信仰和理念。

      衛詩婕 :2023年我就在現場,LeCun 當時分享世界模型的時候,把 AI 比作從一個嬰兒慢慢長大,過程中如何學習。這一點你們今天跟他還是共識的,就是要讓 AI 像人類一樣去學習,對嗎?

      王仲遠:對。在技術路線上,永遠都會有各種各樣的爭議。我可以分享一個小故事。其實今年 2 月份,當時跟 Bengio 教授還有包括 LeCun 在交流的時候,我就發現了 Lecun 不相信自回歸這樣的技術路線, 所以他在很多的場合都會挑戰(這種觀點),說大語言模型的技術路線是不正確的,無法達到 AGI。然后 Bengio 教授他不相信強化學習,哈哈哈,他覺得強化學習不具備泛化的能力,所以在今年的智源大會上,Bengio 教授他提出了,要有一個 Scientist Agent, 用一個相對統一管控的方式構建一個安全的 AI。

      但 Sutton 教授(強化學習之父,圖靈獎得主)就會覺得人類從出生開始,就是在跟這個世界不斷地在交互,并且得到了 reward(激勵),然后在成長。

      所以其實您可以看到,在研究界即便最高圖靈獎得主,大家的技術信仰也是不同的。

      衛詩婕 :大家有不同的路線,有人爬南坡,有人爬北坡。

      王仲遠 :Exactly。這個例子非常好。

      衛詩婕:最近 Meta 推出了一個世界模型 V-JEPA 2 ,登頂了 Hugging Face 的榜單。 V-JEPA 2 和你們的世界模型,有什么區別嗎?

      王仲遠 :這應該就是 LeCun 所提出來的那種世界模型。我們的技術路線完全不一樣,當然也會去做一些能力上的對比,但在智源內部,我們對于具身智能團隊一個非常重要的要求,就是真機部署,對于世界模型到底好用不好用,一定要在真實的場景和環境下去驗證,不僅僅是在榜單上去驗證。何況現在大模型的各種榜單眼花繚亂。

      衛詩婕 :問一個最基礎的問題,我們剛才講到的原生多模態模型和具身智能模型,它們都是世界模型,還是它們一起構成了世界模型

      王仲遠 :這個問題非常好,我也沒完全(確定)的答案。首先是因為世界模型就沒有一個很明確的定義,但我個人覺得,它們可能是世界模型的一種組成部分。

      Jane's interview

      05

      談具身智能:

      “大語言模型或許進入下半場,

      但物理 AGI 的上限還很高”

      衛詩婕:你提到 Sutton 教授我印象很深,他今年出席智源大會的時候穿著一件花襯衫,表達了自己對 AI 的樂觀態度,他提到人類生成的數據將要用盡,AI 將要邁入體驗時代。這個「體驗時代」是否跟現在智源做的世界模型是相通的?你們是一個陣營嗎?

      王仲遠:我們沒辦法簡單地劃分陣營。我自己對于技術路線是這么理解的:我覺得多半概率下,我們會有一個基于海量數據訓練的一個 foundation model(基礎模型),再基于強化學習的方式來提升、激發它的智能,大語言模型就是如此,而在在具身智能這個領域,也很有可能會有一個多模態模型或世界模型作為一個 foundation model,再通過真實世界的數據采集、體驗學習,不斷去激發這個 foundation model 的能力,并且將這個學習到的技能給記住,這可能是具身智能發展的一個路線。

      這個路線我在真實世界中其實有觀察到。今年春節,我看到了兩歲的小女孩,在沒有任何大人教導的情況下自己學會了拆糖果。我們當時都震驚了,從來沒有人教過他,為什么他能學會呢?后來我發現,原來她在刷手機上的視頻,她在視頻里面看了大量這樣的數據,一個主播小姐姐在拆各種各樣的糖果、吃糖果,于是她的大腦就學習下了這種可能的能力,她又在真實的世界里面去實踐了。最開始她失敗了,最后發現有鋸齒的地方可以撕開,她成功了,于是就學會了這樣的能力。

      僅僅是一家之言,我認為最終會是一個多模態的、或者一個世界模型的 foundation model,加上強化學習,最終是真正意義上的未來的具身智能。

      衛詩婕 :所以你們今年也做了給具身智能的大腦模型和底層框架。

      王仲遠 :是,具身智能大腦 RoboBrain 和 Robo OS——一個大小腦協作的框架。主要是為了讓大腦跟機器人已經具備的小腦之間,更容易去協同和適配。

      衛詩婕:為什么具身智能今年那么火?

      王仲遠 :具身智能之所以會在過去一兩年顯得尤其火熱,有幾個因素,首先是硬件的成熟;第二是在強化學習方面的突破,另一些研究者們開始相信,機器人的強化學習應該也能夠有進一步的突破。第三,大語言模型和多模態模型,可以開始讓機器人「看」到這個世界,「感知」這個世界。這讓大家看到了一些希望。再加上政策加持和國內外的各種發展,使得具身智能越來越火。

      但我一直在各種場合強調和呼吁,在我看來,具身智能是一個 5 年到 10 年周期的、甚至需要更長周期去發展的領域。我們需要有更多的耐心和寬容,按照歷史規律,泡沫起來太快、熱度太高,很可能在未來兩年,這個領域會陷入低谷。但是請大家放心,智源研究院做具身智能絕不是跟風和追熱點,我們會扎扎實實把每一個項目做好。

      衛詩婕 :我們剛才講到語言和多模態模型是需要找到場景去搜集數據、訓練和應用。但為什么(智源)是先挑了具身智能?你們今年(大模型)發布的兩大重點,一個是原生多模態,一個就是具身智能。

      王仲遠 :因為剛才提到,最終我們希望人工智能可以造福人類,幫人類解決問題。它不僅要作詩,也要做事。做事就需要一個本體。無論這個本體是機械手臂還是輪式單臂、輪式雙臂亦或是人形——當這些本體真實地進入物理世界,會發現,AI 在物理世界的上限還很高。

      衛詩婕 :你之前用了一個詞形容你們做的具身大腦 RoboBrain——最強大腦。「最強」體現在哪里?

      王仲遠 :智能化最重要的體現就是泛化性,其中包含了對于空間的理解能力、任務規劃的能力。圍繞這幾方面,我們讓 RoboBrain 在不同任務上都做了評測,最終證明我們在能力上是超過那些現有模型的,并且我們也將它開源了,RoboBrain 也會持續迭代。

      衛詩婕: 你上任之后一項非常重要的舉措是倡導「真開源」,為什么?

      王仲遠 :其實智源研究院在骨子里,一直都有「功成不必在我」的理念,我們通過一些項目培養了很多的青年人才,這些青年人才可以繼續留在智源,做各種各樣的項目研究。也可以自己去創業,去市場上折騰,也可以到大公司里去把產品做得更好。

      所以,同樣地,通過開源的社區和生態,我們也在潤物細無聲地支撐著整個人工智能產業的發展。之所以倡導「真開源」,是因為商業公司確實有它的業務需要,很多時候只開源權重,智源的「真開源」,是把代碼數據,包括模型本身,包括一些評測的方法全部都進行了開源,幫助大家去復現,也能夠讓大家基于我們的模型做進一步的迭代和研發。這就是呼應了宏江博士所說的,功成不必在我。

      衛詩婕 :那你們的原生多模態大模型和具身智能大模型目前被應用的情況怎么樣?

      王仲遠 :你問了一個非常好的問題,智源研究院一直都在研發各種各樣的模型,并全部都開源出去了。但開源出去之后,我們甚至都不知道被哪些機構、哪些團隊最終拿去用了。

      舉一個具體的例子,比如智源在過去兩年所發布的 BGE 系列模型,也就是通用向量模型,它在去年 10 月份的時候登頂過 HuggingFace 月度下載量的榜首,并且是 2023 年以來在 HuggingFace 所有發布的 AI 模型中,截止到去年年底,下載量的第一名,它的下載量達數億次。但我們自己難以追蹤,究竟哪些個人開發者或者企業,使用了我們的模型。但我聽很多企業朋友對我說過,你們的 BGE 模型真好用。幾乎你能想象的、你所知道的所有大型互聯網公司,一些熱門的創業公司,都在用我們的 BGE 模型。當然他們不會在公開的場合這么去說。

      我們有時候會要求開發者登記一下他的姓名、單位、郵箱等基礎信息,后來我們發現,有超過 30 多個國家和地區,數百個機構,包括大家所有耳熟能詳的這些公司,它們都在使用我們的模型、數據和框架。

      衛詩婕 :你們現在在做的最重要的幾件事是,多模態、具身智能和生命科學。有限的資源下,如何確定做哪些方向,如何確定最重要的方向?

      王仲遠 :這三塊確實是我們未來幾年最重要的發展方向。當然,的確因為資源有限,我們已經有所取舍。剛才講了,比如世界模型,可能有路線1、2、3,但我們只能選擇一條路線,不像大廠,可能南坡北坡都爬。但這種布局最終的結果可能是,它們具體到某個團隊所獲得的資源,可能還不如智源。這是有可能發生的。

      衛詩婕 :你以前在采訪中給過技術人建議,建議大家一定要關心最關鍵的核心技術。你覺得這個時代最核心的技術是什么?

      王仲遠 :當下技術還沒有收斂,不同的領域、不同背景的研究員,他所關注的核心技術一定不一樣。但我想傳遞的是,要扎扎實實抓住每一個細節。大家可以基于自己的理解,基于自己對于技術發展的判斷,基于自己的興趣,基于自己的熱情去做。每個人如果都能有工匠精神,最終也會出現獨一無二的工匠。

      衛詩婕 :前段時間OpenAI 的華人研究員姚順雨,給出了一個判斷: AI 正在進入中場休息,在此之前是訓練大于評估,在此之后將會是評估大于訓練,這背后就意味著要從解決問題到定義問題,你認同嗎?

      王仲遠 :我部分認同,我覺得順雨這個判斷是基于他所在的大語言模型領域。如果大家翻翻看,去年我接受媒體訪談時就預判過,咱們國產的模型是可以追上 GPT4 的。以及往后,agent 會是一個重要發展方向。后來我們就看到了 DeepSeek,國產模型可用、且批量落地,以及 agent 的爆發。

      當模型能力可用,的確就進入了順雨所說的狀態。但是,從研究院的角度來講,我們依然會去不斷推動大模型可能的上限,無論是多模態還是具身智能,物理 AGI 的上限還很高。

      衛詩婕 :所以你今天能給出什么確定性的趨勢預判?

      王仲遠 :最確定的就是,我還是非常堅信人工智能將正式從數字世界邁向物理世界。

      衛詩婕 :AI 進入物理世界最關鍵的難點有哪些?

      王仲遠 :最關鍵的難點,還是空間和時間的感知能力,以及如何去跟硬件結合。

      因為硬件構型不統一,導致模型如何去指揮硬件達成他想要的效果——這在行業里還沒有形成統一的標準,還處于一個低水平的階段。

      衛詩婕 :空間、時間的感知力背后,具體是什么?

      王仲遠 :可能就是這個世界模型。除了現在的這條人工智能大模型的技術路線,我們也會去思考類腦智能有沒有可突破的可能,數字孿生心臟能不能夠解決我們對于人類身體構造的另外一種理解?蛋白質生命分子的建模是不是能夠幫助我們對于生命的運作機理有更深刻的認知?

      這些都是未解之謎,都是我們希望去探索的。當然對于一些探索性的項目,我們會比較謹慎,小資源的投入,給我們的研究員以充分的時間和空間的一個寬容。比如我們今年在智源大會上發布的悟界 Brainμ ,它是腦科學領域首個多模態的通用基礎模型,實際上這就是一個很小的團隊做出來的,它把包括腦電信號、功能核磁、雙光子等信號放在一個統一架構去訓練后,產生了意想不到的效果。

      衛詩婕:多模態、包括剛才所講的世界模型的訓練下,需要全新的架構嗎?

      王仲遠 :也有可能不需要。首先 Transformer 已經被證明了是一個非常通用、非常好用的一個架構,至少它能夠實現數據的 scale up。但你說 Transformer 有沒有它自己的問題?顯然是有的。 Transformer 的問題就是它在效率提升方面,依然是有空間的,所以現在也有很多團隊在探索更高效的方式。

      一個架構的替代是一個長周期的事情,它跟芯片加速、各種效率優化,包括算子等等,這些都是緊密相關的,所以一個新的架構要替代掉 Transformer,它是需要比較長周期不斷地被論證、被驗證的。

      我們不能排除未來各種的可能性,但是我們會基于現有的這些架構會去做各種各樣的一些探索。

      衛詩婕: Scaling Law 會一直是主線嗎?

      王仲遠 :我自己對于 Scaling Law 理解和行業里其他研究者可能不太一樣。在去年的智源大會上,我分享過一頁 PPT,在我看來, Scaling Law 不是這兩年才出現的現象。如果我們把時間拉得足夠長,過去七八十年,神經網絡這一條技術路線的智能每一次重大的突破都是伴隨著數據規模、算力能力、參數規模,當然還有包括一些算法的創新,這些綜合所帶來的一次能力的突破。

      當我們陷入一件事情的糾結、爭論和掙扎時,把時間尺度拉得足夠長,就會豁然開朗。

      以參數量為粗略的類比,2018 年的 BERT Base 只有約 1 億參數,和人類大腦相差約百萬倍。到 2020 年,GPT-3 的參數達到了 1750 億,差距縮小到約1000倍;而 GPT-4 的參數據推測可能達到 1 萬億到 1.8 萬億,差距進一步縮小到百倍左右。雖然參數量并不等同于大腦突觸,但從這個量級可以看出,大模型的規模正在快速向生物大腦逼近。

      那么 Scaling Law 還有沒有效?我認為要當我們的模型有一天能夠到達人類大腦的參數的時候,再來論證說 Scaling Law 到底是有效還是沒效。因為現在還面臨著數據和算力的瓶頸。也許5年,也許10年,算力 ready 了,數據如果也 ready 了,也許我們找到了把多模態數據和智能也能進行壓縮的方法和路徑,那時又會迎來一波人工智能的重大突破。

      時間拉得足夠長的話,我對 Scaling Law 還是 believe 的,我對神經網絡這條技術路線也是 believe 的。

      衛詩婕 :最后一個問題,你之前說,智源的目標是要和世界頂尖的科研機構掰掰手腕。怎么個掰法?我們和世界頂級的科研機構,差距和差異在哪里?

      王仲遠 :智源從 day 1 就想成為為全球最頂尖的科研機構。當然我們也意識得到,我們與前者還是有不少差距:無論在資源的投入,還是人才密度。所以我更愿意務實地去追尋人工智能在物理 AGI 方向的技術路線的探索,扎扎實實把我們現在手頭上的每一件事情都做好。可能我們有這樣一個愿景,有這樣一顆心,但路是一步一步走出來的。

      衛詩婕:你想做的事情是帶領智源日拱一卒,是嗎?

      王仲遠:是。不積跬步,無以至千里。

      衛詩婕 :那哪些是差異?

      王仲遠 :中國有一個非常廣闊的市場,非常龐大的用戶群體,非常完備的創新創業的體系。所以對于在中國的大地上做人工智能,長期我是非常有信心的。新中國剛成立的那么幾十年,我們是那么的困難,我們都熬過來了,今天無論是經濟體量、市場規模,我相信沒有任何力量能夠阻礙我們在人工智能方向的發展。

      衛詩婕 :所以你相信,南坡北坡,南坡這邊的風景會很好。

      王仲遠:是的。

      歡迎關注我的B站賬號、播客賬號和小紅書、視頻號


      互動問題

      歡迎留言交流你對本期訪談、大模型發展以及具身智能的看法,

      感謝


      特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

      Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

      相關推薦
      熱點推薦
      炸豆腐沒放鹵蝦油:清朝滅亡之后京城旗人沒了飯轍,只剩下窮講究

      炸豆腐沒放鹵蝦油:清朝滅亡之后京城旗人沒了飯轍,只剩下窮講究

      興趣知識
      2026-07-20 02:42:05
      謝霆鋒宣布謝賢離世的第二天王菲已經體面無存,宋祖德的話應驗了

      謝霆鋒宣布謝賢離世的第二天王菲已經體面無存,宋祖德的話應驗了

      娛樂小丸子
      2026-07-21 10:26:59
      里奇-保羅:各隊無需再做任何事打動詹姆斯,所有信息都已傳達

      里奇-保羅:各隊無需再做任何事打動詹姆斯,所有信息都已傳達

      懂球帝
      2026-07-22 08:10:12
      A股:緊急提醒,股民做好準備了,7月22日周三,將迎來強烈的分化

      A股:緊急提醒,股民做好準備了,7月22日周三,將迎來強烈的分化

      虎哥閑聊
      2026-07-22 00:00:04
      檢出一類致癌物!山姆、盒馬、永輝,均下架!

      檢出一類致癌物!山姆、盒馬、永輝,均下架!

      中吳網
      2026-07-21 16:56:28
      樊振東不回來了,王勵勤動真格了!禁止外援參賽,強制U19登場

      樊振東不回來了,王勵勤動真格了!禁止外援參賽,強制U19登場

      十點街球體育
      2026-07-21 12:15:52
      NBA現役自帶體系的7大球星,詹姆斯上榜,庫里第3,一人力壓約基奇

      NBA現役自帶體系的7大球星,詹姆斯上榜,庫里第3,一人力壓約基奇

      弄月公子
      2026-07-22 08:13:24
      TA:切爾西愿意以1.2億鎊和7500萬鎊的價格出售恩佐和古斯托

      TA:切爾西愿意以1.2億鎊和7500萬鎊的價格出售恩佐和古斯托

      懂球帝
      2026-07-21 16:13:21
      4000萬工程10萬干,“先富起來”的是誰?

      4000萬工程10萬干,“先富起來”的是誰?

      布衣亂彈
      2026-07-20 07:41:19
      正式退場!汽車3大“反人類設計”被國家封殺!特斯拉全中招

      正式退場!汽車3大“反人類設計”被國家封殺!特斯拉全中招

      另子維愛讀史
      2026-07-20 21:34:37
      小米新車屌爆了

      小米新車屌爆了

      哲空空
      2026-07-20 14:45:02
      震驚!武大在湖南如此不吃香了,理科的投檔線,連前25都沒保住

      震驚!武大在湖南如此不吃香了,理科的投檔線,連前25都沒保住

      火山詩話
      2026-07-21 21:09:35
      詹姆斯:等我退役時,我可能已經打了24、25、26年?誰知道呢

      詹姆斯:等我退役時,我可能已經打了24、25、26年?誰知道呢

      懂球帝
      2026-07-22 08:10:11
      德黑蘭走上當年老薩死路,以色列滅盡哈馬斯官員

      德黑蘭走上當年老薩死路,以色列滅盡哈馬斯官員

      海子侃生活
      2026-07-19 10:10:24
      全網吵翻的《澎湖海戰》爭議:根本不是史觀打架,是電影篡改了歷史的黑白底線

      全網吵翻的《澎湖海戰》爭議:根本不是史觀打架,是電影篡改了歷史的黑白底線

      浪子說
      2026-07-22 00:18:22
      長沙男子每月砸6000給12歲女兒打生長激素,半年長了4厘米!爸爸:這是有價值的投資

      長沙男子每月砸6000給12歲女兒打生長激素,半年長了4厘米!爸爸:這是有價值的投資

      聽心堂
      2026-07-20 09:10:11
      鬧大了,周星馳問張藝興:下次我還找你拍戲 , 零片酬行嗎,張藝興回應顯情商,他在片場長時間暴曬,皮膚曬得黝黑,完全褪去了精致妝感

      鬧大了,周星馳問張藝興:下次我還找你拍戲 , 零片酬行嗎,張藝興回應顯情商,他在片場長時間暴曬,皮膚曬得黝黑,完全褪去了精致妝感

      二胡的歲月如歌
      2026-07-21 17:50:21
      生活中的這些暗示你懂多少?網友:警察一句話,讓我免受牢獄之災

      生活中的這些暗示你懂多少?網友:警察一句話,讓我免受牢獄之災

      夜深愛雜談
      2026-07-18 21:01:07
      7月16日,陳冠希分享了一張去看世界杯的近照,只見他在觀眾席穿著球衣戴著眼鏡和帽子,與年輕時的痞帥判若兩人

      7月16日,陳冠希分享了一張去看世界杯的近照,只見他在觀眾席穿著球衣戴著眼鏡和帽子,與年輕時的痞帥判若兩人

      牛油果生活觀
      2026-07-19 12:09:43
      長沙曾琦醫生正式復出!確認扎根義烏公立三甲醫院,網友:在重見光明人的眼里,你就是神仙姐姐

      長沙曾琦醫生正式復出!確認扎根義烏公立三甲醫院,網友:在重見光明人的眼里,你就是神仙姐姐

      火山詩話
      2026-07-21 11:32:48
      2026-07-22 09:11:00
      衛詩婕商業漫談 incentive-icons
      衛詩婕商業漫談
      記錄商業史和我們的時代。
      26文章數 15關注度
      往期回顧 全部

      科技要聞

      怕了?美財長揚言:嚴查中國AI

      頭條要聞

      中國游客在印尼遭遇沉船:深夜在海里漂了四五個小時

      頭條要聞

      中國游客在印尼遭遇沉船:深夜在海里漂了四五個小時

      體育要聞

      “不會進球”的前鋒,在世界杯決賽進球了

      娛樂要聞

      謝賢被曝已火葬,狄波拉攜兒女送別

      財經要聞

      長鑫戰配股數“腰斬” 投行詳解背后邏輯

      汽車要聞

      WAIC專訪|易啟未來余志勇:網易孵化按摩機器人 能識穴會“手法”

      態度原創

      房產
      藝術
      手機
      數碼
      軍事航空

      房產要聞

      最高獎勵15萬!免學費!海南民辦高中,瘋狂搶人!

      藝術要聞

      陳子莊:齊白石本事那樣大,但畫蘭、竹還未過關

      手機要聞

      華為鴻蒙HarmonyOS 6.1.0.135版本“隱藏”特性曝光

      數碼要聞

      蘋果將推出Apple Upgrade租賃服務 不附贈AppleCare

      軍事要聞

      美伊再開打 戰局出現新變化

      無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 线上需要爸爸的种子| 李采潭的电影全集在线观看| 怪奇物语第三季免费观看完整版 | 阴阳镇怪谈在线观看| 驯服调教上司女社长电影| 天蚕变电视剧| 决战桂林| 再婚进行时电视剧免费观看完整版| 各卫视春晚播出时间2021| 刘玥电影电视剧在线观看| 韩国电影女主叫梅川的电影| 天使与龙的轮舞 在线观看| 跨国阴谋| 史蒂夫 科尔| 不惑之旅电视剧在线观看免费完整版| 需要爸爸播种子美国电视剧法国航空1982| 电影《夫人》完整版观看| 中国匣电影| 《兽行》删除6分钟剧情全集| 爱我多深| 你是我的眼 毛宁| 特邀外卖员电影完整版免费高清| 国家为什么阻止蚂蚁上市| 桑德拉《满天星》| 缘分电影| 金太狼的幸福生活21| 法国满天星《蛇妖》| 神话片头曲| 性感女人花| 暴躁46集全免费剧情| 征服人妻第1-52集资源请求| 韩日R| 长津湖枪版| 延禧攻略70全集免费观看| 女人是男人的未来免费观看| 国风按摩院1-5季全部演员表| 电视剧陆贞传奇| 我的僵尸女儿未删减| 木下檀檩子40集全| 《紫荆花盛开》献礼香港| 非常了得20140115| 睫毛膏3准北电影网| 乔欣被曝结婚后首现身| 戒不掉的温柔| 家属1~6集全集免费| 建议取消强制自动续费| 房事百科| 千金赤子板栗1985日本 | 逍遥1-40集全免费观看电视剧| 时间都知道 电视剧免费观看| 监狱风云之少年犯| 美容院特珠待遇5| 我唾弃你的坟墓 电影| 奇袭白虎团快板| 湘西诡事电影在线观看| 中文字Dl幕岳 和女胥婷婷综合| 羞羞哒MINI| 加勒比海盗女版1观看| 妻子的校友 电影| 戏法师电影免费高清完整在线观看 | 电影《需要爸爸播种美国》电影完整| 长津湖西瓜免费播放| 三年大片高清免费观看完整版| 美国队长4在线观看| 爱我就别想太多全集| 花样年华电影| 电视剧夫妻密码| 正镶白旗| 高清《狙击手-斯莫希军官》| 家庭教师视频下载| 倔强驱魔师1-4在线观看| 骚哥哥网| 电视剧时尚女编辑| 花与蛇麻醉牙医诊所完整版| 天使的诱惑| 白兔糖 电影| 麦乐迪家庭矛盾| 你是迟来的欢喜全集免费观看| 科目三舞蹈原版| 美丽小蜜蜂3美丽人生| 不老山异事| 城里城外| 满天星版《超女麦乐迪》在线观看| 蓝志什么脱口秀| 温柔的背后吻戏| 妻子八| 霜花店 完整版| 摇曳百合第三季| 中国12xvedio100| 王李丹妮的三部经典电影维修工| 追鱼电视剧| 快乐星球第2部| 完美交换| 远方快递原型| 康熙谈靘谭1992年| 黑崎直步| 电视剧樱桃| 站着再来一次第48集更新时间| 触不到的恋人电影| 二楷堂麓在线观看| 老阿姨与小年轻的爱情电视剧| 梦想天空分外蓝 陈奕迅| 南洋十大邪术完整版| 王牌大间谍| 飓风奇劫| 意大利电影《此时此刻》第一部| 女特警电视剧2024免费播放| 新包青天之七侠五义| 训服的小 子2| 电影战马| 黑人大鸡巴大战俄罗斯美女| 奈何boss要娶我2| 阿宾91| 雪中悍刀行36| 东京猫猫全集| 重庆时代歌剧院| 俄罗斯女超人| 雪中悍刀行免费观看完整版| 开往地狱派对巴士| 老婆的闺蜜中字ID| jackerman在线观看| 小糊涂神动画片| 韩国电影部长和老公来家| 高清《纵情欲海》1无删减 | 电影壮志凌云| 绝世网红韩剧| 《分娩按摩》在线观看完整版高清| 出轨的后裔| 之后2第二季免费完整观看| 日本金银1-5普通话版| 主君的太阳人人影视| 再度重相逢孙露| 电影禁忌5大结局| 百炼成神第三季| 秋雪漫过的冬天| 天机算不尽| 漂亮小小瘦子3| 恶女阿楚演员表| 《无憾》三部曲在线看| 二十四小时日本中文在线观看| 金银梅1-5手机版普通话| 釜山行电影完整版| 女大学生家政保姆初体验| 非常小特工之时间大盗下载| 离婚首富:求婚开挂全集免费| 狙击之王暗杀在线观看| 百度蹊径| 铠甲勇士50| 家政老师在线观看| 武警小哥GRY2022| 3d肉下载| 白峰美羽主演的为父报仇在线观看视 | 钢珠求救鸭去世了| 花儿与少年5综艺免费| 绝对权力在线观看完整版| 张本智和 甄嬛| 浮生影视在线观看免费高清| 执行秘书电影在线观看| 惊变 完整版| 比悲伤更悲伤的故事结局| 《我是妈妈》1-60集| 奶头大他一口都含不住| 金银梅2008版电影尼姑| 黑帮大佬和我的365日观看| 花与蛇1麻醉牙医诊所| 暴躁46集全免费观看电视剧西瓜| 我想和你好好| 小凤新婚完整版免费观看电影高清| 丹麦男孩电影| 血溅乌纱| 黑白配高清国语观看| 灯草花尚灯完整版免费| 极速传说2| 阳谷县| 美式的忌讳5—7| 韩国阅兵式高清完整版| 八仙饭店埃博拉病毒电影| 浴室春情| 圣斗士星矢冥王神话国语版| 变形金刚3 电影| 舞台姐妹电影| 色先峰色影音| 超人jax| 临海市| 韩剧没有你活不下去| 豚鼠系列在线观看| 名创优品指甲油致癌物超标| 电影身为人母| 农民鲁智深| 周星驰粤语| 徐步高枪击案| 渔夫的妻子意大利满天星| 水浒传旧版全集| 《印度空姐》完整版在线观看| 我爱男闺蜜| 今夜有戏新还珠格格| 哪吒1高清完整版免费观看| 傅玄屹魏语娴全文免费结局| 深情眼电视剧免费观看完整版| 张警官第三集在线观看| 大反派电影| 东北抗日联军电视剧| 怪奇物语第一季免费观看| 八月未央电影| 跟部长出差的日子在线观看| 少妇的诱惑电影观看| 亦舞之城电视剧剧情介绍| 我的初恋是暗恋电视剧免费观看| 加百列的地狱| 《准儿媳》完整版| 《731部队》电影完整版| 名侦探洪吉童| 超能少年| 电视剧迷雾重重| 麦乐迪《ALovingHome/家庭矛盾》| 俄罗斯免费伦理电影需要爸爸的种子 | 隔壁邻居很美味在线观看| 帝王之妾免费全集在线观看高清| 销售的秘密在线观看| 行尸走肉第八季第五集| 家教培训满天星电影在线观看满天星| 东归英雄传电视剧| 搞笑一家人韩国版全集| 电影《牙医姐妹》正片日本版| 谁在说慌| 栋笃神探国语高清| 镖客奶奶高清免费观看 | 恋恋茶园电视剧免费| 做aj电视剧大全| 飞屋环游记 高清| 《overflower》动漫全集免费| 叶问3在线观看国语高清完整版| 高清东北警察故事3未删减| 南昌起义| 《同居的目的》电影| 大男当婚mp4下载| 奔跑吧兄弟| 凯登克罗斯| 飞哥大英雄23集| 英雄黄海冰| 可疑的美容院观看| 宾利欧陆gtc| 《爱我几何》高清免费看 | 婚前试爱完整版| 相忘谁先忘| 家庭分歧麦乐迪| 地震局称银川进入地震窗口期| 《禁忌的爱》结局揭秘| 电视剧一日夫妻百日恩| 《氪金玩家》樱花动漫| 变形金刚3国语高清下载| 法国版《体热》完整版在线观看| 无颜之月下载| 《新娘玛利亚》全集| 在线播放需要爸爸播种| 乌云之上| 《法国空乘8》| 风与潮1-40集剧| 十大劲歌金曲颁奖典礼2014| 电影17·3免费观看完整版在线观看 | 宝贝计划国语完整版百度影音| 街头霸王满天星女版| 美丽姑娘免费高清电影大全| 沙坪坝区| 《纯情罗曼史》| 美女如云第四季| 超人高校下载| 牙医姐妹在线看完整版高清电影| 四川绵阳村民种中药材致富| 和讨厌的部长出差旅| 旅行商务被戴绿帽子在线观看| 逐爱之心2023菲律宾正版| 《九歌》电影完整版| 宝贝低头看看我是怎么爱你| 妻子加班被丈夫上司欺负的后果| 欲望悬流| 鬼吹灯怒晴湘西| 黑白森林国语| 战狼4在线观看完整免费高清| 匆匆的青春| 一边面膜敷53分钟日本| 苏秦之楚翻译| 无限挑战110716| 她来自胡志明市第二部免费观看| 想爱就爱在线视频| 妻子8免费完整高清电| 珍馐记电视剧免费版在线观看| 最后的维京人全集观看| 新金梅瓶2 国语完整版-视频| 私奔原唱| 商务旅行戴帽子女老板同行主演宋智孝 | 愈合伴侣 电影| J情丛林| 地产女老板全集| 樱兰高校男公关部1| 欧式少女1集全观看视频| 奔跑吧兄弟4| 电影《需要爸爸播种子 2 | 《overflower》真人版结局| 当我飞奔向你电视剧免费看| 斗罗大陆免费观看完整版高清在线| 男生和女生一起愁愁愁电视剧全集双| 末日袭击| 陪你一起长大电视剧| 云翔电影游| 请赐我一双翅膀免费观看全集 | 杰西.简壮志凌云| 天堂的张望 电影| 美容室的待遇8免费| 那年冬天风在吹全集| 儿媳们的抉择电视剧| 《莫莉特别的酒店》电影在线观看| JEALOUSVUE少归| 《OverFlower》无码| 高清《为你遗憾》电影| 日在校园h| 我是刑警22集全部播放| 我的邻居老婆电影完整版免费观看 | 朋友的妈妈中语版| 一路向北电影免费观看在线高清| 欢天喜地七仙女2| 妓房乱动事件| 麦乐迪在线观看完整免费| 李娜的歌曲| 高清《致命的艳遇》电影| 鬼怪第三集| 厨王电视剧| 灵机一触什么意思| 伊拉克被迫暂停人民币结算| 亚东县| 民间怪谈录12集免费观看视频| 玉浦团之| 天海翼搜查官在线观看| 足球小子初中国语版| 战神3爱神| 瓜达卢佩的玫瑰未删减版| 韩剧哦亲爱的| 欲罢不能阿拉丁版| 莉娜安德森作品在线观看完整版免费| 乌蒙小燕| 《部长出差的日子》在线观看| 绣春刀1高清免费观看| 春晚贺电| 男女一起愁愁愁电影观看全集高清 | 契魔者装备| 《卖房子的销售2》免费| 中国百强名镇| 韩国伦理电影需要爸爸的种子 | 春花秋月何时了电视剧| 无颜之月免费观看完整| 逆天成仙赵飞扬短剧一口气看完| 复仇第3季| 团鬼六修道女| 灯草和尚电影下载| 徐少强新版金银瓶2008| 千金复仇:仇人覆灭全集免费| 爱情公寓免费观看完整版在线观看 | 一年级大结局下| 西瓜云游| 人猿泰山无删减版1995主演 | 美景2老板娘看上员工| 笑功震武林 影音| 婚词离曲电视剧| 密爱 在线看| 《初恋时间》1-6全集免费观看| 大灌篮高清下载| 在出差期间被讨厌上司欺负| 不可撤捎| 日本维修工艳遇| 熊出没之重返地球免费观看完整版 | 闺蜜的秘密| 美国娃娃脸4(经典版)| 越战电影《性的暴行》| 随唐演义 全集| 蜜糖在线观看| 《overflower》第一季| 电影《捍战2》| 奇妙发型屋| 梦断乐缘堂| 碧血青天杨家将| 蟒蛇之灾1| 农民伯伯下乡2国语版吴健| 色戒 高清| 大鳄无形| 怎么用快播下黄| 棒棒影院| 鼓楼外42集大结局| 电视剧长沙保卫战全集在线观看 | 锦上添花无人记| 不要对我撒谎| 神王出山短剧免费观看完整版| 家庭矛盾4麦乐迪在线观看| 营改增账务处理| 恶作剧之吻1下载| 神探默多克第一季| 幸福里的故事| 蜜桃成熟时李丽珍| 正在播放: 【传媒】MDSR0006-2 《小凤新婚》下集-高冷新妻性奴 - 91n | 恶搞之家第2季| 漫画家与助手们| 乡村爱情8免费完整版电视剧全集| 险恶的绣感| 高庄监狱在线观看电影| 北京遇上西雅图 影音| 电影灯罩| 酒吧激战2韩国电影版在线播放| 警察锅哥播放电视剧一共40集 | 机动奥特曼 第三季| 赛仑意大利版渔夫的老婆| 哥布林洞窟在线观看免费带翻译| 少年派百度影音| 深圳烹尸案| 瓜达卢佩的玫瑰在线观看免费版,中文 | 《渔夫荒野史》在线观看| 摩登原始人英语| 齐鲁频道| 戴森吹风机官网售后| 伊波拉病毒HD国语版在线播放下载 | 《炸天小姐》完整版 | 与老公上司偷情免费看| 狂野式到轮式的转换技巧 | 泰国电视剧美梦成真| 斗罗大陆165集| 莫妮卡爱我几何完整版在线| 你的欲梦裸身在线播放| 盛唐风流在线观看免费版 | yellow视频免费观看| 芝麻胡同在线观看免费完整版剧情 | 意大利新增确诊2313例| 女海盗2电影美国版| 韩国伦理维修工的艳遇| 历届奥运会主题曲| 特种部队2高清| 哦吼小闪电的真名叫什么| 酒店出水激战1-5集免费| 猛男诞生记 最新| 笑傲江湖 李亚鹏| 日本jiz| 《成何体统》| 哇嘎电影观看免费网站| 青柠电视剧全集免费观看| 千秋家国梦剧情| 黑大佬的365天无删除中文翻译| 斗罗大陆全集免费观看完整版高清| 《灭火宝贝》| 四个少妇的精油按摩| 长歌行电视剧全集免费西瓜| 主仆历险记| 韩剧《姐姐的闺蜜》免费观看| 凯帕克全部电影| 杜汶泽3d豪情| JEALOUSVUE第一次| 江城子欧阳炯| 白峰美羽电影在线观看| 背后运球| 瓦尼塔斯的手记动漫在线观看| 我的美女房东免费观看| 卖保险套的女销售| 延禧攻略电视剧免费观看完整版 | 开心鬼上错身女主角| 吴健版农民伯伯免费看| 斗罗在线观看免费完整版高清| 第十九层电视剧| 雨林爱发生电视剧在线观看| 《黑暗森林》满天星| 邓丽君歌曲演唱会| 澳门风云2西瓜影音| 羽月希在线观看| 人猿泰山意大利版| 东方侠客| 美国忌讳1–7| 蜜桃成熟3百度影音| 咒术回战第一季在线观看| 木子檀檀子剧免费观电影| 神秘博士第五季| 剑风传奇黄金时代篇4| k8s经典版播放| 意大利电影《热体》| 白蛇传说之天乩| 滥竽充数免费| 广场舞都是缘分惹的祸| 命运航班第三季| 戴安琳恩《满天星》| 意大利但丁的电影| 儿歌多多| 怪你过分美丽在线观看| 虎鹤妖师录| 动漫家属1-6集免费观看| 校内电影| 厨艺大师第三季| 空前绝后满天飞| 铿锵锵锵锵锵锵锵免费观看| 灵异侦缉档案2国语| 壮志凌云女版满天星法版免费| 幸福生活万年长 电视剧| 最新韩国电视剧| 司机礼让行人被爷孙俩竖中指| 嫂子的职业中字| 名侦探柯南16 第11个前锋| 九歌电影高清版免费观看在线| 凯登 克罗斯护士| 法国大选选情焦灼| 黑帮大佬和我的356天未删减| 小凤新婚 在线| 尸妖电影完整版在线观看| 苍井空电影网| 我们的歌伴奏| 韩剧《爷爷与媳妇》剧情介绍 | 宝贝计划国语完整版百度影音| 小777| 三年电影在线观看免费播放 | 美容特殊治疗6| 1983版高山下的花环| 爱在初春惊变时| 邻家有女韩剧在线观看国语| 《荣誉守则》在线观看法国| 娘家故事第二部全集| 中文字Dl幕岳 和女胥A| 李崇霄的经典作品回顾| 刺青之声| 满天星女超人在线播放| 中国合伙人 在线| 欺诈游戏2| 安庆市| 妈妈职业2的在线观看平台| 别叫我酒神2在线观看| 中原镖局之天地英豪| 爱的阶梯电视剧全集免费观看| 二对一商务模式2聚集| 呼啸青春| 先生你哪位| 香港版红楼梦免费看| 私人助理2| 《美丽妻子替夫还债》有奈美剧吗| 《通房丫鬟》结局电影| 夺命佳人在线完整版| 张译跳舞没有技巧全是感情| 高压监狱高2清完整免费版在线观看| 迈开腿让尝尝你的CH宝宝| 美式禁忌1——7| 《芬芳喜事》今日开播| 天气| 《出差被前任多次侵犯| 陈楚生原来的我| 秀逗魔导士第四部| 酒醉的探戈动力火车| 国风按摩院1-5季电视剧免费观看 无憾坎贝奇电影完整版在线播放免费版 | 年轻的继母韩国电影| 娜塔莎 劳佳姆| 变成黑皮辣妹后朋友| 黑白配高清中文全集免费观看| 迷情校园第二视频| 烧酒战争电影| 俄罗斯妈妈电影2024年上映吗 | 战狼6免费播9999| 仙逆5200 59| 姐妹免费观看国语电影动漫 | 日本动漫《花嫁高柳家》完整版| 《壮志凌云女版啄木鸟满天星法版》_全集免费观看在线播放 - 穿越剧 - 皮蛋影 | 金瓶徐少强未删减版免费| 日在学校| 澡堂家的男人们| 十大酷刑在线观看完整电影版| 私人航空电影完整版| 电影潘多拉之镜| 《爱你》电视剧免费观看完整版| 勇敢的心电视剧全集在线观看76 | 黑暗森林2023| 不及格邻居| 金石良缘| 民警抓嫌犯时遭车重压身亡| 美女如云第四季| 新乱世佳人9集吃奶视频| 岳母幸福生活| 蛛丝马迹| 游击英雄| 三年免费观看国语版大全| 不够相爱的我们短剧| 家族的诞生电视剧| 安塔芮丝qvod| 法国空姐3| 韩剧《拜托了妈妈》| 《欲海双艳》未删减| 神隐35集| 特种使命| 《法国空乘11》播放| 桑德拉·拉索《满天星》女店主 | 纪光莉替夫还债的电影免费观看| 京香电影观看| 西游记之大闹女儿国| 电影《捍战2》| 刑警之海外行动全部演员表| 安斋拉拉《躲雨》| 沐浴之王演员| 绿茶婊微电影| 鬼客韩剧在线播放免费观看全集| 红楼春梦免费观看高清| 怪盗女谍天海翼在线观看| 老阿姨在线观看免费版电视剧| 脾虚嘴唇有什么症状| 蜜雪冰城加盟 官网电话| 你是我的命运中文版| 渔夫荒| 风吹过的街道| 爱国让你想起什么| 驯服美嫂| 江山市| 东京塔之越南俘虏营| 复仇者联盟4在线| 《恋爱舞台》动漫| 边做边爱在线观看免费| 晋州市| 苍井空 厨房里的激战| 怪盗基德特别篇全集| 短剧《出鞘》全集播放| 小品狭路相逢| 漂亮妈妈7字汉字| 罚罪免费观看| 高清《纠缠》24年最新上映的电影 | 女教师3在线| 公的浮之手中完整版免费观看| 水浒后传电视剧免费观看| 聊斋艳谭3| 仁寿县| 《特殊游泳教练》完整版》 - 国语剧情手机免费观看... 韩国其它2017很 | 美丽的妈妈HD韩语全集| 美式忌讳6-10| 十七岁完整版在线观看直播| 意大利电影短情欲在线播放| 四位少妇按摩记| 人民的名义免费完整版在线观看| 张响神枪电视剧全集| 《美景之屋》售楼2完整版| 需要爸爸播种子第4季2集| 李凤山平甩功30分钟示范| 校花的贴身高手无删减版电视剧 | 一寸一寸进入小姪女| 美丽的水蜜蜂第一季免费观看 | 好友妈妈| 做aj视频电视剧大全| 双女任务电影高清完整版| 高清《兄弟的女朋友》电视剧| 佐佐木与宫野| 使徒行者3在线看免费| 伦理《高压监狱2》完整| 探吃的猫女完整版| 王力宏什么歌好听| 河南一家6口被杀 警方通报| 猎心者全集| 特殊美容院的待遇1 | 矿桥第8集体检超棒| 中国家庭第一部下载| 舞乐传奇全集| 莫言的演讲| 驯服小胰子2| 需要爸爸播种美国2024年几月几号开播| 婚前试爱下载| 周生如故在线观看| 别有用心的单身女韩剧免费观看国语 | 斗罗大陆140| 爱上北斗星男友| 创世纪在线观看| 美国恐怖故事第六季| 瓜达卢佩的玫瑰电影| 三年国语版免费观看视频| 河山 电视剧| 黄种人粤语| 需要一半留下一半打一字谜| 斗破苍穹103| 小蜜挑5| 健康之路直播| G点1985年无删减| 雪中悍刀行50集免费观看2季| 小男人遇上大女人全集| 木下凛凛子邻居电影完整版在线观看 | 寻秦记高清| 《女超人-麦乐迪版》百度云| 菠萝菠萝蜜在线观看一区| 正午阳光电视剧全集在线观看| 田连元评书下载| 电影《星愿》完整版| 摩登原始人1994满天星版| 19岁大学生电视连续剧| 《妻子的浪漫旅行2026》| 罗马帝国情史| 玉蒲团ii之玉女心经| 人蛇大战国语| 0verflwer第一季无码| 沧元图动漫60集免费观看高清| 一言为定的挑战| 人民公社大食堂| 火影火之意志继承者| 公之浮中2| 《法国空姐2024版》完整版在线播放| 超级监控| 薄荷之夏电视剧在线观看| 网购迪士尼套餐最终民警护送入园 | 豫剧刘墉下南京全集| 黄子华栋笃笑2018| 满天星《瓜达卢佩的玫瑰》| 法国空姐中文免费高清原声高烧可以吃雪糕吗| 善良的女秘书| 乌有之地韩剧| 蔡琴如梦令| 乘龙怪婿第一季粤语版在线观看| 《酒店》1-100集免费观看在线| 我爱几何| 大戏法电视剧| 惊变 完整版| 高清《猫之茗》免费全集 | 侠盗高飞电影| 血恋电影免费播放高清在线观看 | 4个已婚妇女去按摩| 睫毛膏2中文版色大师| 乡村爱情五| 盛易传奇| 全职高手第二季樱花动漫| 夺命色诱| 成人电影维修工的艳遇| 宁安如梦电视剧在线观看全集| 检察官公主大结局| 笑傲江湖之风云再起| 归晓路晨电视剧免费观看| 金银悔6-10集普通话版| 私人女子监狱意| 再见 阿郎| 小屁孩日记2| 连麦kp录音原版mp3| 爱丫爱丫免费观看电视剧剧情| 和讨厌的部长一起去出差的女主是谁| 七天妻子失去理智电影| 中国高清观看免费观看| 哪里可以看晚娘| 额敏县| 《女兵俘虏营》越南版在线看| 星球大战系列| 生万物电视剧第15集| 美丽水蜜蜂| 日韩三级片白峰美羽在线观看| 红娘子3| 无影灯下连续剧全集免费播放| 一本正经电视剧免费观看完整版| 麦乐迪和父亲的电影叫什么| 日剧《家庭教师上门拜访》| 高清白日梦奇遇记| 珠江人家电视剧免费观看| 电影《法国空姐2》| 即刻上场电视剧免费观看| 男女在一起愁愁愁视频电视剧免费观看全集 | 金银1-3| 美国式的家庭忌讳1—| 需要浪漫11| 点燃我温暖你全集在线观看 | 师傅在首尔| 私人家教1983版电影免费观看 | 惊声尖笑5下载| 柳州女子喝醉被| 三人第一次体检电影免费观看| 精灵宝可梦樱花免费观看| 怪物大学国语| 非诚勿扰第15期| 渴望城市演员表| 丰原市| 美国禁忌式家庭结局4k| 七龙珠af| 恶魔阿萨谢尔在召唤你oad| 哪吒闹海免费| 腾飞担保公司| 元阳县| 光棍影院双人按摩| 浙江卫视美食爽天下| 世界上最长的桥是哪一座桥| 月光洒向离人巷| 爱的阶梯国语版| 乡村神医:妙手回春全集免费| 韩剧《我的游泳女教练》免费观看 | 我的性感女老师在线观看| 沧元图 前传:东宁府的夏天未删减| 宁夏杀人案| 盛世宝邸论坛| 魔法老师剧场版| 一愁愁愁电视在线观看免费 | 精忠岳飞背景音乐| 维修工人的绝遇2中文字HD_午夜电影全集_完整版免费在线观看-天天影院 | 浴火危城电视剧| 《安娜的秘密》满天星女超人| 三年大片在线观看免费观看国语完整版 | 凌云壮志(欧美)满天星小娅是谁演的 | 日本修理工艳遇| 钢铁森林| 战狼2免费| 为爱痴狂mv| 巴掌 红肿WRITE AS| 玉溪市| 麦乐迪女超人 满天星版在线观看| 《老舅》电视剧免费观看| 高清《聊斋之宝盒》国语版| 南洋第一邪降下载| 女教授的隐秘魅力电影| 恐龙 2000 电影| 《瞒着丈夫加班》日剧| 墨西哥电视剧《la rosa de guadalupe》(瓜达卢佩的玫瑰/奇迹玫瑰 在线 | 小小水蜜桃6电视剧| 美国禁忌1-7| 企鹅女排现场直播| 金瓶双艳完整版| 金鸡sss| 高清星际宝贝史迪奇| 《我的健身锻炼| 姐姐的男友2| 高清《隐入尘烟》完整版免费观看| 性感乳房裸体电影按摩| 美国电影娃娃脸| 亲吻姐姐全集| 枣庄市| 《和讨厌的部长出差》| 虎胆龙威5百度影音| 女人的战争 电视剧韩国电影| 试驾问界m9| 泰囧完整版| 超级飞侠动画片全集免费体验| 爸爸的种子美剧全集免费观看| 痛30插曲全集免费播放| 也平凡电视剧在线观看免费完整版| 回春医疗保健66下载| 等一个晴天说再见| 《心动的信号》第八季| 1996版杨敏1-5电视剧高清| 丰满的大胸继拇HD在线观看| 大雨电影在线观看国语| 刀剑神域mad| 儿子的妻子在线| 《熊出没之雪岭熊风》 | 需要爸爸的种子免费在线观看中文字幕 | 窥视者电影(无删减)哪里有星| 小早川伶子电影| 私人女性监狱变态版在线观看| 基本演绎法第三季| 迦楠大人的白给是恶魔级全集观看| 粉红的窗帘| 电视剧新施公案| 满天星《女超人》免费播放| 庄园色导航| 银河护卫队圣诞特别篇| 男人女人愁愁愁免费观看| 赤坂丽在线观看| 痕迹在线观看| 裸zhao| 幸福美丽绽放剧情| 牝老师| 性生活伦理电影|