![]()
在紛繁的神經回路與信息流動之間,我們徘徊在智能的邊緣,試圖捕捉那一抹瞬息即逝的光芒。
大腦,這個復雜的生物計算機,承載著無數思緒與行為的密碼,卻始終難以捉摸其完整的面貌。人工智能,這架精密的機器,能夠高效處理大量信息。但其思維與反應依然是機械的、預設的,缺乏大腦那種在瞬息萬變的世界中游刃有余的適應性。
或許能夠帶來新的契機:神經科學揭示深刻的計算與認知之道,為人工智能提供靈感;而人工智能作為神經系統的模擬,又推動著我們對大腦結構與功能的理解,仿佛一場永不停息的互動,彼此促進,交織成一個良性循環。
在卡內基梅隆大學保羅·米德布魯克斯(Paul Middlebrooks)主持的這場跨越學科與思維的對話中,我們將與冷泉港實驗室(CSHL)生物學與神經科學系主任安東尼·扎多爾(Anthony Zador)教授一同探索這一議題。或許,在其中,我們能找到照亮未來的那一束光——不僅是為人工智能鋪路,更是為我們如何理解自身的存在,尋找出一條新的路徑。
![]()
安東尼-扎多爾
Anthony Zador
冷泉港實驗室(CSHL)生物學與神經科學系主任
美國神經科學家,2015年被《外交政策》雜志評為全球百大思想家。在神經科學與人工智能交叉領域方面,他是 2004 年計算與系統神經科學 (COSYNE) 頂會以及NAISYS(神經科學到人工智能系統)會議的聯合創始人。目前,他的實驗室主要研究大腦神經回路如何產生復雜行為,包括聽覺皮層如何處理聲音等。近期他開創了一種連接組映射的分子生物學新方法,顯著提升在單細胞水平上映射神經元回路的速度。冷泉港實驗室,有132年歷史,為享譽全球的非營利性私人科學研究與教育中心,主要成就為分子生物學領域,共誕生8位諾貝爾獎得主,被譽為世界生命科學圣地、“分子生物學搖籃”,名列世界影響最大的十大研究學院榜首。
![]()
保羅·米德布魯克斯
Paul Middlebrooks
卡內基梅隆大學特聘助理研究員、
播客“Brain Inspired”主理人
卡內基梅隆大學特聘助理研究員,他研究運動皮層和基底神經節神經群體活動如何在大鼠的自然行為中起作用。播客“Brain Inspired”主持人。此前在匹茲堡大學Marc Sommer實驗室獲得認知神經科學博士學位;在范德堡大學的Jeffrey Schall, Geoff Woodman, and Gordon Logan實驗室從事博士后研究。
![]()
![]()
NeuroAI與研究生涯
Paul Middlebrooks:你覺得NeuroAI這個術語怎么樣?你喜歡這個術語嗎?
Anthony Zador:起初我對這個術語并不感冒。事實上,大約五年前,我在冷泉港與凱特·唐納德森(Cat Donaldson)合作,他嘗試幫助我構建一個結合神經科學與人工智能的項目。在這個過程中,我們討論了許多不同的想法。當時,我在提案中使用的是一些更復雜的描述,例如“神經科學與人工智能的交集”。凱特認為這樣的表述太過笨拙了。幾周前,我在谷歌學術上進行了搜索,想要確定這一術語最早出現的時間。結果顯示,直到2010年代中后期,這個術語的使用頻率才開始顯著增加。雖然有一些早期的使用實例,但它們通常指的是腦機接口相關的概念。
Paul Middlebrooks: 你在長期觀察和研究的過程中,逐步接受并對NeuroAI越來越感興趣。是什么讓你如此興奮呢?
Anthony Zador:回顧我的學術旅程,在80年代末到90年代初期的研究生時期,我對計算神經科學和人工神經網絡的領域充滿熱情。在那個時候,這兩個領域是緊密相連的,幾乎可以看作是一枚硬幣的正反面。這個領域的核心思想是,通過構建神經回路如何進行計算的模型,來提煉我們對神經回路工作原理的理解,并將這種理解應用到構建更好的人工系統中。
在我剛涉足這一領域時,計算神經科學和人工神經網絡之間并沒有明確的區分。它們在許多方面是交織在一起的,這讓我感到非常興奮,因為神經科學中有著長期使用定量模型的傳統,而這也正是計算神經科學的核心部分。盡管如此,傳統的神經科學模型往往并沒有充分認識到,神經回路不僅具有動態和行為特征,還必須執行某些功能。這些回路必須使得嵌入其中的有機體能夠解決實際問題。
正是這種對神經回路功能的認知限制,最終促使了計算神經科學與神經網絡的早期結合。那時的我或許有些天真,但我認為,當時很多從事視覺科學研究的人并沒有真正意識到,從神經回路角度解釋視覺信息的處理機制是非常復雜的。就像早期的計算機科學家以為計算國際象棋的下棋步驟很難,但讓計算機控制機器人手臂去拿棋子很簡單一樣。這種想法在后來的實踐中被證明是錯誤的。
我從赫貝爾(Hubel)和韋伯爾(Wiesel)的工作開始,跟隨其研究方向,逐步理解了這種認知轉變。早期的視覺研究集中于在大腦不同區域識別視覺場景的表現形式,并認為這可以幫助我們解釋視覺感知的機制。然而,隨著研究的深入,我們逐漸認識到,單純的尋找視覺場景的表征,并不足以解釋整個視覺過程的復雜性。
Paul Middlebrooks:所以你對NeuroAI的興趣,來自于對問題復雜性的重新認識嗎?
Anthony Zador:在我讀研究生時,我認為自己能夠同時深入學習神經科學的知識,同時將這些知識應用到構建更好的人工系統中。那種想法充滿了無限的可能——不僅能理解大腦如何工作,還能借此推動機器智能的發展。
然而,隨著研究的深入,我逐漸意識到,自己無法同時兼顧這兩個目標。在完成博士后研究時,我做出了一個決定:必須專注其中一個方向。那時,我發現自己對神經網絡的研究興趣開始有所減退。相比之下,神經科學領域提供了更多的機會,讓我能夠進一步深入學習,了解大腦的工作原理。于是,我決定重新調整自己的研究方向,專注于神經科學的實驗研究。
這種轉變讓我成為了一名純粹的實驗研究者,或者更準確地說,一位受到理論和計算問題驅動的實驗者。在博士后期間,我的研究重點轉向了突觸生理學,這一領域為我提供了更廣闊的探索空間。盡管如此,我依然對定量方法保持濃厚的興趣。在那個時期,我對信息論的技術感到非常興奮,尤其是由比爾·比亞萊克(Bill Bialek)等人開創的一些信息理論方法,這些方法為理解神經系統的工作機制提供了全新的視角。
![]()
神經科學與信息理論
Paul Middlebrooks:那今天你怎么看待信息理論方法?
Anthony Zador:在我思考問題的過程中,信息測量是我方法論的核心。很多像我一樣的研究者都在從事信息測量的工作,而這一過程對清晰思考神經元如何表示信息以及它們的表現能力非常有幫助。
盡管信息測量有其局限性,但我認為它提供了一個強大的框架,有助于理解神經回路是如何處理信息的。雖然從中得出的具體數字往往顯得單調且乏味,甚至有些人對此表示批評,然而,對我來說,真正引人入勝的是背后的框架和思考世界的方式,這包括了信息必須被傳播和轉化的認識。
過去我們很多人更關注感覺處理,在這方面信息理論涵蓋了如何從外部世界接收信息并進行表征。但直到我自己開設實驗室時,我才真正意識到動物的行為是不能被忽視的。
在過去,許多研究都是在麻醉動物上進行的,因為在麻醉狀態下,實驗相對容易控制,研究者可以通過這種方式研究神經回路的基本功能。然而,麻醉動物的行為通常比較單一,也缺乏自然性。因此,麻醉動物研究取得的結果,雖然為神經科學的發展提供了基礎,但也限制了我們對神經系統在實際行為中的作用的深入理解。
我的實驗室工作,讓我開始探索動物在更自然狀態下的行為,這不僅改變了我的研究方向,也對整個領域的研究方法產生了影響。
![]()
神經科學的實驗路徑與局限性
Paul Middlebrooks:在神經科學研究中,許多時候人們會提到像麻醉動物這樣的歷史性實驗,并認為這些實驗是我們今天能夠取得現有成果的必要步驟。人們通常認為,麻醉動物的使用為后來的動物模型多樣化、以及在控制實驗和自然狀態下進行研究鋪平了道路。動物麻醉實驗是否真的起到了如此關鍵的作用呢?
Anthony Zador:歷史上,許多哲學家曾探討過某條歷史路徑是否必然。我不確定這一路徑是否真的是必然的,但直到今天,依然有一些實驗是基于某種假設的。
以我自己的經歷為例,做博士后時我做了很多腦切片實驗。腦切片的做法比使用完整的大腦來得更加可行,可以讓我們得到許多在完整大腦操作下難以獲得的信息。一個有趣的現象是,當神經科學家提到“在體操作”(in vivo prepare)時,大多指的是大腦仍處于顱內狀態的實驗。而如果生物化學家提到“在體操作”,指的則是細胞膜完整、其內各種蛋白質未變質的實驗。
不同的實驗操作,適合不同的問題。我從不批評任何一種實驗操作,也不會否定某種研究路線。但問題在于,如果整個學術圈都忘記了實驗操作只是模型,而非現實的全部表現,問題就出現了。
當一個社區發展到足夠大的規模,它開始局限于內部對話,而那些原本與整體研究目標相關的問題也會脫離原本的框架,開始自我發展。我認為,大多數研究者在開始職業生涯時,并不會專注于研究麻醉的貓腦中的靜態視覺圖像。這個問題當然非常有用,它也為許多人提供了一個共同的研究模型。但我認為這并不是推動所有人從事這類研究的核心驅動力。這個除了實驗模型還有更大問題需要解答:例如,如何表征外部世界?這些視覺表征是如何被動物使用的?或者,什么是思維?這些才是最初驅動研究的深層問題。
![]()
NeuroAI與人工智能的發展
Paul Middlebrooks:在你看來,現代深度學習和NeuroAI的方法是否可能犯了與傳統神經科學研究類似的錯誤——即把模型或抽象的表征與它們所代表的現實相混淆?比如有些人認為,“Transformer模型能進行認知處理”的說法可能是一種過度簡化,Transformer只是一個模型,并不等同于真正的認知過程,它也不是最終的答案。盡管這個模型可能比之前的模型更接近真實的認知處理,或許更有潛力。你怎么看待這種說法?
Anthony Zador:我甚至可以說,根據我目前的了解,Transformer幾乎可以作為NeuroAI成功的反例,它與我期望從大腦中發現的任何東西幾乎沒有相似之處。它們的成功基本上來源于這樣一個事實:它們與當前一代的GPU硬件非常匹配。
ChatGPT的成功展示了語言作為一個封閉系統的特性。ChatGPT雖然在處理語言任務時表現出色,能夠提供合理的答案,但它并不是完美無缺的。比如,它無法進行準確的算術計算。這并不是對它的否定。因為運作方式與傳統的算術算法不同,ChatGPT給出的合理答案通常是基于語言的結構和模式,而不是通過實際的數學計算方法。盡管如此,ChatGPT在給出合理語言答案方面的能力仍然令人驚嘆。
我們在進化過程中形成了很多能力,其中語言能力獲得的時間并不長,大約在過去幾十萬年,甚至最多一百萬年才出現。而其他更早形成的能力,尤其是感知和行動,才是人工系統目前依然非常難以復制的部分。
Paul Middlebrooks:我想討論的模型應該是那些更加關注模擬大腦認知過程的神經網絡模型,比如那些通過卷積神經網絡和遞歸結構來模擬和理解大腦信息處理機制的神經網絡架構,以及它們在理解大腦方面的推動作用。
Anthony Zador:在NeuroAI的支持者中,卷積神經網絡(CNN)常常被作為例子引用。其實,除了卷積神經網絡之外,還有一個更根本的例子,那就是神經網絡本身——通過大量連接的元素、具有可變參數的網絡進行計算。如果沒有從大腦的抽象模型中得到的啟發,我們可能根本無法想到這一點。
當談到NeuroAI的未來發展時,一個常見問題是:人工神經網絡是否僅僅是受到了大腦的啟發,而不是對真實大腦神經的模仿,就像鳥類啟發了飛機的設計而不是直接模仿鳥類的飛行方式。對此,楊立昆提出反論,指出航空工程師確實從鳥類的飛行中獲得靈感,這一點他顯然已經研究過。不過,我自己對此持中立態度,并愿意尊重他的見解。
我認為更關鍵的問題是,人工智能的目標究竟是什么。如果我們的目標是創造一種盡可能接近人類智能的系統,那么僅僅實現功能上的高效是不夠的。飛機雖然可以完成鳥類無法實現的任務(如遠距離飛行、運載貨物),但它不具備鳥類在自然環境中的靈活性,比如在森林中安靜地飛行,或者從水中俯沖捕捉魚類。同樣,計算機也能做很多人類無法做的事情,比如快速計算、檢索查詢等——但這不是我們真正追求的目標。
如果我們的目標是實現人工智能——即讓機器能夠完成任何人類可以做到的事情,那么我們就應該研究人類如何完成這些任務。要理解人類如何完成復雜行為,最直接的途徑是觀察其他動物的行為,因為人類的許多能力并不是全新獨立的,而是繼承了祖先的生存能力。因此,研究動物如何感知、適應和行動,可以幫助我們更好地理解人類行為的核心機制。
![]()
NeuroAI與目標函數對齊
Paul Middlebrooks:我曾私下問過你,什么事情讓你感到興奮。你提到了“對齊”,說目前我們在強化學習等領域設計目標函數的模型非常有限,我們應該從動物身上汲取靈感來解決這個問題。
Anthony Zador:是的。我特別關注如何從生物學和神經科學中獲取啟發,并將這些啟發應用于人工系統。其中,最根本的問題是對齊(alignment)。
目前,我們擅長構建能夠優化單一明確目標函數的系統。然而,當涉及多個目標時,我們通常的解決方案是將它們簡單地加權求和。但大多數情況下,這種擴展并不穩健,實際效果也不好。
相比之下,經過進化的動物很擅長平衡多重目標。在面對“覓食、逃生、戰斗和繁殖”這四個基本目標時,動物能夠根據環境動態調整它們的優先級。例如,當饑餓時覓食是首要目標,但如果遭遇捕食者,逃生會立刻取代覓食成為最高優先級。而浪漫(繁衍)通常只會在其他三種需求滿足后才被考慮。
這些頂層目標還可以被分解為子目標和更小的子子目標。對于人類和其他社會性動物來說,社交目標與饑餓等生理需求同樣重要且深遠。生物體通過進化形成了一種架構,可以引入新的目標,同時確保這些目標與現有目標能夠合理互動。
然而,我們目前并不完全理解這種生物學機制是如何實現的,暫時無法在人工系統中實現類似的功能。這是一個值得深入研究的領域,它可能為人工智能設計提供重要的啟示。
Paul Middlebrooks:認知架構曾經是人工智能研究的一個重要方向,至今仍然很重要。但在嘗試構建這些系統的過程中,人們發現,模塊之間的協調問題,比模塊內部的每個目標函數更為復雜和困難。
Anthony Zador:我完全同意。事實上,我認為NeuroAI是一個良性循環,在這個循環中,我們從神經科學中汲取啟發,將其應用到人工智能中,同時又用人工智能作為神經科學的模型。
就像視覺科學家,將那些模糊的理論應用到實際系統中時才意識到視覺的復雜性。我認為,研究動機的學者們也未必明白,協調多重目標是多么困難。我們要真正理解從具備多個目標的智能體中生成行為的難度,必須開始嘗試構建這樣的智能體。這將幫助我們更好地定義問題,甚至對實驗學者來說也是如此。
目前,在實驗層面,我們仍在努力定義什么是獎勵信號,這些工作雖然很重要,但它們未必能夠幫助我們直接解決協調多個目標的難題,這可能是最棘手的挑戰。
Paul Middlebrooks:這其實回到了一個問題——你希望人工智能系統做什么?我認為,復制我們人類的方式可能不是構建人工智能的最佳途徑。為什么要讓一個系統具備我們在人類進化過程中辛苦獲得的那些復雜協調機制呢?我們有很多不同的目標函數,它們之間可能會發生沖突。但是為什么要讓人工智能去應對這種復雜性,去實現這些目標呢?
Anthony Zador:因為我期望的是一個功能多樣、能夠在特定環境下進行智能決策和應對的機器人,既能完成常規任務,又能確保人的安全并在緊急情況下做出合適的反應。
實際上,我們希望機器人遵循的具體目標,最終可能會與我們人類的目標大不相同。關鍵不在于這些目標的內容,而在于如何設計一個計算框架,能夠讓機器人在不同目標之間做出合理的權衡。
對人類來說,生存顯然是個重要目標。但這個目標也可以放寬。比如,螞蟻中的個體其實并不太關心自己的生死,它更關心的是整個蟻群的利益。螞蟻作為蟻群的一部分,愿意為群體的利益做出犧牲。雖然螞蟻也會考慮個體的生存,但它并不會將生存作為最核心的目標。同樣的道理也適用于機器人。我們不希望機器人做出危險行為,比如“隨意走進熔巖坑”。但我們也不希望機器人死板地遵循阿西莫夫的三定律——“機器人不得傷害人類,或因不作為而讓人類受到傷害”,“機器人必須服從人類的命令,前提是這些命令不與第一定律沖突”,“機器人必須保護自己,只要這種自我保護不與前兩條定律相沖突”。
個體生存和不傷害他人等原則固然重要,但這些規則可能不足以應對現代技術和現實應用中的復雜情況。我們需要為機器人設計更復雜、靈活的倫理框架,而這種框架可能不僅僅依賴于明確的規則,而是可以通過自然語言處理等技術,使機器人能夠根據不同情境動態調整行為。
Paul Middlebrooks:那你希望機器人具備情感功能嗎(比如浪漫)?
Anthony Zador:我并不想要浪漫功能。但必須承認,浪漫是推動技術發展的一個重要因素。私人浪漫題材的電影是VHS錄像帶普及的主要推動力之一,這種私人浪漫題材的需求也影響了早期互聯網的發展。這種技術和文化需求之間的密切聯系,尤其是在情感和個人隱私方面的需求,往往是推動技術快速發展的一個重要因素。
![]()
發育、基因壓縮表示與進化
Paul Middlebrooks:我在很早的一期節目中采訪過你,當時我們討論了你的一篇論文,論文中你提出,大多數有用的能力實際上是由進化逐漸賦予的,是與生俱來的。現在你依然堅持這個觀點,但同時你也開始關注發育,認為這是一個值得研究的領域,尤其是從如何理解目標函數協調的角度來看。你對發育的興趣與目標函數的協調性有關系嗎?
Anthony Zador:沒錯。我對這樣一個觀點感到非常興奮,即所有行為——無論是動物行為還是人類行為——都來源于深層的先天驅動力,這種驅動力存在于每個層面。
我們沒有足夠的時間從零開始學習所有的東西。學習可以被看作是發展過程的延續和擴展。有這樣一個觀點:我們的許多神經回路和行為大部分是由基因決定的,基因規定了這些神經回路。那就意味著我們必須關注基因與最終形成的大腦之間的關系。生物學將基因轉化為大腦的過程被稱為“發育”。
最初我認為可以忽視發育的生物學過程,但后來我意識到,我之所以忽視它,是因為我對發育知之甚少。發育過程非常有趣,里面有很多可以抽象的原則,這或許能夠幫助我們更好地解決問題。舉個例子,發育的核心原則之一是,通過遞歸地應用一組相對簡單的規則,大腦從單一細胞發展成復雜結構,這些規則在必要時會隨著發育過程的推進而進行調整。
Paul Middlebrooks:Robin Hiesinger等研究者專注于大腦發育研究,他提出了一個觀點,即我們的DNA沒有足夠的編碼容量來指定人類大腦的完整結構。他認為DNA并不直接編碼大腦的每個細節,而是編碼了必需的遞歸規則。DNA無法直接跳躍成一個成型的大腦或計算機系統,因此發育過程是必須的。你怎么看待這個觀點?
Anthony Zador:我非常認同,我曾經認為基因組是我們神經回路的壓縮表示,它代表了一種“基因瓶頸”。最近我們剛剛發布了一篇論文,首次嘗試嚴格地闡述這個想法。這篇論文四年前就已在bioRxiv上發表了,最近終于在PNAS上正式發表。這項工作是與我的同事亞歷克斯·庫拉科夫 (Alex Kulakov)教授共同完成的。
![]()
?Shuvaev, Sergey, et al. "Encoding innate ability through a genomic bottleneck." Proceedings of the National Academy of Sciences 121.38 (2024):e2409160121.
在這項研究中,我們提出了使用一個更小的神經網絡來壓縮一個大神經網絡的權重矩陣。這個過程并不是一個典型的自編碼器。具體來說,我們有一個N×N的權重矩陣,包含N2個元素,然后用一個更小的神經網絡,輸入是矩陣中的兩個索引,輸出是對應權重的預測。
這個方法取得了很好的效果,我們成功地將MNIST、CIFAR和ImageNet的數據集中的大矩陣壓縮了100倍甚至1000倍,而壓縮后的矩陣幾乎能夠保持與未壓縮矩陣相同的表現。更重要的是,我們還發現,壓縮后的表征提高了遷移學習的效果,這表明壓縮過程中去除了冗余信息,保留了重要部分。我們可以將壓縮視為一種正則化方法,這也得到了驗證。
最近和布雷克·理查茲 (Blake Richards)的合作中,我們受到不同想法的啟發,提出一個新的壓縮方法,已經在bioRxiv上提交審核。這項研究可能要六年后才能發表。我們在這個版本中使用了細胞類型以及細胞類型之間的隨機連接性。我認為這兩個研究不僅充滿樂趣,也讓我學到了很多東西。
![]()
? Lachi, Divyansha, et al. "Stochastic Wiring of Cell Types Enhances Fitness by Generating Phenotypic Variability." bioRxiv (2024):2024-08.
目前我與博士后斯坦·克爾斯廷 (Stan Kerstjens)一起研究的課題,關注如何通過遞歸方式來形成發育過程,如何利用非常簡單的規則來發展一個網絡。這個網絡在發展過程中可以被引導最終解決任務。在我看來,這捕捉了發育中的一些關鍵元素。這些遞歸規則代表了一種“先驗”,即對可能生成的神經回路的一種約束。任何用于壓縮的規則,實際上都在對可以生成的回路施加一個先驗。比如網絡生成的回路及其學習速度,實際上是在對生成的網絡類型施加限制,為這些網絡類型提供了一種先驗。
Paul Middlebrooks:限制就像協調問題一樣。限制無處不在,從某種意義上說限制比過程本身更為重要。
Anthony Zador:是的。有些人認為,人工神經網絡的成功在于它們能夠表示出數據的平滑先驗,這得益于大量相關研究。同樣,你無法預知什么是正確的限制或先驗,這都需要通過實驗驗證。
神經網絡的先驗與實際神經回路的形成過程非常相似。每個生物體的神經回路都是從一個單一細胞開始形成的,而把一個細胞發展成多個細胞的規則必須能夠被基因所編碼,這可能就是關鍵的限制之一。總的來說,我現在對此非常興奮,我們可以看看未來會如何發展,但我覺得這是正確的方向。
關于進化,也有一個很自然的解釋。進化實際上是在產生神經回路。初始的回路在執行某些行為時非常有效。這個回路存在于某個生物的大腦中,使得該生物能夠執行一些行為。接下來進化會選擇那些行為表現好的個體,在下一代中這些能力可能會得到發展。如果發育的規則使得動物的神經回路在某種行為上更加高效,那么進化就會選擇它們,在現有回路的基礎上加入新的能力和新的回路,但必須確保每一代都能產生具有執行所有所需行為的大腦的生物。
Paul Middlebrooks:那么,為什么需要發育呢?
Anthony Zador:發育過程對于生物學至關重要,因為它從單一細胞出發,生成了一個具有高度復雜性的生物體。盡管我個人更關注大腦的發育規則,但機器人學的研究也不能忽視“身體”的構建,因為機器人不僅需要智能系統,還需要一個與外界環境交互的身體結構。如果我們想理解機器人技術,我們需要認識到身體的構建過程與大腦發育類似。
![]()
機器人技術與課程學習
Paul Middlebrooks:你之前提到過對研究發育過程的遲疑,我也能理解這種感受——這個過程看起來非常復雜和困難,這確確實實讓我感到害怕。我想,人工智能領域可能也不太愿意考慮發育過程,或者說他們認為生物體是從細胞階段發展才需要經歷發育過程,而這對于AI的構建可能沒有太大幫助。
Anthony Zador:我最近一直在思考一個問題,我們在這方面還沒有取得什么進展,所以我就只是分享一下我的研究想法。
最近,我在思考機器人技術。目前的機器人并不夠優秀,它們在與世界互動方面的表現遠遠不如人類。有一段時間有一些研究者對物理模擬器非常感興趣,我自己也嘗試過像MuJoCo這樣的模擬器。
在這些物理模擬器中,你可以指定一個有手臂和腿的智能體,它們通過像肌肉一樣的東西連接在一起,你可以對它們施加力,然后在這些虛擬環境中學習控制策略。然而,即便在這些簡化的物理模擬器中,創建能夠走路的簡單智能體也非常困難。
我和我的團隊也做過一些嘗試,其他許多研究人員也在這些模擬器中做了很多工作。我的理解是,機器人學家在模擬環境中花費了太多時間,但是將模擬中的智能體轉移到現實世界中通常是行不通的,這就是所謂的“模擬到現實”(sim-to-real)問題。
在這方面,我的思考是:我們人類也面臨著類似的“模擬到現實”問題。我們的基因組指定了一個身體和一個神經回路,而身體的設置不一定與神經回路的設置緊密相關。但是當我們出生時,我們的大腦必須迅速學習如何控制我們出生時所擁有的身體。
Paul Middlebrooks:我想到一個例外情況。我最近和卡倫·阿道夫 (Karen Adolph)討論過,她專注于人類運動發育,研究了很多關于兒童的運動發展。她發現,兒童在學習運動技能的過程中,摔倒和撞到東西的頻率非常高,因為他們正在積極探索這個空間。孩子們不像馬那樣,出生幾分鐘就能走路。所以相比之下,我們人類的發育要慢得多。
Anthony Zador:這是一個很好的問題。為什么我們需要花費很多時間才能學會走路?我認為很明顯,這并不是因為我們不能更快地學會走路。當我的孩子很小的時候,我希望他們能慢一些學會走路,因為如果他們沒有足夠的常識就很容易遇到危險。
孩子們剛開始學走路的那段時間,他們已經具備了走動的能力,但還沒有足夠的判斷力,就好像他們可以拿東西放進嘴里,但還不懂得分辨什么東西應該放進去,什么不應該。這段學習如何站立的漫長過程,可能正是因為那些過早學會站立的孩子,往往做出了一些錯誤的決定。
說到動物,我想舉個例子:你可以讓一只吉娃娃和一只大丹犬交配。因為從基因角度看,它們的DNA是兼容的。這告訴我們,盡管它們的體型差異大得驚人,但他們的大腦發育指令幾乎是沒有區別的。這個例子展示了生物體具有驚人的靈活性和適應性。與之相反的是,在MuJoCo這樣的物理模擬器中訓練一個模擬智能體控制身體,如果改變身體的10%到20%,它就無法正常運行了。
我認為,生物的這種現象的背后是一個發育過程。在這個過程中,發育的每一步都解決了整體大問題中的一個子問題,使得大腦和身體的組合能夠在幾個月,甚至幾周內學會走路和跑步。這個過程對于所有動物都是如此。這種發育過程并不是一蹴而就的,而是一個通過不斷解決小問題逐步積累的過程。
Paul Middlebrooks:這讓我想起了你提到的課程學習(Curriculum Learning)這個概念。我理解的課程學習是指通過逐步學習來掌握一項技能,而不是一開始就去做整個復雜的任務。比如我們用網球發球作為例子,你并不是一開始就直接去做完整的發球動作,而是先學會如何站立,學會如何彎曲膝蓋,然后分開練習這些動作,最后再將它們組合在一起,完成整個發球動作。這就是課程學習的方式。最近,亞歷山大·馬蒂斯 (Alexander Mathis)也在討論類似的內容,他提到這種方式實際上有助于教導人工系統如何學習類似的任務。我猜這也是你剛才所說的意思。
Anthony Zador:沒錯。機器學習中確實有很多關于課程學習的研究。通常人們認為課程學習的挑戰在于很難選擇一個合適的課程。舉個例子,如果你的目標是訓練一個圖像識別系統,并且目標是盡可能加快訓練速度,那么課程學習的作用就不太明顯了。你可能會猜測哪些基本模塊有用,但等你嘗試了很多種課程設計后,可能直接使用數據進行端到端的訓練會更高效。
在我看來,課程學習真正有用的情景是,當你需要反復解決相似的問題,但是每次面對的約束條件、問題表述、甚至是“大腦”和“身體”都有些許不同時。在這種情況下,課程學習就能夠發揮重要作用,因為它能夠幫助系統逐步適應不同的變化。
Paul Middlebrooks:你的思路讓我想到了一個例子:嬰兒爬行時,剛開始它甚至連抬頭的方式都不同,它看到的東西也不同。隨著它能坐起來并且能更好地移動時,它的世界觀和信息處理方式就發生了變化,它開始關注不同的事物。當它開始走路時,它的觀察和行動能力又變得更加復雜。這是不是你在說的意思?也就是說,從嬰兒發育的過程當中汲取靈感,因為它們在不同階段解決的是不同的問題。
Anthony Zador:沒錯,嬰兒在不同的發育階段解決的是不同的問題,而每一個問題的解決都為下一個問題的解決提供了基礎。這正是進化的作用所在,進化在某種程度上為問題的解決順序提供了指導。進化并非是隨機的,而是在長期的適應過程中,為每個階段的問題提供了解決的順序。
馬克斯·貝內特 (Max Bennett)寫了一本關于智能簡史的書,提到“五個突破”這一概念,雖然他不確定這是否完全準確,但它提供了一個很好的框架,幫助我們思考問題。這個框架的核心思想是,只有在達成第一個突破后,才能進入第二個突破。
他提到了一句老話:“個體發育重演進化過程(ontogeny recapitulates phylogeny)”,這句話包含了一個很有道理的經驗法則。它的意思是,個體的發育過程在某種程度上反映了物種的進化歷程。換句話說,發育在某種程度上重演了進化的歷史。
具體來說,動物一出生就能執行一些重要的行為,因為這些能力對生存至關重要,因此它們天生就具備這些技能。之后,動物會學習其他有用的技能,而那些能快速學習新技能的個體會在進化中被優先選擇。最快的學習方式其實是直接將這些技能嵌入基因中,這樣就不需要通過后天學習來獲得它們,或者至少盡可能地將這些信息傳遞到基因里。
這也解釋了我之前所說的,發展和學習之間的界限非常模糊。簡單來說,你學習某件事情的速度越快,意味著你已有的先驗知識越強,學習這件事所需的外部信息就越少,而這一切都是通過將這些知識編碼到基因中來實現的。
Anthony Zador:我認為,在人工智能的訓練中,課程學習可以提供前進的方向。具體來說,我們可以在模擬環境中探索什么是合適的發育過程。選擇一系列需要學習的子任務,然后將這些任務分解成更小的問題。如果這個合適的課程存在,我們希望學習這些子任務所花費的總時間會比直接學習最終目標所需要的時間更短。例如,假設目標是讓智能體學會走路,那么分階段學習這些子任務應該比從頭到尾一次性學習走路更高效。
接下來,如果這些子任務相對簡單且有序,我們就可以嘗試將同樣的開發課程應用到實際的智能體上,盡管它仍然需要適應身體結構上的差異——比如模擬環境中的身體和現實中身體之間的不同。如果我們能把這些差異分解成更小的部分,那么它們可能會比直接從頭到尾進行端到端訓練時所面臨的差異要小,從而使學習過程更加高效。
![]()
編譯后記
Yin Ava:NeuroAI,理論上是一個相互促進、交織成循環的體系,神經科學的探索與AI的進步能夠相輔相成,共同推動智能的邊界。然而,現實卻并非如此簡單。神經科學在啟示AI方面有哪些局限性?如何促進從神經科學研究中獲取靈感啟發AI?
神經系統的復雜性和多樣性尚未完全被理解,神經科學在提供啟示時還缺乏統一的理論框架;現有的神經科學實驗方法(如麻醉動物實驗)也無法完全反映大腦在自然狀態下的行為和信息處理過程;況且,神經科學與AI的研究語言和目標存在差異,兩者的融合尚未達到最優狀態。如何促進神經科學對AI的啟示,突破這些局限,需要更加深入的探討與思考。
如果這些局限無法突破,是否意味著神經科學在啟發AI方面的意義就會消失?或許我們可以從不同的角度來審視這一困境。即便神經科學的現有局限性使其在某些方面無法直接為AI提供有效的指引,這并不意味著其啟示作用就全然失效。相反,這些局限本身也許正是推動思考與創新的契機。
AI的設計不僅僅是對大腦功能的單純復制,而是對神經系統的深刻理解與重新構想。如果神經科學無法提供明確的答案,那么它是否能夠激發我們對智能的本質、感知的復雜性、以及學習的機制等更為深刻的思考呢?在這種意義上,神經科學或許并非僅僅為AI提供現成的答案,而是引發一系列新的問題與探索路徑。局限并非終結,反而可能是新的開始。
為提升閱讀體驗,本文對聽稿進行了適當地編輯。原采訪指路:
https://www.thetransmitter.org/brain-inspired/anthony-zador-outlines-how-he-thinks-neuroscience-can-help-improve-ai/
![]()
![]()
![]()
![]()
![]()
關于追問nextquestion
天橋腦科學研究院旗下科學媒體,旨在以科學追問為紐帶,深入探究人工智能與人類智能相互融合與促進,不斷探索科學的邊界。如果您有進一步想要討論的內容,歡迎評論區留言,或添加小助手微信questionlab,加入社群與我們互動。
關于天橋腦科學研究院
天橋腦科學研究院(Tianqiao and Chrissy Chen Institute)是由陳天橋、雒芊芊夫婦出資10億美元創建的世界最大私人腦科學研究機構之一,圍繞全球化、跨學科和青年科學家三大重點,支持腦科學研究,造福人類。
Chen Institute與華山醫院、上海市精神衛生中心設立了應用神經技術前沿實驗室、人工智能與精神健康前沿實驗室;與加州理工學院合作成立了加州理工天橋神經科學研究院。
Chen Institute建成了支持腦科學和人工智能領域研究的生態系統,項目遍布歐美、亞洲和大洋洲,包括、、、科研型臨床醫生獎勵計劃、、中文媒體追問等。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.