強(qiáng)化學(xué)習(xí)之父薩頓：現(xiàn)在的AI還不夠強(qiáng)大，實(shí)現(xiàn)自主智能要從數(shù)據(jù)驅(qū)動(dòng)轉(zhuǎn)向經(jīng)驗(yàn)驅(qū)動(dòng)

出品｜搜狐科技

作者｜梁昌均

7月17日，2026世界人工智能大會(huì)暨人工智能全球治理高級(jí)別會(huì)議主論開(kāi)幕，2024年圖靈獎(jiǎng)得主、強(qiáng)化學(xué)習(xí)之父、阿爾伯塔大學(xué)計(jì)算機(jī)科學(xué)教授理查德·薩頓發(fā)表主題演講。

他表示，雖然現(xiàn)在AI在快速進(jìn)步，有人夸大炒作，有人感到恐懼，但現(xiàn)在的AI智能還不夠強(qiáng)大，它是比較弱小而且是不可靠的。

“所有AI模型，它們主要是在使用人類知識(shí)的力量，并且把它再交付給我們，他們并沒(méi)有能力發(fā)現(xiàn)自己的知識(shí)，思考過(guò)程中還是存在一些問(wèn)題，并不是如此強(qiáng)大。”

薩頓通過(guò)心理學(xué)、圖靈理論等介紹了對(duì)智能的定義，提出呼吁建立統(tǒng)一的通用心智科學(xué)，而強(qiáng)化學(xué)習(xí)是心智科學(xué)的開(kāi)始。

同時(shí)，他認(rèn)為，現(xiàn)在的AI是人類數(shù)據(jù)驅(qū)動(dòng)，但現(xiàn)在已經(jīng)達(dá)到極限，很多高質(zhì)量的數(shù)據(jù)源被用完了。“我們現(xiàn)在在邁入所謂的經(jīng)驗(yàn)時(shí)代，AI需要新的數(shù)據(jù)來(lái)源。”

薩頓表示，新的數(shù)據(jù)源來(lái)自智能體，隨著智能體越來(lái)越強(qiáng)，它能不斷增長(zhǎng)、不斷改善，這些不是靜態(tài)的數(shù)據(jù)集，而是智能體和環(huán)境在互動(dòng)中產(chǎn)生。

“AI現(xiàn)在終于轉(zhuǎn)向從經(jīng)驗(yàn)來(lái)進(jìn)行學(xué)習(xí)，而不是從人類的數(shù)據(jù)進(jìn)行學(xué)習(xí)，這樣它會(huì)變得更加強(qiáng)大，因?yàn)樗梢猿掷m(xù)學(xué)習(xí)新的東西。”

薩頓表示，AI現(xiàn)在還不是真正的智能，或者真正的自主智能，我們也還沒(méi)有來(lái)到真正超級(jí)智能的時(shí)代，或者智能增強(qiáng)人類的時(shí)代，但經(jīng)驗(yàn)型的AI正在到來(lái)。

以下是演講全文（經(jīng)編輯）：

非常高興今天能來(lái)發(fā)言，分享我對(duì)人工智能未來(lái)的想法。現(xiàn)在我們應(yīng)該怎么樣，今后應(yīng)該怎么走向什么樣的方向，我非常支持合作的觀點(diǎn)，共贏的觀點(diǎn)和建立合作伙伴關(guān)系的觀點(diǎn)。

人工智能現(xiàn)在在發(fā)生快速的變化，但也要思考一下背后的推動(dòng)力，可能也夸大了它的進(jìn)步或重要性。現(xiàn)在有很多突破，我覺(jué)得應(yīng)該是科學(xué)上的突破，機(jī)器可以非常熟練使用語(yǔ)言的能力，同時(shí)可以生成視頻、圖片。

這催生了很多的新行業(yè)和產(chǎn)業(yè)，也給我們帶來(lái)很多的經(jīng)濟(jì)上的應(yīng)用和價(jià)值，這些非常重要。但是感覺(jué)好像這些還是比較大規(guī)模運(yùn)用模式識(shí)別，智能和計(jì)算兩者不能混淆，必須要把這兩者的定義區(qū)分開(kāi)。

AI的科學(xué)就是智能的科學(xué)，它真的在快速進(jìn)步嗎？我覺(jué)得并不是如此，它們現(xiàn)在對(duì)真正體系系統(tǒng)的理解是很少的。所有AI模型主要是在使用人類知識(shí)的力量，并且把它再交付給我們，它們并沒(méi)有能力發(fā)現(xiàn)自己的知識(shí)，整個(gè)思考過(guò)程中還是存在一些問(wèn)題，并不是如此強(qiáng)大。

我并不指望在這里告訴大家什么是智能，但希望可以引發(fā)大家的思考。智能是什么意思，威廉·馮特（Wilhelm Wundt），心理學(xué)的奠基之父，這是超過(guò)100多年前的事情了，他對(duì)于智能的定義可能并不一定是說(shuō)的智能，而是所謂的心智，所謂心智就是要達(dá)成一定的目標(biāo)，使用不同的手段。

這是一個(gè)目標(biāo)，要有相同的結(jié)果，但是用不同的手段實(shí)現(xiàn)，我們要通過(guò)心智，通過(guò)智能實(shí)現(xiàn)一個(gè)目標(biāo)。要像人一樣行為，通常是通過(guò)圖靈測(cè)試，但是圖靈講的是模仿游戲，所以可能大家普遍有一種誤解，圖靈不覺(jué)得這是人工智能的測(cè)試。

不過(guò)，我們現(xiàn)在已經(jīng)普遍接受，現(xiàn)在有大語(yǔ)言模型在進(jìn)行訓(xùn)練的時(shí)候要讓它們像人一樣進(jìn)行行為，這也是其中的一個(gè)含義。但是這和威廉的定義不太一樣，如果我們查字典，它的定義是獲得和使用知識(shí)與技能的能力。

如果再回到人工智能之父，他說(shuō)智能是通過(guò)計(jì)算來(lái)達(dá)成目標(biāo)的能力。這里又提到了目標(biāo)，又提到了計(jì)算，但我們講的是人工智能，所以就算是自然的智能也需要計(jì)算，這些是各種各樣的智能定義。

我也有智能的定義，通過(guò)行為的適應(yīng)和調(diào)整來(lái)實(shí)現(xiàn)目標(biāo)的能力。除此之外，我個(gè)人的觀點(diǎn)，我是覺(jué)得我們應(yīng)該要設(shè)立關(guān)于心智的科學(xué)，通用的心智科學(xué)，它擁有人類、動(dòng)物、機(jī)器所有的這些心智共同的特征，同時(shí)也都是為了要實(shí)現(xiàn)目標(biāo)，未來(lái)可能更多的心智是機(jī)器的心智。

但現(xiàn)在沒(méi)有哪一門現(xiàn)有的科學(xué)把這些全部包含進(jìn)去，無(wú)論是心理學(xué)、人工智能、認(rèn)知科學(xué)，都沒(méi)有辦法做到這一點(diǎn)，我個(gè)人比較感興趣的強(qiáng)化學(xué)習(xí)是通用心智科學(xué)的開(kāi)始。

我們現(xiàn)在還處于人類數(shù)據(jù)的時(shí)代，所有的這些AI，它們都是預(yù)測(cè)下一個(gè)詞，并且也是由人類專家進(jìn)行微調(diào)，大部分的機(jī)器學(xué)習(xí)是要進(jìn)行知識(shí)的轉(zhuǎn)移，從人轉(zhuǎn)到機(jī)器身上。

這種方法現(xiàn)在已經(jīng)達(dá)到極限了，很多高質(zhì)量的數(shù)據(jù)源被用完了，生成新的知識(shí)是這個(gè)范式?jīng)]有辦法做到的。我們現(xiàn)在在邁入所謂的經(jīng)驗(yàn)時(shí)代，AI需要新的數(shù)據(jù)來(lái)源。隨著智能體越來(lái)越強(qiáng)，它能不斷增長(zhǎng)、不斷改善。它不是靜態(tài)的數(shù)據(jù)集，因?yàn)殪o態(tài)的數(shù)據(jù)集是不夠的。

我們要的數(shù)據(jù)源來(lái)自智能體，它有自己的經(jīng)驗(yàn)，和世界的互動(dòng)，它的經(jīng)驗(yàn)是第一視角的。這些數(shù)據(jù)的信號(hào)不斷來(lái)來(lái)傳遞，非常快速，是在智能的智能體和它創(chuàng)造的環(huán)境就是世界當(dāng)中來(lái)傳達(dá)的，這些獎(jiǎng)勵(lì)、行為、觀察，去定義它的目標(biāo)到底是什么，這是人和動(dòng)物學(xué)習(xí)的方式。

無(wú)論是動(dòng)物或者人進(jìn)行各種行為的時(shí)候，現(xiàn)在我們都坐著，但是我們的身體會(huì)采取行動(dòng)而且是快速采取行動(dòng)，對(duì)周遭發(fā)生的事情反應(yīng)。

我們是高帶寬的信息處理，足球運(yùn)動(dòng)員在所有數(shù)據(jù)來(lái)了之后，馬上要決定接下來(lái)應(yīng)該怎么做，什么是比較明智的踢法。打棒球的人，當(dāng)球來(lái)的時(shí)候，要在短的時(shí)間內(nèi)馬上要決定怎么來(lái)進(jìn)行揮桿。人在這里交談，有很多的信息處理，也是為了完成一個(gè)目標(biāo)，同時(shí)也是基于經(jīng)驗(yàn)。

因此，經(jīng)驗(yàn)型的AI，就是智能體交互這些信號(hào)，它的行為，它的感知，它的經(jīng)驗(yàn)，就是智能的全部。如果認(rèn)為一個(gè)智能體是智能的話，它能夠預(yù)測(cè)和控制經(jīng)驗(yàn)，以及感知，如果說(shuō)它沒(méi)有經(jīng)驗(yàn)，那么我覺(jué)得根本沒(méi)有什么智能可言。

我們沒(méi)有辦法說(shuō)這種行為的方式比另外一種行為的方式好，我們必須要有經(jīng)驗(yàn)，要有獎(jiǎng)勵(lì)信號(hào)。現(xiàn)在的大語(yǔ)言模型沒(méi)有這種獎(jiǎng)勵(lì)，它沒(méi)有辦法知道這個(gè)行為是好的還是不好。所以這是為什么它們有很大的限制，因?yàn)樗鼈儧](méi)有目標(biāo)。

還有所謂的事實(shí)準(zhǔn)確性，大語(yǔ)言模型基本上沒(méi)有辦法把真的和假的區(qū)分開(kāi)。如果沒(méi)有經(jīng)驗(yàn)，就沒(méi)有辦理知道做出的預(yù)測(cè)到底是對(duì)的還是不對(duì)的，但是有了經(jīng)驗(yàn)的AI就有獎(jiǎng)勵(lì)、目標(biāo)。

圖靈是計(jì)算機(jī)科學(xué)奠基之父，早在1947年他就說(shuō)過(guò)，這時(shí)候甚至沒(méi)有AI，他說(shuō)我們需要的是一臺(tái)機(jī)器，它可以從經(jīng)驗(yàn)當(dāng)中來(lái)自主學(xué)習(xí)。這是非常基本但又是非常深刻的想法，但它沒(méi)有成為關(guān)鍵的現(xiàn)代AI組成部分。

但是我覺(jué)得這個(gè)想法現(xiàn)在慢慢變得越來(lái)越重要，特別是在機(jī)器人當(dāng)中。所以我也很喜歡這樣的說(shuō)法，是維克多·雨果說(shuō)的，他說(shuō)“恰逢其時(shí)的思想，勢(shì)不可擋”。

所以我覺(jué)得我們要從經(jīng)驗(yàn)當(dāng)中進(jìn)行學(xué)習(xí)，這個(gè)想法恰逢其時(shí)，可能這個(gè)時(shí)代還沒(méi)有真正到來(lái)，但我們正在邁入這樣的時(shí)代。

總結(jié)來(lái)說(shuō)，我覺(jué)得AI現(xiàn)在終于轉(zhuǎn)向從經(jīng)驗(yàn)進(jìn)行學(xué)習(xí)，而不是從人類的數(shù)據(jù)進(jìn)行學(xué)習(xí)，這樣它會(huì)變得更加強(qiáng)大，因?yàn)樗梢猿掷m(xù)學(xué)習(xí)新的東西，雖然現(xiàn)在有很多的炒作，甚至是對(duì)AI的恐懼。

現(xiàn)在的AI智能還不夠強(qiáng)大，我個(gè)人認(rèn)為它是比較弱小而且是不可靠的，因?yàn)闀?huì)產(chǎn)生很多的錯(cuò)覺(jué)，它告訴我們的東西可能是錯(cuò)的。但同時(shí)它是非常有用的，它也給我們帶來(lái)催生了很多的產(chǎn)業(yè)，而且所有人可以使用，大家都感到非常激動(dòng)。

AI現(xiàn)在還不是真正的智能，或者真正的自主智能，還沒(méi)有達(dá)到這一步，但是我們?cè)谶~向這樣的時(shí)代，現(xiàn)在還沒(méi)有來(lái)到真正超級(jí)智能的時(shí)代，或者智能增強(qiáng)人類的時(shí)代。這會(huì)給我們帶來(lái)巨大的變革，應(yīng)該由人類推動(dòng)，同時(shí)這個(gè)變革會(huì)惠普人類。

我自己本人就是從經(jīng)驗(yàn)當(dāng)中學(xué)習(xí)，一生都是如此。歡迎大家來(lái)到AI經(jīng)驗(yàn)時(shí)代，非常感謝大家的聆聽(tīng)。

運(yùn)營(yíng)編輯 | 曹倩 審核｜孟莎莎