強(qiáng)化學(xué)習(xí)之父、年近七旬的Richard Sutton宣布創(chuàng)業(yè)，向LLM范式宣戰(zhàn)

就在今天，被稱為“強(qiáng)化學(xué)習(xí)之父”的 Richard Sutton 在社交平臺(tái) X 上突然宣布，他與合作者 Khurram Javed 已經(jīng)離開由傳奇游戲開發(fā)者 John Carmack 創(chuàng)辦的 AI 公司 Keen Technologies，共同創(chuàng)立了一家名為 Oak Lab 的新公司。這家注冊(cè)于加拿大的初創(chuàng)企業(yè)，目標(biāo)是打造一種完全不同于當(dāng)前大語言模型的 AI 系統(tǒng)——一個(gè)能夠從自身經(jīng)驗(yàn)中持續(xù)學(xué)習(xí)、實(shí)時(shí)進(jìn)化的智能體。

在宣布消息的帖子中，Sutton 對(duì) Carmack 和 Keen Technologies 表達(dá)了敬意，但明確表示 Oak Lab 將走一條不同的路。他寫道，當(dāng)前的深度學(xué)習(xí)方法存在根本性的不足，需要的不是修補(bǔ)，而是全新理念的重構(gòu)。

（來源：X）

現(xiàn)年 68 歲的 Richard Sutton，是加拿大阿爾伯塔大學(xué)計(jì)算機(jī)科學(xué)教授，在斯坦福大學(xué)獲得本科學(xué)位后，于馬薩諸塞大學(xué)阿默斯特分校師從 Andrew Barto 完成博士學(xué)業(yè)。他是時(shí)序差分學(xué)習(xí)的提出者，與 Barto 合著的《強(qiáng)化學(xué)習(xí)導(dǎo)論》是該領(lǐng)域最具影響力的教材。2025 年，二人共同獲得 ACM 圖靈獎(jiǎng)，表彰他們?cè)趶?qiáng)化學(xué)習(xí)概念和算法基礎(chǔ)方面的開創(chuàng)性貢獻(xiàn)。此外，AlphaGo 的締造者 David Silver、強(qiáng)化學(xué)習(xí)領(lǐng)域重要學(xué)者 Doina Precup 等人都是他的學(xué)生。

為什么不走 LLM 路線？

Oak Lab 的創(chuàng)立動(dòng)機(jī)，與 Sutton 在 2019 年發(fā)表的那篇著名文章——《苦澀的教訓(xùn)》（The Bitter Lesson）有著深度關(guān)聯(lián)。

在這篇短文中，Sutton 回顧了 AI 研究 70 年的歷史，提出了一個(gè)核心觀察：那些試圖將人類領(lǐng)域知識(shí)內(nèi)嵌到系統(tǒng)中的方法，最終總會(huì)被依賴大規(guī)模計(jì)算的通用方法所超越。無論是計(jì)算機(jī)象棋、語音識(shí)別還是計(jì)算機(jī)視覺，這條規(guī)律反復(fù)上演。真正有效的方法是搜索和學(xué)習(xí)，這是兩種能夠隨計(jì)算規(guī)模無限擴(kuò)展的通用手段。

這篇文章在 AI 界引發(fā)了持久討論，許多從業(yè)者將其視為支持大語言模型規(guī)模化路線的理論依據(jù)。然而 Sutton 本人并不認(rèn)同這種解讀。在 2025 年 9 月接受播客主持人 Dwarkesh Patel 的訪談時(shí)，他直言當(dāng)前的大語言模型并沒有真正踐行《苦澀的教訓(xùn)》的精神。他的核心論點(diǎn)是：大語言模型的學(xué)習(xí)來源是訓(xùn)練數(shù)據(jù)，而不是經(jīng)驗(yàn)。將海量的人類文本灌入模型，本質(zhì)上仍然是一種依賴人類知識(shí)的路徑，與他所批評(píng)的將領(lǐng)域知識(shí)手工編入系統(tǒng)的做法并無本質(zhì)區(qū)別，只是規(guī)模更大。

圖｜Sutton 接受Dwarkesh Patel 訪談 （來源：Youtube）

Sutton 進(jìn)一步指出，大語言模型擅長(zhǎng)模仿人類的表達(dá)，但它們并不具備在運(yùn)行過程中持續(xù)學(xué)習(xí)的能力。一個(gè)訓(xùn)練完成的模型在部署之后就停止了學(xué)習(xí)，無法從與用戶的交互中獲取真正的新知識(shí)，也無法評(píng)估自身輸出的正確性。在他看來，真正的智能必須具備通過試錯(cuò)產(chǎn)生新發(fā)現(xiàn)的能力。就像 AlphaZero 不再依賴人類棋譜、而是通過數(shù)百萬局自我對(duì)弈發(fā)明了全新的下法那樣。

2026 年 5 月，Sutton 在麻省理工學(xué)院發(fā)表 Dertouzos 杰出講座時(shí)更加直接地表示，作為一個(gè)龐大產(chǎn)業(yè)，AI 在一定程度上已經(jīng)偏離了方向。

OaK 架構(gòu)：從經(jīng)驗(yàn)中生長(zhǎng)出智能

Oak Lab 的技術(shù)核心是 Sutton 提出的 OaK 架構(gòu)，全稱為 Options and Knowledge（選項(xiàng)與知識(shí)），源自他與阿爾伯塔大學(xué)同事共同制定的長(zhǎng)期研究路線圖“阿爾伯塔計(jì)劃”。

OaK 的設(shè)計(jì)建立在三條原則之上：智能體必須是通用的，啟動(dòng)時(shí)不預(yù)設(shè)任何特定領(lǐng)域知識(shí)；所有知識(shí)都必須來自經(jīng)驗(yàn)，通過與環(huán)境的交互獲取；學(xué)習(xí)的驅(qū)動(dòng)力是強(qiáng)化學(xué)習(xí)中的累積獎(jiǎng)勵(lì)最大化。

在技術(shù)層面，OaK 圍繞兩個(gè)核心概念展開。“選項(xiàng)”（Options）是在時(shí)間上有所延伸的行為策略。不是簡(jiǎn)單的下一步動(dòng)作，而是一整套行為序列及其終止條件。“知識(shí)”（Knowledge）則是智能體在執(zhí)行不同選項(xiàng)過程中對(duì)世界的理解。智能體在運(yùn)行過程中不斷創(chuàng)建新的選項(xiàng)、積累關(guān)于這些選項(xiàng)的知識(shí)，并利用內(nèi)部構(gòu)建的世界模型來預(yù)測(cè)行為的長(zhǎng)期后果。

這套機(jī)制形成一個(gè)自我強(qiáng)化的循環(huán)：從經(jīng)驗(yàn)中提取特征，將有用的特征抽象為更高層次的表示，再用這些表示去構(gòu)建更復(fù)雜的規(guī)劃能力。這個(gè)過程是開放式的，理論上只受限于可用的計(jì)算資源。

但 Sutton 也坦率地承認(rèn)了技術(shù)瓶頸。當(dāng)前深度學(xué)習(xí)系統(tǒng)在持續(xù)學(xué)習(xí)中面臨兩個(gè)根深蒂固的難題：一個(gè)是災(zāi)難性遺忘，新學(xué)到的信息會(huì)覆蓋已有知識(shí)；另一個(gè)是可塑性喪失，系統(tǒng)在學(xué)習(xí)一段時(shí)間后逐漸失去繼續(xù)學(xué)習(xí)新事物的能力。他在多個(gè)場(chǎng)合表示，尚未解決這些核心問題，這也是他還無法展示大規(guī)模 OaK 系統(tǒng)實(shí)例的原因。他在 MIT 的講座上坦言，這仍然是一個(gè)愿景，但他相信這個(gè)愿景是可以實(shí)現(xiàn)的。

強(qiáng)化學(xué)習(xí)陣營(yíng)的集結(jié)

Oak Lab 的創(chuàng)立其實(shí)也有一定的鋪墊。此前，Sutton 的學(xué)生，被稱為“AlphaGo 之父”的 David Silver 也已離開 DeepMind，于 2025 年底創(chuàng)立 Ineffable Intelligence，并在 2026 年 4 月獲得 11 億美元種子輪融資，估值 51 億美元。

圖｜David Silver（來源：Google Deepmind）

Ineffable 的路線與 Oak Lab 類似，同樣押注強(qiáng)化學(xué)習(xí)，同樣認(rèn)為 AI 必須擺脫對(duì)人類數(shù)據(jù)的依賴，從自身經(jīng)驗(yàn)中發(fā)現(xiàn)知識(shí)。而 Sutton 和 Javed 此前所在的 Keen Technologies 也是一家信奉強(qiáng)化學(xué)習(xí)路線的公司。師生三方幾乎同時(shí)在這一方向上發(fā)力，共同向當(dāng)前主流范式發(fā)起挑戰(zhàn)。

當(dāng)然，這一立場(chǎng)也存在著一定的爭(zhēng)議。批評(píng)者指出，強(qiáng)化學(xué)習(xí)在圍棋、國(guó)際象棋等有明確勝負(fù)規(guī)則的封閉領(lǐng)域取得了出色成果，但在開放式的現(xiàn)實(shí)世界環(huán)境中，獎(jiǎng)勵(lì)信號(hào)往往模糊不清，純粹的強(qiáng)化學(xué)習(xí)面臨巨大挑戰(zhàn)。此外，當(dāng)前 AI 在推理和數(shù)學(xué)方面的許多進(jìn)步恰恰來自將強(qiáng)化學(xué)習(xí)與大語言模型相結(jié)合的方法，兩條路線是否必須對(duì)立，仍是一個(gè)開放問題。

1.https://thelogic.co/briefing/ai-pioneer-richard-sutton-launches-startup-to-build-always-learning-agents/

2.https://digg.com/tech/5p0hdvmr

3.https://x.com/mark_k/status/2076667108688003127

4.https://en.wikipedia.org/wiki/Richard_S._Sutton

5.https://thetech.com/2026/05/28/sutton-rl-lecture

6.https://www.dwarkesh.com/p/richard-sutton

運(yùn)營(yíng)/排版：何晨龍

注：封面/首圖由 AI 輔助生成