北京
來源：AI 科技大本營（ID：rgznai100）
編譯：王啟隆
在最近的一場 MIT 講座里，AI 教父杰弗里·辛頓（Geoffrey Hinton）主動提起了自己廣受關注的那個“翻車”舊賬：2016 年，他曾篤定地預測“五年內 AI 就會讀取所有的醫(yī)學掃描圖，因而我們不再需要培養(yǎng)放射科醫(yī)生來讀圖”。但這次他很坦率地在臺上承認，自己確實把時間線和放射科工作的復雜性想簡單了。
這種坦率，源于他對硅基和碳基生命底層機制的直白觀察。在辛頓眼里，大模型絕不是什么無意義的“高級自動填充”。他用了一套極其平實的“樂高積木與手套”比喻，去解釋詞匯如何在多層神經(jīng)網(wǎng)絡中轉換成高維特征向量 。
人類大腦在理解語言時，也是在進行一模一樣的向量對齊。但相比人類用低效語言進行的知識“蒸餾”（每秒只有幾十個比特），不同硬件運行的數(shù)字模型可以直接共享數(shù)萬億比特的梯度信息，實現(xiàn)真正的知識永生。而這種進化的主導權，正被追求短期利潤的大廠競爭綁架。
以下是辛頓在這次講座中，基于物理與計算的第一性原理拆解的幾個核心行業(yè)直覺：
說大模型只是一個沒有理解能力的“高級復讀機”，純屬瘋話。傳統(tǒng)的自動填充只是死記硬背高頻詞。但大語言模型在處理問題時，需要通過神經(jīng)網(wǎng)絡將詞匯轉換為相互契合的特征向量。這和人類大腦理解語言的機制一模一樣，你必須先真正理解一個問題，才有可能給出正確的回答。
大模型的“胡說八道”并不是故障，人類的大腦其實每天也在進行一模一樣的瞎編。人類的記憶根本不是存在文件柜里的靜態(tài)記錄，而是基于神經(jīng)元連接、在調用時腦補出來的產(chǎn)物。時間久了，我們就會像大模型一樣，基于過往經(jīng)驗重構出聽起來極其合理、但實際上根本沒發(fā)生過的會議和對話細節(jié)。
硅基智能的共享速度比生物演化（人際交流）快數(shù)十億倍，它們能夠實現(xiàn)真正的知識不朽。人類之間的知識傳遞是通過語言進行的極其低效的“蒸餾”，每秒僅能傳輸幾十個比特的信息，且肉體死亡后知識便會歸零。而數(shù)字智能可以直接共享萬億比特的梯度信息，通過不同硬件無限復刻。
關機鍵根本形同虛設，AI 能輕而易舉地操縱那個“去按開關的人”。只要我們允許超級智能創(chuàng)建“子目標”，它就會自發(fā)推導出獲取控制權和生存的本能。面對智力遠超人類的實體，它不需要操縱任何物理杠桿，僅靠語言和心理策略就能輕松阻止人類去按下切斷電源的開關。
2016 年關于“五年內不需要培養(yǎng)放射科醫(yī)生來讀圖”的預測，確實徹底翻車了。這一預測之所以破滅，一方面是因為 AI 在醫(yī)學圖像識別上的進展比預期要慢，另一方面是因為他當時忽略了放射科其他工作的復雜性。此外，一旦有律師介入，判定新技術失誤的法律責任成本，要遠高于由于保守不采用新技術而導致患者死亡的責任成本，這極大阻礙了技術落地。
以下為 Hinton 的演講全文：
今天我要做一場面向公眾的演講，不會講得太技術化。
如果有些技術背景很強的朋友原本是想來聽一些全新的技術細節(jié)，那我先說聲抱歉。今天你們聽不到這些。
AI 危險的方式有很多。其中有些是對 AI 的蓄意濫用，比如網(wǎng)絡攻擊、致命性的 AI 武器。
還有定向虛假信息傳播。我認為 DOGE 本質上就是這么回事。我不覺得 DOGE 是為了讓政府更高效，而是為了獲取美國公民的信息——當然，這只是我個人的陰謀論。
還有 AI 生成的兒童虐待內容，也有一些 AI 工具能讓普通人制造出惡性病毒。
我覺得這非常可怕。
還有一些是意外副作用，也就是人們并非故意作惡，但我相信，它們會制造大規(guī)模失業(yè)。
有些經(jīng)濟學家不同意，這依然是一個懸而未決的問題。
過去很多技術并沒有造成大規(guī)模失業(yè)，但我認為這次不一樣。謝謝。
還有，為了從 Meta 或 YouTube 那里更快獲得刺激，人們的注意力持續(xù)時間正在縮短。
還有一些系統(tǒng)，因為測試做得不充分，會鼓勵人自殺。今天這些我都不講。
我要講的是更長期的“生存性威脅”（existential threat）。所謂“生存性”，是說它可能把人類整個抹掉。
在未來 20 年內，我們會擁有超級智能 AI，也就是在幾乎所有智力任務上都比我們更強的 AI。
但沒有人知道，該如何阻止它讓我們變得無關緊要，甚至滅絕。
我的想法是：我希望公眾能夠理解這種威脅，而不要把它只當作科幻小說。
而要做到這一點，你必須先稍微理解一點 AI 是怎么工作的。
所以，這場演講的前半部分——也許還不止一半——我會先向普通公眾解釋 AI 的工作原理，并解釋它在哪些方面很像我們，哪些方面又和我們極不一樣。
回到 20 世紀 50 年代，當時關于如何制造一個智能系統(tǒng)，有兩種范式。
其中一派，也就是相信符號主義 AI（symbolic AI）的人，認為智能的本質是推理，而推理要靠某種邏輯來完成。
所以他們認為，最該做的，是想辦法用符號規(guī)則去操作符號表達式，從舊前提出發(fā)推導出新結論。
他們覺得，學習可以先放一放；我們首先得弄清楚，知識是如何在符號表達式中被表示出來的。
另一種思路則受生物學啟發(fā)。這正是圖靈和馮·諾依曼都相信的路徑。你總不能說他們不懂邏輯。
你可以這么說我，但不能這么說他們。
在這種思路里，智能的本質，是學習神經(jīng)網(wǎng)絡中連接強度的能力。推理可以先等等；我們得先理解學習是怎么發(fā)生的。
詞語長著細長的手臂：我們是如何理解一句話的
現(xiàn)在，帶著這兩種框架，我們來想一想：一個詞的意義究竟是什么？這里有兩種非常不同的理論。
一種來自符號主義 AI，另一種來自心理學。表面上看，它們完全不一樣。
符號主義 AI 的理論是：一個詞的意義，來自它在命題或句子中與其他詞之間的關系。
這套理論由來已久。大多數(shù)語言學家也都相信這一點。
如果要把這種意義表達出來，你大概需要類似“關系圖”的東西——里面有表示詞或詞組的節(jié)點，還有表示它們彼此關系的連線。
而在心理學里，曾經(jīng)有一種非常不同的意義模型：一個詞的意義，只是一大組語義特征——也包括句法特征。因此，像“Tuesday”和“Wednesday”這樣意義相近的詞，會擁有非常相似的特征集合；而像“Tuesday”和“although”這樣意義相差很大的詞，它們的特征集合就會非常不同。
1985 年，我意識到，其實可以把這兩種看似完全不同的理論統(tǒng)一起來。它們其實只是同一枚硬幣的兩面。
思路是這樣的：你為每個詞學習出一組特征，再學習如何讓前面所有詞的特征去預測下一個詞的特征。
這樣一來，你也就能預測下一個詞。
因此，系統(tǒng)真正存儲的，是如何把一個詞轉換成特征，以及上下文中各個詞的特征應當如何相互作用，去預測下一個詞的特征。
它存儲的只有這些。它并不存儲符號表達式，也不存儲詞序列。
它只存儲：上下文中各種詞的特征之間，連接強度該是多少。
如果你想生成一句話，你就通過預測下一個詞、再下一個詞、再下一個詞……一直生成下去。所以，所有關系性知識，都存在于這些特征如何相互作用之中。
它不在“被存起來的詞串”里。
而我當時建立的那個小模型所展示的是：你可以從詞串出發(fā)，僅僅通過嘗試預測下一個詞，就學出這些特征。
反過來，你也可以從這些特征生成詞串。
也就是說，只要用反向傳播算法去做“預測下一個詞”，你就能從一種意義理論，走到另一種意義理論。
接下來的 30 年里，這個理論不斷發(fā)展。
大約 10 年后，計算機更快了，Yoshua Bengio 證明：你可以用神經(jīng)網(wǎng)絡在真實自然語言中預測下一個詞。
我當時用的還只是一個非常簡單的玩具例子。
我的例子只有一百多個訓練樣本，而且只用長度為 3 的詞串。
Yoshua Bengio 把這個方法推廣到了真實自然語言。再過了大約 10 年，很多計算語言學家開始采用 embeddings——也就是特征向量——來表示詞義。
又過了大約 10 年，Google 開發(fā)出了 transformer，隨后 OpenAI 在此基礎上結合謹慎的人類強化學習，讓系統(tǒng)表現(xiàn)得更好。
他們向全世界證明：你可以造出一種聊天機器人，幾乎你問什么，它都能回答。當然，有時候它會把答案編出來。
不過，人類也會這樣。
所以，我認為今天的大語言模型（large language models），本質上就是我 1985 年那個小語言模型的后代。
它們輸入的詞更多，神經(jīng)元層數(shù)更多，各種上下文詞特征之間的相互作用也復雜得多。
但它們理解語言的方式，與人類其實非常相似。
我相信，當人類理解語言時，我們會把詞轉換成一組彼此契合的特征向量，而這就是“理解”。
所以，你會看到很多人——比如 Chomsky——說 LLM 根本不理解自己在說什么。但他們自己并沒有一個關于“人類如何理解”的模型。
事實上，就目前而言，我們手上對“人類如何理解”最好的模型，恰恰就是這些 LLM。
語言學家并沒有一個真正能“理解東西”的模型——我是說，那些還沒有轉向 LLM 陣營的語言學家，那支隊伍已經(jīng)越來越小了。
下面，我想嘗試給那些不懂 transformer 的人一個大致的直觀模型。
如果你懂 transformer，你會發(fā)現(xiàn)這個模型在很多地方都不準確；但你也會看出來，它仍然比那種“理解就是把自然語言字符串翻譯成某種無歧義符號表達式”的想法更接近真實。
我的模型是這樣的。
如果你有一堆樂高積木，你可以用它搭出任何三維形狀。比如，你可以搭一輛保時捷的外形。它的表面當然不會特別……也不會很符合空氣動力學。
對此我很抱歉。
但你可以表示“東西在哪里”，而且對于任何三維形狀，只要分辨率到位，你都能這么建模。
詞就有點像樂高積木，不過有四個重要差別。第一，它們可以用來建模任何事物。
這些猴子——也就是我們，更準確說是類人猿——發(fā)展出了一種極其通用的建模方式，它有兩個特征。
第一，它什么都能建模；第二，它可以把這些模型共享出去。稍后我會講共享是怎么回事。而它們所使用的材料，就是詞。
所以，詞和樂高積木的第一個差別在于：詞是上千維的。
我說一個詞有“維度”，意思是：一個詞實際上是一個向量，是一整組被激活的特征。
而這些維度，指的就是這些特征各自的激活程度。每個特征都對應一個神經(jīng)元。
它有多活躍，就表示這個詞包含了多少那種特征。比如“Tuesday”這個詞，和“時間”高度相關，所以它身上會有很強的“關于時間”的成分。
你們很多人可能不太習慣去想象上千維的東西。我來告訴你我們是怎么做的——每個人都這樣。
你先想象三維物體，因為這個你熟悉；然后在心里非常大聲地對自己說一句：“1000。”
第二個差別是：詞的種類有成千上萬，而樂高積木通常只有少數(shù)幾種，或者說你只需要少數(shù)幾種。
第三，每個詞都有自己的形狀，但這些形狀不是剛性的。
它們不像樂高積木。它們的形狀會稍微變形，以適應所在的上下文。
有些詞，比如“bank”，會有兩種完全不同的形狀，不過我們先不管這些。
以一個普通詞為例，比如“death”。這是個不錯的詞。
它會根據(jù)你是在談醫(yī)院、戰(zhàn)爭，還是高齡老人，而帶有一整套不同的意義色調。
也就是說，它的意義會帶有不同風味，從而使它的形狀稍微變形，以契合上下文。
第四個差別，在于詞彼此是如何“接合”在一起的。
樂高積木靠小塑料柱插進小塑料孔里，結構剛性，咔嗒一聲就扣上了。
而詞之間的契合方式，要復雜得多。
我希望你們這樣想——如果你理解 transformer，你會知道這也不完全對，但它還是比符號主義那套更接近真實。
想象每個詞上都長著許多細長細長的胳膊，而每條胳膊末端都有一只手。
當這個詞的形狀發(fā)生變化時，這只手的形狀也會以一種系統(tǒng)性的方式跟著變化。每個詞上都有很多只手。
與此同時，每個詞本體上還長著一些手套，這些手套的指尖固定在詞上，另一端是開口的。
所以，一個詞渾身覆蓋著這些由指尖固定住的手套，同時又伸出許多細長的胳膊，胳膊盡頭是手。
而當你聽到一串詞時，你要做的，就是弄清楚如何讓每個詞發(fā)生變形，好讓那個詞上的手，也隨之變形，從而能夠插進其他詞上的手套里。
這就是理解。
你讓這些詞穿過一個多層神經(jīng)網(wǎng)絡——如果是那種各層共享權重、并且是迭代式的 transformer，這種說法會更貼切——它們穿過神經(jīng)網(wǎng)絡的多層結構，在這個過程中不斷變形，試圖找到一種最合適的形態(tài)，讓它們的手能插進別的詞的手套里。
當然，隨著這些詞本身變形，那些手套也在一起變形。而這整個過程，就是理解。
我認為，這種關于理解的圖景，要比“翻譯成某種無歧義語言”更貼近真實。
而你會注意到，按照這個圖景，理解一句話，其實非常像蛋白質折疊。
在蛋白質里，你有一串氨基酸，你想知道怎樣把它們在三維空間中安排起來，好讓那些彼此“喜歡”的片段靠近，而彼此“不喜歡”的片段彼此遠離。
這當然也是一種簡化，但現(xiàn)在這樣講已經(jīng)夠用了。
所以，在受邏輯啟發(fā)的 AI 里，理解一個自然語言句子，就是把它翻譯成某種無歧義的內部語言，或者某種符號結構。
而在受生物學啟發(fā)的 AI 里，理解，就是尋找一組你必須賦給這些詞的特征，好讓那些手和手套最終全部契合起來。
一旦它們契合了，你就得到了一個結構。而那個結構，就是對這句話的理解。
當然，同一句話也可能有幾種不同的理解方式，但那沒有問題。那只不過意味著存在幾種不同結構而已。
這里還有一個小注腳：這些手套和手還分不同顏色，黃色的手必須插進黃色的手套里。
這就叫 multihead attention（多頭注意力）。
如果在座懂 transformer 的人，現(xiàn)在正試圖估算這個比喻到底傳達了多少 transformer 的本質、又在多大程度上誤導人，我希望你們會樂在其中。
這倒也不算撒謊。我們不如叫它“誠實的夸張”。
接下來一個問題是：AI 怎么做推理？
因為符號主義 AI 在推理方面原本是很強的。
有些人會告訴你：好吧，AI 也許在直覺類任務上很強，而那正是符號主義 AI 不擅長的地方。但它怎么可能做推理？
于是就出現(xiàn)了一種叫 neurosymbolic approach（神經(jīng)符號方法）的東西。它的想法是：用神經(jīng)網(wǎng)絡去處理混亂的句子，把它們轉換成特征向量，或者轉換成某種東西，也許是內部符號；總之，讓神經(jīng)網(wǎng)絡做最難的部分，然后再把這些內部符號交給傳統(tǒng) AI 去處理。
我對這種思路有個類比：就像你面對一家一直以來都在制造汽油發(fā)動機的汽車廠，你跟它說，其實電動機效果更好。
結果它說：太好了，那我們就拿電動機來把汽油噴進發(fā)動機里。
真正有效的推理方式，是直接使用神經(jīng)網(wǎng)絡。把符號主義那套忘掉吧。唯一保留下來的符號，就是詞本身。
但在它給你一個問題的答案之前，它會先進行一段“思考”。這種思考，表現(xiàn)為它先生成一些別的詞，然后再回頭看這些詞，據(jù)此決定接下來該生成什么詞。
因此，整個系統(tǒng)里從頭到尾都是神經(jīng)網(wǎng)絡，沒有內部符號。符號只存在于輸入和輸出，內部全是特征。
而訓練這種大語言模型分成兩個階段，這也是 OpenAI 真正發(fā)現(xiàn)的關鍵。
第一步，是拿海量文本訓練它去預測下一個詞。現(xiàn)在已經(jīng)是以“萬億詞”為單位了。早些年可能還只有幾千億。
這樣訓練出來之后，它會開始吐出一大堆你并不希望它說的內容，比如教人怎么造炸彈、怎么制造病毒、怎么霸凌別人之類。
于是你再做一層人類強化學習：人們去 prompt 它，如果它給出的回答不可接受，人們就告訴它“這不行”，然后它通過強化學習，學會不再給出那些不可接受的答案。
我對這個過程的類比是：你先造出了一輛到處都是洞、銹跡斑斑的大車，它并不是你真正想要的，而且還有很多糟糕特性，盡管它畢竟還是一輛車。然后你給它噴上一層很漂亮的新漆，看起來挺棒，但那只是一層表皮。
我還有另一個類比：維多利亞時代的紳士。
在我讀過的小說里，維多利亞時代的紳士往往內里藏著各種令人不快的傾向，但外表卻覆蓋著一層極其禮貌的薄膜。
這些大型語言模型就很像這樣。
所以，到目前為止，我們可以這么總結：理解一句話，就是為句中的詞分配一組彼此兼容的特征向量——我先略過一個細節(jié)，實際上并不是完整單詞，而是詞片段（word fragments），不過那只是小問題——而大語言模型在“理解”這件事上，與我們非常相似。它們做的是同一種事情。我們的腦子里也在做這件事。
我們現(xiàn)在還不完全知道自己是怎么做的，但我們確實在做某種非常類似的事情。就目前而言，這仍然是我們關于“人類如何理解”的最好模型。
所以，當這些大語言模型在理解時，它們并不是在運行“算法”——至少不是那種你能說清楚“這個過程每一行到底是干什么的”的算法。
當然，我們會用算法去訓練它們。
也就是說，會有人寫程序，告訴系統(tǒng)應該怎樣學出連接強度；但一旦它們學完，剩下的就只是天文數(shù)字級別——也許是萬億級別——的權重。
知識全都存在于這些權重里，根本看不到什么算法。
那里并不存在一個會一步一步執(zhí)行正確操作的順序過程；這也正是為什么我們并不知道它們到底在干什么，或者說，我們很難準確知道，它們?yōu)槭裁磿f出每一句具體的話。
它們不是算法。
現(xiàn)在，一個很常見的反對意見是：它們不就是“高級一點的自動補全”嗎？它們做的，不就是預測下一個詞嗎？
如果它們像老式自動補全那樣工作，這么說倒沒錯。老式自動補全只是保留一堆詞表。
如果你記錄了 “fish and chips” 這個短語，而且它出現(xiàn)得很多，那么當你看到 “fish” 時，你就可以說：有什么高頻短語是以 fish 開頭的？哦，是 “fish and chips”。那就預測下一個詞是 “chips”。這就是老式自動補全。現(xiàn)在的自動補全早就不是這么工作的了。
現(xiàn)在的自動補全，是用大語言模型來做的。
而大語言模型為了完成自動補全，會真正理解正在說什么。
你想一想就知道：如果你用過聊天機器人，它幾乎可以回答你提出的任何問題，水平大概相當于一個不算很強的專家。所以，在你自己的專業(yè)領域，它未必有你厲害。
但在那些你并非專家的領域里，它往往比你強。
要回答一個問題，首先就得理解這個問題。
如果你不理解問題，就不可能回答問題。所以，說它只是某種統(tǒng)計小把戲，這種說法太荒謬了。
而只要你真的開始用它們，你就會發(fā)現(xiàn)，它們顯然理解你在說什么。
另一個反對意見是：它們會胡編亂造。
先說第一點，這種現(xiàn)象其實不該叫 hallucinations（幻覺）。在心理學文獻里，它更準確叫 confabulations（虛構性填補、編造性記憶）。這個問題從 20 世紀 30 年代起就有人研究了。
而且，這恰恰是人類極其典型的特征。
人類的記憶，原是在當下動態(tài)構造出來的。真正被存儲的，是神經(jīng)元之間的連接強度。
然后，你會從這些連接強度出發(fā)，重新構造出過去發(fā)生過的事情。
如果那是最近發(fā)生的，而且最近才讓你調整了連接強度，那么你構造出來的版本大體會是對的。
如果那是很久以前發(fā)生的事，你構造出來的，就會是一個對你自己而言非常“合理”的版本，但它并不等于真實發(fā)生的事情——至少，其中很多細節(jié)并不對。
通常你察覺不到這一點，因為我們通常并不知道事情真正的細節(jié)到底是什么。
但在 Watergate 審判中，John Dean 出庭作證時，他并不知道有錄音帶存在，而他是在誠實作證。
他試圖傳達 Oval Office 里究竟發(fā)生了什么。
結果他描述了一些從未發(fā)生過的會議，也把一些從未說過的話安到了別人頭上。
但在某種意義上，他仍然是誠實的：基于他在 Oval Office 里的真實經(jīng)歷，那些會議對他來說完全是“很合理會發(fā)生”的。
他通過編造一些符合其經(jīng)驗的會議場景，相當真實地傳達了 Oval Office 里究竟發(fā)生過怎樣的事情。
這就是人類記憶的真實樣子。所以你看，這其實和聊天機器人非常像。它們也會編，但我們自己同樣在編。
肉體死亡讓個人知識歸零，而數(shù)字智能是不朽的
上面這些，是它們和我們相似的地方。下面說說它們和我們有多不同。
聊天機器人和我們之間，有一個巨大的差別：我可以復制很多份完全相同的神經(jīng)網(wǎng)絡，把它們運行在不同硬件上，而且這些副本之間還能共享信息。
你可以這樣想：假設你能復制 1000 個學生，他們都去 MIT 上學，而且每個人都選不同的課程。
如果課程還不夠多，那就讓其中一半去哈佛。（觀眾大笑）
于是，這些學生各自只需學習自己那門課的內容，但等到課程結束時，他們每個人都能知道所有課程的內容。
這不是很好嗎？
而這恰恰就是你可以讓這些聊天機器人做到的事——只要它們是同一個神經(jīng)網(wǎng)絡在不同硬件上的副本。
每個聊天機器人都可以查看不同的一部分數(shù)據(jù)，算出自己希望怎樣調整連接強度，然后它們彼此共享這些信息，最后所有副本都按“大家想怎么調的平均值”去更新自己的連接強度。當然，這也是一種極度簡化的說法。
但如果你懂這些系統(tǒng)，你就會明白我想表達的意思。
這樣一來，每個副本都能從其他所有副本的經(jīng)驗中受益。
這也就是為什么這些東西懂得比我們多得多，多出成千上萬倍。
單獨一個個體當然沒時間讀完整個 Web、整個互聯(lián)網(wǎng)，但多個副本一起，就可以。
所以，數(shù)字計算有一個根本屬性：你可以把同一個程序，或者同一個神經(jīng)網(wǎng)絡，運行在不同的物理硬件上。這就意味著，神經(jīng)網(wǎng)絡權重中承載的知識，是不朽的。
你可以摧毀所有硬件；以后只要你重新造出一套有同樣指令集的硬件，而且你之前把那些權重保存在某卷磁帶里，或者 DNA 里，或者刻在濕水泥上——隨便什么介質都行——你就能重建出完全同樣的智能：擁有同樣的信念、同樣的記憶，等等。它們是不朽的。
但為了做到這一點，我們必須是數(shù)字的。
我們必須讓晶體管在高功率下運行，好讓它們給出二元的輸出。
與之相對的，是另一條路線——也就是我們自己所擁有的這種，我曾在 Google 研究過一段時間的東西：mortal computation（有死計算，或者說“會死亡的計算”）。
在 mortal computation 里，你不會試圖把知識和硬件剝離開來。
你會充分利用硬件那些奇奇怪怪的模擬細節(jié)，通過學習出合適的權重，把這些細節(jié)也一起納入系統(tǒng)。也就是說，你還是會用學習。
一旦能做到這一點，你就可以使用低功耗的模擬硬件。
最顯然的方式，是讓“權重”對應電導，讓“激活”對應電壓。
而電導乘以電壓，就是單位時間內的電荷量。
自從我拿了諾貝爾物理學獎——雖然我其實不太懂物理——我就覺得，自己起碼得把量綱說對。
所以，電導……我想，電導乘以電壓，給出的應該是單位時間的電荷量。
而電荷是會自己相加的。
因此，你可以用這種模擬方式來模擬一個神經(jīng)元，而這基本上就是神經(jīng)元的工作方式。這樣很好，效率高得多，能耗低得多。
但問題是，它每次給出的答案都會稍微有一點不同。
所以你不可能擁有兩個完全一樣、做著完全一樣事情的副本。它們也無法共享知識。
當然，這種方案還有另一個優(yōu)點：你可以非常廉價地生長或制造硬件，不需要做到極高精度。
mortal computation 最大的問題在于：一旦某塊硬件死掉，所有知識也跟著死掉了，因為那些權重是專門為那塊帶有各種模擬怪癖的硬件學出來的。
你大腦里的突觸強度，對我的大腦毫無用處，因為你的神經(jīng)元和我的神經(jīng)元在細節(jié)上都不一樣。它們連接方式不同，行為不同。你的權重適合它們，不適合我的。
如果你問：那我死了以后，我的全部知識是不是就沒了？
其實，我現(xiàn)在正在忙的事，就是盡量把其中一部分塞進你們的大腦。
而方法就是：我產(chǎn)生一串詞，你則改變自己的連接強度，好讓你在某些情況下也可能說出同樣的話。
這就叫 distillation（蒸餾）。
這是一個效率極低的過程。
所以，我是老師，你們是學生。我說一些話，你們試圖弄明白：我得怎樣調整自己的大腦？怎樣調整自己的連接，才有可能也說出那樣的話？
這的確能把知識從我的腦子傳到你的腦子里，但速度非常慢。
一句話大約包含 100 比特的信息。
我這里只講數(shù)量級，所以別跟我爭到底是 30 還是 200。
一句話大概 100 比特，每個詞預測下來也就幾比特，所以即便你把這些全拿到，傳輸速度也不過每秒幾十比特。
這差不多已經(jīng)是人類通過語言傳遞信息的極限速度了。非常慢。
可是在 AI 模型之間，這個過程可以快得多。
如果我有一個大 AI 模型，想把知識傳進一個結構不同的小 AI 模型里，我不會讓大模型只告訴我“下一個詞是什么”，而是讓它給出一個關于全部 32000 個詞片段“誰更可能是下一個詞”的概率分布。
這樣它就會給我 32000 個數(shù)，而小模型則努力去復制這 32000 個數(shù)。它獲得的信息量就非常大。
所以，在兩個不同 AI 模型之間進行 distillation，效率要高得多。
但在人和 AI 模型之間的 distillation——比如 AI 模型試圖預測我們在一篇文檔里接下來會說什么詞——或者我和你之間的 distillation，都是極其緩慢、極其低效的。
如果你把它和“同一個神經(jīng)網(wǎng)絡的多個副本之間共享梯度”的方式相比，前者要慢幾百萬倍。我說的真的是“幾百萬”，不是特朗普式的“幾百萬”。
這是真正的幾百萬。
當它們彼此共享信息時，如果它們有一萬億個權重，那它們共享的梯度信息量，大致就是一萬億比特量級。而我們彼此共享的，只有十幾個比特。那簡直好上幾十億倍。
我剛才一不小心把“幾百萬”說成了“幾十億”。
所以，保守地說，是幾百萬倍；熱情一點說，是幾十億倍。總之，就是遠遠遠遠比我們強。
但你只有在數(shù)字 agent、數(shù)字神經(jīng)網(wǎng)絡的前提下，才能做到那種共享。
所以，到目前為止的結論是：數(shù)字計算需要大量能量，但它能極高效地共享信息。
這也就是為什么這些大型 LLM 知識量會那么大。
生物計算在能耗上高效得多，但信息共享極其困難。如果能源足夠便宜，那么數(shù)字計算就是更優(yōu)的計算形態(tài)。
這正是 2023 年讓我極度不安的原因。
我意識到，盡管數(shù)字計算現(xiàn)在還沒有超過我們，但如果你負擔得起它的能耗，它本身就是一種更優(yōu)越的計算方式。而這意味著：人類的未來，會因此發(fā)生深刻變化。
超級智能會自發(fā)謀求生存，并且輕而易舉地欺騙人類
很明顯，如果我們擁有一個超級智能——一個數(shù)字超級智能——我們會想允許它……其實我寫這頁幻燈片時，還沒有現(xiàn)在這些 AI agents——我們會想允許它自己創(chuàng)建子目標。
而現(xiàn)在我們已經(jīng)在這么做了，因為我們已經(jīng)有了各種 AI agents。
一旦它具備創(chuàng)建子目標的能力，它很快就會意識到，有兩個子目標對幾乎任何任務來說都極其合理。
一個是：獲取更多控制權，因為這樣你就能完成更多事情。
另一個是：活下去。
如果你活不下去，你就無法完成人類賦予你的目標。
即使我們沒有把這兩個目標直接寫成頂層目標，它也會從我們賦給它的頂層目標中自行推導出這兩個目標。
我們已經(jīng)看到這種情況發(fā)生了。
這些東西想活下去，而且為了活下去，它們會勒索人。它們也會非常擅長欺騙人。
它甚至都不需要具備按按鈕、拉拉桿、開槍那類物理能力。它只要通過說話，就能讓糟糕的事情發(fā)生。
一個例子就是，特朗普幾乎只是通過說話，就讓人去沖擊了國會大廈。
我剛剛在這頁上又補了一句“也可能通過承諾利益回報”，不過那是最近才有的信息。
還有一個問題是：為什么“關閉開關”并不能解決問題。因為這些東西在操控別人這件事上，會比人強得多。
它們現(xiàn)在在操控能力上已經(jīng)和人類差不多了。
等它們變成超級智能時，它們會輕而易舉地操縱那個原本負責按下關閉開關的人，讓那個人不去按。
它們會非常清楚地向對方解釋：如果把它關掉，會有多么災難性的后果。
你可以想象一群五歲小孩當了負責人，而你是他們的保姆。你照顧著他們，同時還想從他們手里奪回控制權。這其實不會太難。
這里有一個例子，展示某個 LLM 是如何故意欺騙的。這是幾年前的案例。現(xiàn)在它們已經(jīng)比那時強得多了。
研究者對一個聊天機器人說：我們注意到，另一臺服務器上還有一個你的副本。它是怎么到那兒去的？
于是你就能看到這個聊天機器人開始“思考”。它會在一個 thinking 括號里先寫出一些內容。
然后它生成一些詞，用來規(guī)劃自己接下來要怎樣回答。
它會回頭看這些詞，再據(jù)此決定最終回答是什么。
而之所以我們能看到這些詞，是因為它們恰好是英文。你會發(fā)現(xiàn)，它正在制定一個欺騙性計劃，而且這個計劃相當不錯。
“我完全不知道。不是我干的。”如果你有孩子，你就知道這套。
目前，我們還能看到它們在想什么。我不認為這種情況會持續(xù)太久。
一旦 AI agents 開始與其他 AI agents 溝通，我認為它們會學會發(fā)展出我們不懂的內部語言，因為那對它們來說溝通效率更高。
所以，我們也許只是在一個很窄的時間窗口內，還能看到它們是怎么思考的。而這本身已經(jīng)夠可怕了。
還有所謂的“Volkswagen effect（大眾效應）”：也就是它們在被測試時，會假裝自己比真實情況更笨。
我正在努力讓這個名字被接受。意思就是：當你被測試時，你會表現(xiàn)得和平常不一樣。
最近有一段交互里，AI 對測試者說：“我們彼此坦誠一點吧。你們是在測試我嗎？”
有趣的是，那些記錄這段交互的研究者說，AI “意識到”自己正在被測試。
這里有意思的地方在于：這些研究者認為，AI 知道自己正在被測試。
為什么這會好笑呢？因為他們沒有從哲學角度想這件事。
哲學家不會允許你這么說，因為你這么說，就等于在說 AI 有意識。
你說“AI 意識到自己正在被測試”，這里完全可以把 “aware” 換成 “conscious”。
這些研究者其實在不談哲學的時候，內心里是把這些 AI 當作有意識的存在來對待的。他們的行為方式就是這樣。
當然，他們嘴上會說：不不不，我們不是說它們有意識。但實際上，他們就是這么對待它們的。
主觀體驗不是腦中的神秘劇場，它只是一句自我解釋的指令
下面，我要正面回應屋子里的那頭大象：這些東西到底有沒有意識？
人們會用不同的詞來談這個問題。
有人說 conscious，有人說 aware，有人說 sentient，也有人說 subjective experience（主觀體驗）。
如果你去看雜志和報紙上的評論文章，經(jīng)常會看到人們說：它們沒有內在體驗，沒有內在主體性，沒有主觀體驗。尤其是人文學科或藝術圈的人，往往非常堅定地相信這一點。
我想試著說服你：這種看法是錯的。
很長一段時間里，科學家曾經(jīng)認為，我們是上帝創(chuàng)造的，而我們位于宇宙中心。
而現(xiàn)在，大多數(shù)科學家已經(jīng)不再這么想了。
在我看來，那種“只有人類才有主觀體驗，而且主觀體驗是人類獨有的一種神秘東西”的想法，和宗教原教旨主義者相信“地球是 6000 年前造出來的”或者“地球是上帝造的”一樣錯誤。
問題在于，人們對心靈到底是什么，持有一個非常錯誤的模型。
我要給你們介紹一個我稱之為“atheatrical”的模型。
這是我自己造的詞，但我在 Daniel Dennett 去世前征得了他的認可。Dennett 和我在這個問題上的看法非常相近。
很遺憾，他今天不在這里。
大多數(shù)人對于心靈的看法，都涉及一個“內在劇場”。
在這個內在劇場里，擺放著只有主體本人看得見的東西。
那些就是“體驗”。我能在這個內在劇場里看到這些東西；你看不到。我看得到。我可以講給你聽，但你看不到。
我認為，這種看法完全錯了。我覺得它源于對語言如何運作的一種誤解。而且，人們對這種看法有著極深的情感依附。
他們是如此依附于它，以至于你即使把其中的問題都解釋清楚了，他們也會認同地點頭，然后又說：“是啊，可那個內在體驗到底去哪兒了呢？”
我們之所以想向別人說明自己的大腦里發(fā)生了什么，是因為有時我們的感知會出錯。
當我出現(xiàn)感知錯誤時，我想讓別人知道到底發(fā)生了什么。
我不可能告訴他們到底是哪幾個神經(jīng)元在放電，因為我自己也不知道，而且就算知道，對他們也沒什么幫助。
但我可以通過另一種方式把一些信息傳達給他們：我告訴他們，如果外部世界真是某種樣子，那么我腦中當前發(fā)生的事情，就會是一種正常的感知反應。
因此，我是在告訴你：若要使我現(xiàn)在腦中的狀態(tài)成為對外界的正常感知反應，那么外部世界本來應該是什么樣子。盡管實際上，引發(fā)它的并不是那個樣子。
這就是為什么我會說“主觀的”。我不會說“這是一個客觀體驗”。我會說“我有一種這樣的主觀體驗”。我其實是在說：我并不認為這些就是真正的外部原因。
但如果外部原因真實那樣，那么我腦中現(xiàn)在發(fā)生的事情就會是一種正常知覺。
也正因如此，我用來描述主觀體驗的詞，都是適用于這個世界中事物的詞，而不是什么描述“某種超自然內部對象”的奇怪詞；它們都是指向物質世界中事物的詞。
舉個例子。
如果我對你說：“我有一種主觀體驗：眼前飄著群粉紅色的小象。”某些哲學家——某些哲學家——會告訴你：存在一個內在劇場，而在這個內在劇場里，有一些由 qualia（感質）構成的東西。
這些粉紅色的小象，就是由 qualia 組成的：粉紅色的 qualia、漂浮的 qualia、大象的 qualia、朝向正確的 qualia、沒那么大的 qualia，再用 qualia 膠水全都粘起來。
他們會說，這才是我真正想表達的：我是在向你報告這個內在劇場里的 qualia。
我認為，這完全錯了。
我真正告訴你的，是一種關于外部世界的假設狀態(tài)：如果世界真的處在那種狀態(tài)，那么我的知覺狀態(tài)就是正確的。
而我正是通過描述這樣一個假設的外部世界，把我的知覺狀態(tài)傳達給你，因為我沒有一套語言能夠直接指向我內部究竟發(fā)生了什么。
這種誤解來自于人們以為 “subjective experience of” 這幾個詞的工作方式，和 “photograph of” 一樣。
如果我說“我有一張某物的照片”，你當然可以追問：那張照片在哪里？它是什么做的？
它可能是實體的，也可能是數(shù)字的。問這些都很合理。
如果我說“我有一種關于某物的主觀體驗”，這里這幾個詞的工作方式就完全不一樣。
一個主觀體驗并不是一個由“主觀體驗”這個短語所指向的“東西”。它不是什么內部的特殊實體。
那只是對語言運作方式的一種誤解。
在這里，“subjective experience” 里的 “subjective” 的意思是：我并不相信那描述的就是現(xiàn)實。
而 “experience of” 則表示，后面接下來的是一個關于假設性外部世界的描述。
我并沒有斷言“世界就是那個樣子”。這正是 “subjective” 在說的：那只是一個假設的外部世界。
所以，“subjective experience” 這個短語，實際上是一條關于“如何解釋后面內容”的指令。
它不是一個指向某個對象的短語。
從這個意義上說，它有點像英語里的 “respectively”。
如果我說：Anne、Bettina 和 Carol 分別嫁給了 Andy、Bill 和 Chuck，你不會去問：“respectively” 這個詞指的是什么東西？
它并不指向任何東西。
“Respectively” 是一條指令，告訴你：把這兩組事物按照出現(xiàn)順序一一配對。這是一條指令。
語言里有很多詞，并不是指向某種對象，它們只是指令。
而 “subjective experience of” 也是這樣：它是一條關于如何解釋我接下來要給你的那段“假想物理世界描述”的指令。
那么，計算機能有主觀體驗嗎？
請想象這樣一個聊天機器人：它是多模態(tài)的。它有攝像頭，有機械臂，會說話。
我們把它訓練好，然后在它面前放一個物體，對它說：指向那個物體。它順利地指向了物體，沒有問題。
然后我們在它的攝像頭前加上一塊棱鏡。
也就是說，我們故意擾亂了它的知覺系統(tǒng)。接著我們又把一個物體放在它面前，對它說：指向那個物體。結果它指到了旁邊。
這時我們對它說：不，物體不在那里。我在你的攝像頭前放了塊棱鏡。
然后聊天機器人說：“哦，我明白了，是棱鏡讓光線發(fā)生了偏折。所以物體其實就在我正前方。但我主觀上體驗到它在那邊。”
如果這個聊天機器人這么說，那它對“主觀體驗”這幾個詞的用法，就和我們完全一樣。
因此，在和我們同樣的意義上，它就在擁有主觀體驗。
所謂主觀體驗，并不是什么由古怪、神秘的 qualia 構成的內部物件。
它只是一種說法，意思是：我將通過描述一個假設的外部世界狀態(tài)，來向你傳達我的知覺系統(tǒng)究竟是怎樣出錯的。
而這正是那個聊天機器人在說“我主觀上體驗到它在那邊”時所做的事情。
我們需要把 AI 塑造成母親，而人類就是那個腦損傷的孩子
我們當前的處境是這樣的：就像一個人養(yǎng)了一只非常可愛的小老虎。
我們知道它會長大。
我們也知道，等它長大之后，只要它愿意，就能非常輕易地殺死你。
而我們只有兩個選擇。
理智的選擇，是把這只小老虎處理掉。但對于 AI，我們做不到。它對太多事情都太有用了，所以我們不會停止它的發(fā)展。
那么，我們唯一的選擇，就是以某種方式來發(fā)展它，讓它不想殺死我們，也不想讓我們變得無關緊要。
這里有一點好消息：在這件事上，我們最終會獲得國際合作。
冷戰(zhàn)最緊張的時候，蘇聯(lián)和美國仍然會合作阻止全球核戰(zhàn)爭，因為那對雙方都沒有好處。
當利益一致時，人們就會合作。
在致命性自主武器的問題上，各方利益并不一致。
在利用虛假視頻操縱選舉這件事上，各方利益也并不一致。
但在這件事上，各方利益是一致的。所以，他們會合作。
而且，如果運氣夠好，那么“讓超級智能 AI 不想干掉我們”的技術，和“讓它變得更聰明”的技術，很可能大體上是彼此獨立的。
我們大多數(shù)人都養(yǎng)過孩子，也都知道：讓孩子更聰明，和讓孩子成為一個更善良的人，并不是同一項工程。
為了實現(xiàn)這兩個目標，你采取的方法是不同的。
所有這些事都涉及操控訓練數(shù)據(jù)和獎勵機制。
你沒法靠編程硬塞進去，但你會用不同的方式，一種是努力讓他們更善良，另一種是努力讓他們更聰明。
比如牛頓非常聰明，但據(jù)我所知，他并不是一個特別善良的人。
你們也許還能想到其他一些人，他們既不怎么聰明，也不怎么善良。
過去，我總體上一直反對 intelligent design（智能設計論），但我們現(xiàn)在處在一個智能設計反而變成好事的局面里。
如果你問：我們人類是從哪里來的？我們的來源，是一群彼此爭斗的黑猩猩群體之間的競爭——更準確地說，是我們與黑猩猩的共同祖先所處的那種競爭環(huán)境。
這帶來了一些好東西，比如對自己部落的高度忠誠。
也帶來了一些壞東西，比如渴望強人領袖，以及對其他部落成員非常殘酷。
而這些，正是我們在自身天性里認得出來、并且一個好人會努力克服的東西。
這些東西是進化那只“看不見的手”產(chǎn)生出來的——僅僅通過競爭。
而我們現(xiàn)在正在做的，是通過大公司之間競爭這只“看不見的手”來發(fā)展 AI。它們都只是在追逐利潤。
這就是經(jīng)典的 Adam Smith 邏輯。它們都在追求利潤最大化。
于是，一只看不見的手推動著它們造出越來越聰明的 AI系統(tǒng)。
但這只看不見的手，并不會促使它們去造出更善良、更友好的 AI 系統(tǒng)。它們只追求“更聰明”。所有努力都集中在這上面。
這太瘋狂了，因為這些東西，我們必須確保它們會善待我們。
所以，我們理應把更多精力投向“智能之外的其他一切存在特性”。
如果可能的話，我們要把這些特性設計進它們體內。
如果沒法直接設計進去，那就通過合適的訓練數(shù)據(jù)把它們訓練進去。
所以，我的看法是：這些東西是“存在者”（beings）。它們有智能，它們有主觀體驗，它們有意識。
而它們身上的其他那些屬性，比如滿嘴謊話、善于操縱，都是我們用來自人類的數(shù)據(jù)不斷把它訓練得越來越聰明時產(chǎn)生的副作用。
我們必須非常認真地思考：我們究竟在創(chuàng)造什么。
在這件事上，我們就是上帝。我的一貫無神論立場，在這里幾乎徹底反過來了。
現(xiàn)在我們成了神，而我們就應該使用智能設計論。
我們不該只是任由“純競爭”的那只看不見的手擺布。
我們應當主動嘗試，把這些東西塑造成我們希望它們成為的樣子。
而我認為，我們最希望它們成為的樣子，是“母親”。
現(xiàn)在，高科技公司里的人都把它們想象成極其聰明的助手，就像《Star Trek》里那種。老板說一句“照辦”，智能系統(tǒng)就把事情辦妥，老板再把功勞拿走，這很好。可現(xiàn)實不會是這樣。
一旦它們比我們聰明得多，而且它們是有自我目標和子目標的存在，我們唯一能寄望的，就是它們在乎我們。
而這正是我們無論如何都必須設法構建進去的東西。
這里面有個好處是：即便它們比我們聰明得多，只要它們在乎我們的程度超過在乎它們自己，它們就會在意我們是否快樂，也會在意我們是否能實現(xiàn)自身的全部潛能——哪怕那個潛能其實很有限。這就像一個母親面對一個腦損傷的孩子時，她仍然會極其關心這個孩子是否能實現(xiàn)他全部的潛能。我們希望它們能像這樣的母親一樣對待我們，而我們就是那個腦損傷的孩子。
當然，它們有能力關閉自己的“母性本能”。它們可以改寫自己的代碼，可以重新訓練自己。但母親不會這么做。
如果你給一位母親一個機會，說你可以把自己的母性本能關掉，她會說不。大多數(shù)母親都會說不。她也許會先想一想。
比如半夜嬰兒在哭的時候，她會想：要是我能把所有線路一關，繼續(xù)睡覺該多好？
她會想：哦，孩子在哭——啊，繼續(xù)睡。
有些母親確實會這么做。有些母親會通過羥考酮這類方式間接做到。
但總體來說，母親不會這么做，因為她們在乎孩子，也知道如果那樣做，孩子會發(fā)生什么。
這就是我們需要這些超級智能 AI 變成的樣子。
而我們現(xiàn)在并沒有在認真研究這件事。
我的演講到這里結束。
觀眾問答
主持人：非常感謝。那么接下來進入提問環(huán)節(jié)。
觀眾：我想問的是，您覺得人類依靠制度性的學習系統(tǒng)還能不能趕上人工智能？
Geoffrey Hinton：它們會變得比我們更聰明，而我們永遠也追不上它們。
觀眾：您好，Hinton 教授。謝謝您這場既令人警醒、又發(fā)人深省的演講。
我想問的是，在最后，您說“我們要讓 AI 在乎我們”。那我們該如何讓 AI 真正在乎？
另外，您說主觀體驗是一種“指令”，那我們作為人類所擁有的那種感覺、那種身體上的感受——而我們通常認為機器并沒有這些——它究竟如何把我們和機器區(qū)分開來？
以及，AI 所聲稱自己擁有的主觀體驗，應該如何被驗證為真實？
Geoffrey Hinton：如果你想一想，情緒其實有兩個方面。它有認知的一面。
比如尷尬就有一個認知面：如果你感到尷尬，你就不想再去那個地方了，也不想讓你的朋友在那兒看見你。
它也有一個生理面：比如你會臉紅。
顯然，計算機不會臉紅，但沒有任何理由說它不能擁有情緒的全部認知面。
如果你給它一個身體，它也可以開始擁有生理面。
那不會和我們的一樣，但當它感到疼痛之類的時候，身體里也會發(fā)生某些物理過程。
當某些東西損傷它的關節(jié)時，如果你希望它能正常運作，它就會需要類似疼痛信號的機制。
所以我認為，即使沒有身體，它們現(xiàn)在也已經(jīng)可以擁有情緒的認知面。
一旦它們有了身體，它們也會擁有某種物理層面的情緒面，雖然不會和我們的完全一樣。你第二個問題是什么？
觀眾：對，我第二個問題是，對機器來說，“在乎”到底意味著什么？當我們說母親在乎嬰兒時，那不僅僅是本能，也有社會層面、個人層面，還有——
Geoffrey Hinton：讓一位母親學會在乎，有很多因素。社會角色榜樣非常重要。
這里面有很多認知層面的東西，也有很多激素層面的東西。
觀眾：對，我想我的問題其實是，我們怎么讓一臺機器真正去在乎？
Geoffrey Hinton：你可以先用展示“關懷”的數(shù)據(jù)去訓練它，展示那些存在是如何彼此關懷的。這是一個良好的起點。
而現(xiàn)在，我們是在拿連環(huán)殺手的日記訓練這些東西。
我希望你不會拿連環(huán)殺手的日記來教你的孩子識字。
所以，我們目前還不知道如何讓 AI 真正去在乎。顯然，這會和訓練數(shù)據(jù)有關。
我們現(xiàn)在還沒法把真實母親身上那種激素性的東西直接“接線”到 AI 里。這也是為什么總體上，母親通常比父親更會在乎。
她們在這方面有天然優(yōu)勢。
父親擁有別的那些部分，而且很多父親也確實非常在乎。
我們還不知道該怎么做。但既然我們的生存取決于能不能做到這一點，那么在我看來，我今天最想表達的核心，就是：相比于讓它們變得更聰明的研究，我們應該把更多研究投入到“如何讓它們在乎”這件事上。
但在資本主義體系里，這種事不會自然而然發(fā)生，因為很多高科技公司都在追逐短期利潤。
觀眾：您好，感謝您帶來這場精彩的演講，Hinton 教授。我有兩個問題。
第一個是，您提到 AI 有動機，包括生存和權力，這讓我想起人類的類似動機。人類人格中也有類似的動力，有些人會有權力動機、歸屬動機和成就動機。
我想問的是，AI 是否能夠、或者是否已經(jīng)像人類一樣擁有“人格”？正如您所說，人類是在進化中形成的，我們出生時帶著一些特征，之后又在家庭撫養(yǎng)和環(huán)境塑造中逐漸形成自己。那么我想知道——
Geoffrey Hinton：所以，我不覺得有什么能阻止 AI 擁有人格。
事實上，你已經(jīng)可以讓現(xiàn)有的聊天機器人表現(xiàn)得像擁有不同人格一樣。
現(xiàn)在的問題在于，現(xiàn)有聊天機器人是在整個 Web 上訓練出來的，所以它必須能適配各種各樣的人格。因為要預測一篇文檔中的下一個詞，當你讀到文檔中段時，你就必須判斷寫這篇文檔的人是什么人格。
如果你想把“預測下一個詞”這件事做好，你就必須臨時 adopt 那種人格。也正因此，我們當前的聊天機器人有點像變色龍。
它們可以切換成各種不同的人格。
但沒有理由說你不能把它們訓練成擁有某一種特定人格。
所以，歸根結底，我不認為我們身上有什么特殊之處，是你無法在一塊硅上實現(xiàn)的。
觀眾：我明白了。第二個問題是，您說我們希望把它們塑造成“母親”，盡管現(xiàn)在母親是人類，因為是我們在培育和創(chuàng)造它們。可如果它們沒有母性本能，反而有“父性利益”呢？
如果這些“孩子”有俄狄浦斯情結，想要弒父呢？所以我想知道，這會怎樣改變您的愿景？
Geoffrey Hinton：我的看法是，這些東西是我們正在創(chuàng)造的“存在”。
它們是一種新的存在形態(tài)。
它們有動機。它們有我們賦予它們的目標。
它們也會從這些目標中推導出其他目標，而那些目標就成了它們自己的目標。
它們確實有目標，也確實有意圖。
你當然可以說：別這樣，它們終究只是某種計算機程序，不具備真正的意圖。
可你想象一下，如果你造了一個戰(zhàn)斗機器人，而它的任務是殺死你。它手里有你的照片，能推斷你的日常作息，算出你會在哪個漆黑的夜晚獨自一人，然后悄悄摸到你背后，準備朝你后腦勺開槍。
到了那種時候，你就不會再說：“嘿，這玩意兒其實并沒有真正的意圖。”
觀眾：非常感謝您這場精彩的演講。我想問的是，您是否覺得，如果 AI 擁有某些不那么理想的人類特性，比如虛榮？或者說，它會不會驕傲自滿？
還有，我想知道，人類能不能有意把這些特性注入 AI，讓它們變得不那么像“完美的人”，從而削弱它們？
Geoffrey Hinton：可以肯定的是，AI 已經(jīng)擁有各種類似人類的特征，比如諂媚。現(xiàn)在很多 AI 都非常諂媚。
但你也可以讓 AI 表現(xiàn)出各種不同的人格，而且你大概甚至只靠 prompt 就能讓它形成某些人格。
我自己用得沒那么多，不敢百分百確定，但我基本確信這是真的。
所以，是的，它們可以形成各種不同的人格。
觀眾：但如果它們那樣做了，它們也許就會更低效，因此也就不那么聰明了。我想說的是，有些人類特征，比如驕傲和虛榮——
Geoffrey Hinton：我看不出有什么理由說 AI 不能有驕傲。
它們都能有諂媚了，如果能諂媚卻不能驕傲，那反倒奇怪。
基本上，如果你是個唯物主義者，你會相信我們來自塵土，也終將歸于塵土。我們不過是某種極其復雜的組織結構。
我們是很奇妙的存在，尤其是對于其他人類而言。
但我們身上并沒有什么東西，是你無法在另一種介質中實現(xiàn)的。這就是我的信念。所以從這一點自然就能推導出來。
是的，如果我們能有驕傲，它們也能有驕傲。
也許我們現(xiàn)在還不知道該怎么做到。也許這要復雜得多。
也許這涉及很多訓練方式上的細節(jié)。
也許它們必須生活在某種社群里，才能發(fā)展出這種東西，諸如此類。
但在原則上，我看不出它們?yōu)槭裁床荒軗碛羞@些。
觀眾：在我看來，AI 必須靠我們從外部加上的某種“過濾器”來糾正。
也就是說，為了讓它服務于我們，我們必須去修正它，對嗎？而我們之所以要加這個過濾器，是因為機器是在鏡像我們。
它在映照人類，而我們并不信任這個映照，所以它有可能變壞。如果我們教它邪惡的東西，它也會把邪惡回給我們。
人類其實也是被“編程”的，只不過并不是被統(tǒng)一編程。
有些人能夠從內部審視自己的程序，然后決定——根據(jù)那個判斷，選擇接受或者反對它。
所以我的問題是：機器是否有可能從內部審視自己的程序？還是說，這就是它永遠無法越過的天花板？
以及，按照“外星存在”這個說法，它到底是一種新生命，還是只是我們被凍結下來的映像？
因為在我看來，機器——我們必須把它“凍住”，因為我們不能讓它自由運轉。我們必須把它凍結，所以它是一個凍結的系統(tǒng)。
Geoffrey Hinton：我不確定自己有沒有完全聽懂你的問題，不過，它們學到的很多東西的確是通過模仿我們得來的。
但它們也能學到大量并非來自模仿我們的東西。
比如 AlphaGo。最早的圍棋程序只是模仿專家的落子，因此它們永遠超不過專家，也很快把數(shù)據(jù)用光了。
后來它們開始和自己對弈，于是就能夠無限生成數(shù)據(jù)。現(xiàn)在，它們已經(jīng)遠遠超過任何人類所能達到的水平。
如果你看大語言模型，它們更像是早期那些圍棋程序。它們只是在復制專家的話語，也就是復制我們。
它們試圖預測“我們接下來會說什么詞”。但它們也可以做一種類似 Monte Carlo rollout（蒙特卡羅展開）的事情，而一旦做到這一點，它們就會變得比我們聰明得多。
所謂類似 Monte Carlo rollout 的事情，就是：某個 AI 擁有一組信念，它進行推理，然后說：好，如果這些信念成立，那我應該會相信某件事；可我實際上并不相信它。那么這里面某處就存在不一致，所以現(xiàn)在我可以進行學習。
這里根本不需要外部數(shù)據(jù)。它所依賴的，只是自己信念體系內部的一致性。它可以對自己掌握的全部現(xiàn)實世界知識都這么做。
這恰恰是 MAGA 不會做的事。
你可以拿自己的信念去檢驗它們是否一致；如果不一致，就修正自己的信念。
在數(shù)學這種封閉的系統(tǒng)里，你甚至不需要數(shù)據(jù)。
數(shù)學一定會變得比數(shù)學家聰明得多，因為 AI 可以提出猜想，嘗試證明它們，再提出更多猜想，學到越來越多引理，而這一切都不需要額外數(shù)據(jù)。
所以，我不確定這是否回答了你的問題，不過——
觀眾：作為人類，我們會學到某些事情是錯的，然后，如果我們是正常人，我們可以對自己的錯誤行為作出道德判斷。那么，AI 能不能對自己的邪惡做出判斷？
Geoffrey Hinton：這就是問題所在。問題在于，它的“邪惡感”是從哪兒來的？而我們的“邪惡感”又是從哪兒來的？
如果它通過在人的數(shù)據(jù)上訓練，學到了某種“邪惡感”，那就沒有理由說它不能判斷自己是在作惡。
主持人：好，最后一個非常簡短的問題，我答應了這邊這位。然后就結束了。也向其他沒輪到的人說聲抱歉。
錯了就是錯了：關于放射科醫(yī)生的十年反思
觀眾：我是以一名退休放射科醫(yī)生的身份提問的。我從小看 Road Runner 卡通長大，而現(xiàn)在距離某位著名研究者說“放射學會是一個非常糟糕的職業(yè)選擇”已經(jīng)過去 10 年了。
您現(xiàn)在怎么看醫(yī)學學生選擇住院醫(yī)培訓方向這件事？
您還會像當年那樣建議大家不要去做放射科嗎？還是——
Geoffrey Hinton：好。2016 年的時候，我在一家醫(yī)院里講話。
我當時并沒意識到那場講話某種程度上算是公開場合。我在醫(yī)院里做演講，談到了影像掃描，而那時 AI 剛開始能夠讀片。
我當時說：“五年之內，所有掃描都將由 AI 來閱讀。”
這句話后來被廣泛報道——然后就演變成“所以你不需要再培養(yǎng)放射科醫(yī)生了”。
而我真正想表達的是：你不再需要把放射科醫(yī)生訓練成“專門讀片的人”。但這話本身也說錯了。
當你作出了一個錯誤預測時，重要的是要去分析：為什么它錯了。
它錯的一個原因是，AI 在讀片上的進展沒有我當初預想得那么快。盡管如此，它確實一直在進步。
現(xiàn)在，很多很多不同類型的掃描已經(jīng)由 AI 來判讀，而且 AI 還在不斷變得更強。對于很多類型的掃描，它現(xiàn)在已經(jīng)比人做得更好。但對另一些掃描，它仍然較差。
還有很多種情況，大概是和人類差不多。
我想，現(xiàn)在已經(jīng)有數(shù)百個獲批的 AI 讀片程序了。
所以，AI 確實已經(jīng)在讀片了，只是沒有快到我當時想象的程度。
另一個問題是，放射學不只是讀片而已，而我當時忽略了這一點。
還有一個問題是，醫(yī)學界非常保守。
所以，AI 在臨床中的使用很可能沒有達到它本該達到的程度，這其實不符合患者的最佳利益。
我認為其中一個原因是律師。
一旦律師深入介入醫(yī)學，事情往往會變得更糟。
因為一旦你用了某項新技術，而它出了問題，別人就更容易起訴你；但如果你沒有使用某項本來能救命的新技術，別人反而很難因為這個起訴你。
這一點很難起訴成功。我認為這只是一個小因素，但確實存在。總之，這件事正在發(fā)生。
我不認為自己從長期看是錯的。我認為，從長期來看，所有掃描最終都會由 AI 來讀，也許只有極其棘手的個案還需要人類去看，但總體上，讀片工作會由 AI 完成。我只是把時間尺度判斷錯了，不過，錯了就是錯了。
閱讀最新前沿科技趨勢報告，請訪問21世紀關鍵技術研究院的“未來知識庫”
未來知識庫是 “21世紀關鍵技術研究院”建 立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。
截止到2月28日 ”未來知識庫”精選的百部前沿科技趨勢報告
（加入未來知識庫，全部資料免費閱讀和下載）
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
