不只是預(yù)測(cè)：動(dòng)力學(xué)學(xué)習(xí)中「記憶」的五重境界

導(dǎo)語(yǔ)

從Takens嵌入定理到Koopman算子，從RNN、Transformer到Neural ODE與TimeGPT，時(shí)間序列預(yù)測(cè)的發(fā)展史本質(zhì)上是一部“機(jī)器學(xué)習(xí)記憶”的進(jìn)化史。近日，集智學(xué)園張江老師系統(tǒng)梳理了動(dòng)力學(xué)學(xué)習(xí)的發(fā)展脈絡(luò)，揭示了一個(gè)貫穿半個(gè)世紀(jì)的核心問(wèn)題：機(jī)器究竟該如何表示過(guò)去，才能預(yù)測(cè)未來(lái)？文章以“記憶”為主線，串聯(lián)動(dòng)力系統(tǒng)理論、深度學(xué)習(xí)與基礎(chǔ)模型的發(fā)展歷程，展示了人工智能如何從數(shù)據(jù)中自動(dòng)發(fā)現(xiàn)復(fù)雜系統(tǒng)的演化規(guī)律，并逐步邁向跨領(lǐng)域、跨系統(tǒng)的通用預(yù)測(cè)能力。

關(guān)鍵詞：動(dòng)力學(xué)學(xué)習(xí)、時(shí)間序列預(yù)測(cè)、RNN、Transformer、擴(kuò)散模型、復(fù)雜系統(tǒng)

引言：從“拍腦袋建模”到“數(shù)據(jù)驅(qū)動(dòng)發(fā)現(xiàn)”，

我們用記憶讓機(jī)器學(xué)會(huì)預(yù)測(cè)復(fù)雜世界

預(yù)測(cè)，是人類(lèi)最古老也最前沿的智力活動(dòng)。遠(yuǎn)古先民觀察星象預(yù)測(cè)四季，牛頓用萬(wàn)有引力定律預(yù)測(cè)行星軌道，現(xiàn)代科學(xué)家用超級(jí)計(jì)算機(jī)預(yù)測(cè)氣候變化，這些預(yù)測(cè)的本質(zhì)是相同的：從推斷出的已知模型推演未知的未來(lái)。

然而，隨著觀測(cè)手段的爆炸式發(fā)展（如衛(wèi)星遙感、腦電記錄、物聯(lián)網(wǎng)傳感器），我們往往擁有海量時(shí)間序列數(shù)據(jù)，卻對(duì)背后的動(dòng)力學(xué)機(jī)制知之甚少。于是問(wèn)題被顛倒過(guò)來(lái)：給定觀測(cè)數(shù)據(jù)，能否自動(dòng)推斷出系統(tǒng)的演化規(guī)則？

這就是動(dòng)力學(xué)學(xué)習(xí)——讓機(jī)器從觀測(cè)數(shù)據(jù)中，自動(dòng)發(fā)現(xiàn)系統(tǒng)演化的規(guī)則。

2025年，這個(gè)方向迎來(lái)了兩個(gè)標(biāo)志性時(shí)刻。微軟的 Aurora 模型用一個(gè)統(tǒng)一框架同時(shí)預(yù)測(cè)臺(tái)風(fēng)軌跡、空氣污染和海浪高度，論文登上《Nature》。與此同時(shí)，TimeGPT 把千變?nèi)f化的時(shí)間序列預(yù)測(cè)任務(wù)塞進(jìn)一個(gè)預(yù)訓(xùn)練模型，實(shí)現(xiàn)了零樣本預(yù)測(cè)。

這些驚艷的模型是半個(gè)世紀(jì)以來(lái)一代代研究者反復(fù)追問(wèn)同一個(gè)問(wèn)題的結(jié)果：

“現(xiàn)在”到底要被記成什么樣子，“未來(lái)”才能從中自然地長(zhǎng)出來(lái)？

這個(gè)問(wèn)題聽(tīng)起來(lái)抽象，但它就是整條演進(jìn)路線的暗線。本文把它叫做“對(duì)記憶的追問(wèn)”，即模型（或數(shù)學(xué)框架）用什么方式來(lái)表示過(guò)去和現(xiàn)在的狀態(tài)（處理記憶），又用什么方式來(lái)預(yù)測(cè)未來(lái)（運(yùn)用記憶），并把這個(gè)過(guò)程總結(jié)為以下五個(gè)階段，對(duì)應(yīng)文章的五個(gè)章節(jié)。

一、記憶有用嗎？——Takens 定理：

過(guò)去的觀測(cè)里藏著完整的世界

1.1 正問(wèn)題與反問(wèn)題

要理解動(dòng)力學(xué)學(xué)習(xí)在做什么，首先要分清兩個(gè)方向相反的問(wèn)題。

正問(wèn)題是傳統(tǒng)的思路：已知系統(tǒng)的演化方程，給定初始狀態(tài)，求未來(lái)的軌跡。比如天體物理中已知行星的運(yùn)轉(zhuǎn)規(guī)律，給定今天的位置和速度，就能算出明天在哪里。數(shù)學(xué)上寫(xiě)為：

其中 是系統(tǒng)在時(shí)刻 t 的狀態(tài)向量（可能包含 n 個(gè)節(jié)點(diǎn)或變量的值），F(xiàn) 是已知的演化規(guī)則。把 s0 代入 F，得到 s1；再代入，得到 s2——如此遞推，整條軌跡就出來(lái)了。

反問(wèn)題是現(xiàn)實(shí)世界里更常見(jiàn)的情形：F 是未知的。我們只能觀測(cè)到系統(tǒng)運(yùn)行產(chǎn)生的數(shù)據(jù)，任務(wù)是從這些數(shù)據(jù)中，把隱藏的 F 學(xué)出來(lái)。

學(xué)到的 就是原始系統(tǒng)的替代模型（surrogate model）。有了它，我們就能做預(yù)測(cè)（給定歷史推未來(lái)）、模擬（在不同初始條件下看系統(tǒng)如何演化）、甚至優(yōu)化和控制（找到最優(yōu)的干預(yù)策略）。

這里有一個(gè)關(guān)鍵的思維轉(zhuǎn)換：我們的最終目標(biāo)是學(xué)到 F，但實(shí)現(xiàn)手段是構(gòu)造一個(gè)監(jiān)督學(xué)習(xí)問(wèn)題——預(yù)測(cè)下一個(gè)時(shí)間步。

訓(xùn)練一個(gè)參數(shù)為 θ 的模型 fθ，讓它能夠從上一時(shí)刻的狀態(tài)預(yù)測(cè)下一時(shí)刻的狀態(tài)。如果預(yù)測(cè)足夠準(zhǔn)確，那么 fθ 就是對(duì)真實(shí)動(dòng)力學(xué) F 的一個(gè)好的近似。

圖1：正問(wèn)題（從右向左）是從模型推數(shù)據(jù)，反問(wèn)題（從左向右）是從數(shù)據(jù)推模型

圖1是對(duì)正反問(wèn)題的一個(gè)圖示，表面上我們?cè)谧鲱A(yù)測(cè)，實(shí)際上我們?cè)谧龅氖?strong>建模，學(xué)到動(dòng)力學(xué)規(guī)律才是目的。

1.2 從一步到多步：隱變量與長(zhǎng)程記憶

前面的例子做的實(shí)際上是一步預(yù)測(cè)，而一步預(yù)測(cè)的假設(shè)是馬爾可夫性：下一時(shí)刻只依賴(lài)于當(dāng)前時(shí)刻。但真實(shí)系統(tǒng)往往不滿(mǎn)足這個(gè)假設(shè)。原因在于隱變量（latent variables）。所觀測(cè)到的變量可能只是系統(tǒng)狀態(tài)的一部分——還有一些維度是看不見(jiàn)的，這些更可能是真實(shí)的原因或者影響力更強(qiáng)的變量，類(lèi)似于我們能很容易地觀察到其他人的外在行為表現(xiàn)，但不知道他腦子里在想什么，也不知道這是如何演化而來(lái)的。

這些看不見(jiàn)的維度在暗中影響著系統(tǒng)的演化，體現(xiàn)在可觀測(cè)數(shù)據(jù)上，就是長(zhǎng)程記憶性：今天的狀態(tài)不僅依賴(lài)于昨天，還可能依賴(lài)于一周前、一個(gè)月前。這時(shí)候一步預(yù)測(cè)就不夠了，需要構(gòu)造多步預(yù)測(cè)問(wèn)題：

輸入變?yōu)檫^(guò)去 T 步的歷史，輸出則是未來(lái) τ 步的預(yù)測(cè)。這個(gè)框架更貼近真實(shí)場(chǎng)景，也是后續(xù)Transformer等架構(gòu)大顯身手的舞臺(tái)。

1.3 Takens定理：用歷史重構(gòu)相空間

隱變量的存在看似讓問(wèn)題無(wú)解——觀測(cè)不到完整狀態(tài)，怎么可能學(xué)到真實(shí)動(dòng)力學(xué)？Takens定理[1]（嵌入定理）給出了一個(gè)令人驚喜的理論：一個(gè)變量的歷史包含了其他隱變量的信息。

例如，今天的溫度、昨天的溫度、前天的溫度——這些延遲值里隱含了氣壓、濕度等沒(méi)直接測(cè)量的變量的信息。Takens定理保證了這種信息的充分性，如圖2所示，Takens定理指出，即使只能觀測(cè)到系統(tǒng)的一個(gè)標(biāo)量輸出 x(t)，只要把它的時(shí)延嵌入（delay embedding）排成向量：

只要觀測(cè)函數(shù)足夠“通用”，即當(dāng)嵌入維度 d 足夠大時(shí)（具體地， 2n"},"displayMode":"inline","viewType":"inline"}}">d > 2n，其中 n 是系統(tǒng)的真實(shí)維度），這個(gè)重構(gòu)的相空間與原始相空間拓?fù)涞葍r(jià)，或者通俗點(diǎn)說(shuō)，雖然只盯著一個(gè)變量看，但如果你看得夠久，這個(gè)變量留存的記憶足以讓你重構(gòu)出整個(gè)系統(tǒng)的動(dòng)力學(xué)結(jié)構(gòu)。

圖2：Takens定理的核心思想：僅通過(guò)洛倫茲系統(tǒng)一個(gè)維度（如x(t）的時(shí)間序列，經(jīng)過(guò)時(shí)間延遲嵌入，即可與完整三維系統(tǒng)（x(t), y(t), z(t）的吸引子建立微分同胚關(guān)系。

*注：微分同胚是指兩個(gè)光滑流形之間存在一個(gè)雙射映射，使得該映射及其逆映射都是光滑（無(wú)限次可微）的，從而表明這兩個(gè)流形具有相同的光滑結(jié)構(gòu)。可以理解為，兩個(gè)形狀不僅能被像橡皮泥一樣捏來(lái)捏去變成對(duì)方（拓?fù)渫撸艺麄€(gè)變形過(guò)程平滑順滑、沒(méi)有任何尖角褶皺和撕裂——就像把甜甜圈柔順地揉成咖啡杯，沒(méi)有粗暴地折出棱角一樣。

這意味著：動(dòng)力學(xué)信息并不神秘，它就藏在時(shí)間序列的時(shí)序關(guān)聯(lián)之中。這一思想為后來(lái)的所有時(shí)間序列預(yù)測(cè)方法奠定了哲學(xué)基礎(chǔ)——過(guò)去包含著未來(lái)的種子。

1.4 本節(jié)小結(jié)

這一節(jié)回答了一個(gè)最基本的問(wèn)題：僅憑觀測(cè)數(shù)據(jù)，學(xué)習(xí)動(dòng)力學(xué)規(guī)律這件事，在理論上到底可不可能？

答案是肯定的，但是記憶的存在讓事情看起來(lái)棘手了：我們觀測(cè)到的可能只是冰山一角，真正驅(qū)動(dòng)系統(tǒng)的變量藏在水面之下，今天的天氣不只取決于昨天，可能還取決于一周前大洋上空的氣壓分布。

Takens 定理在這個(gè)看似絕望的地方給出了希望：你不需要看到所有變量，只需要看一個(gè)變量看得足夠久。時(shí)間延遲本身就是一面鏡子，能把隱藏的維度映射出來(lái)，過(guò)去的記憶是重構(gòu)完整世界的原材料。

但是，Takens 定理只保證了記憶有用，從有用到能用，中間還隔著一整套方法論。這就像有人告訴你“這座山里一定有金礦”，但沒(méi)給你地圖，也沒(méi)給你鏟子。

下一節(jié)，我們就去找第一把提取記憶的鏟子：Koopman 算子會(huì)告訴我們，存在一種特殊的“眼鏡”，戴上它之后，整個(gè)非線性系統(tǒng)看起來(lái)就像線性的，而線性系統(tǒng)的預(yù)測(cè)，不過(guò)就是做矩陣乘法而已。

二、怎么提取記憶？——Koopman 算子：

換一副眼鏡，讓彎路變直路

2.1 Koopman算子：把非線性變線性

Takens告訴我們可以重構(gòu)相空間，但重構(gòu)之后，問(wèn)題仍然棘手：真實(shí)系統(tǒng)幾乎都是非線性的，這意味著線性方法不能直接用。

但Koopman算子理論（1931年提出，近年被重新發(fā)現(xiàn)）[2]提供了一條繞行路線：在函數(shù)空間中，非線性動(dòng)力學(xué)可以被一個(gè)線性算子描述。關(guān)于Koopman算子，蘭岳恒老師在集智學(xué)園有更深入的介紹，感興趣的小伙伴可以進(jìn)一步了解：https://pattern.swarma.org/study_group_issue/747。

Koopman算子提供了一個(gè)天才的迂回策略：非線性系統(tǒng)在有限維空間中難以處理，但如果把它提升到無(wú)限維的函數(shù)空間，它的演化可以變成線性的。具體來(lái)說(shuō)，Koopman算子定義在系統(tǒng)的觀測(cè)函數(shù)上。假設(shè)系統(tǒng)狀態(tài) x 按照非線性規(guī)則 xt+1 = F(xt) 演化。對(duì)于任意一個(gè)觀測(cè)函數(shù) g（比如“取溫度值的平方”），Koopman算子 定義為：

它把函數(shù) g 在當(dāng)前狀態(tài)的值，映射為 g 在下一時(shí)刻狀態(tài)的值。即使在有限維空間 F是非線性的，作為函數(shù)空間上的算子是線性的。而線性問(wèn)題其實(shí)就是矩陣問(wèn)題，有成熟的數(shù)學(xué)工具（特征值分解、譜分析）可以用，這就是它的價(jià)值所在。

然而，這個(gè)方法的代價(jià)是函數(shù)空間變?yōu)榱藷o(wú)限維。在實(shí)際計(jì)算中，我們必須挑選一組有限的基函數(shù)來(lái)近似Koopman算子。這正是DMD及其變種做的事情。

2.2 DMD與eDMD：從數(shù)據(jù)中近似Koopman

理論上Koopman算子是無(wú)窮維的，實(shí)際計(jì)算中需要有限維近似。動(dòng)態(tài)模態(tài)分解（Dynamic Mode Decomposition, DMD）就是做這件事的數(shù)值方法。如圖3所示，它的思路極其簡(jiǎn)潔：給定時(shí)序數(shù)據(jù)矩陣 和 ，是前者在時(shí)間上一步的平移），然后尋找一個(gè)線性算子A使得Y≈AX。最小二乘解 （?表示偽逆）就是對(duì)Koopman算子的有限維近似[3]。

通過(guò)數(shù)值方法求解A的特征值和特征向量，可以揭示了系統(tǒng)的主導(dǎo)動(dòng)態(tài)模態(tài)——哪些模式在增長(zhǎng)、哪些在衰減、振蕩頻率是多少。比如在流體力學(xué)中，DMD的模態(tài)恰好對(duì)應(yīng)流場(chǎng)中的渦脫落頻率；在腦電信號(hào)分析中，DMD模態(tài)對(duì)應(yīng)不同腦區(qū)的節(jié)律活動(dòng)。

圖3：DMD從時(shí)間序列數(shù)據(jù)構(gòu)建矩陣 X 和 X'，通過(guò)計(jì)算 A = X' X? 學(xué)習(xí)線性動(dòng)力學(xué)算子，然后利用 xk+1= A xk 進(jìn)行未來(lái)狀態(tài)預(yù)測(cè)。

后來(lái)的擴(kuò)展DMD（eDMD，Extended DMD）則引入非線性基函數(shù) ψ(s)，不直接在原始狀態(tài)上做DMD，而先把狀態(tài)通過(guò)一組非線性基函數(shù)（如多項(xiàng)式、徑向基函數(shù)、或神經(jīng)網(wǎng)絡(luò)）提升到高維特征空間，這本質(zhì)上是在用“核技巧”的思路逼近Koopman算子[4]。

2.3 儲(chǔ)備池計(jì)算：固定隨機(jī)網(wǎng)絡(luò)的奇跡

如果說(shuō)Koopman方法是從“升維線性化”的數(shù)學(xué)路徑逼近動(dòng)力學(xué)，儲(chǔ)備池計(jì)算（Reservoir Computing）則從“高維隨機(jī)表示”的工程路徑給出了答案。如圖4所示，它的核心思想也很簡(jiǎn)單：用一個(gè)固定的、隨機(jī)初始化的遞歸神經(jīng)網(wǎng)絡(luò)作為“儲(chǔ)備池”，只訓(xùn)練最后的輸出層[5-7]。

因?yàn)镵oopman算子理論實(shí)際上是一種高維隨機(jī)投影，所以直覺(jué)上來(lái)說(shuō)，一個(gè)足夠大的、具有適當(dāng)耗散性質(zhì)的隨機(jī)遞歸網(wǎng)絡(luò)，天然形成了一個(gè)“隨機(jī)特征庫(kù)”，輸入信號(hào)在高維空間中被展開(kāi)成多樣化的瞬態(tài)響應(yīng)模式，然后線性組合就能逼近任意的非線性函數(shù)[8]。

圖4：儲(chǔ)備池計(jì)算的基本架構(gòu)：輸入信號(hào) xin 進(jìn)入一個(gè)高維、隨機(jī)連接且固定的循環(huán)儲(chǔ)池（Reservoir），其內(nèi)部狀態(tài) x1, x2, ..., xN 通過(guò)線性加權(quán)求和得到輸出 ，只有輸出層的權(quán)重 wi 需要訓(xùn)練。

儲(chǔ)備池的隨機(jī)遞歸連接為輸入信號(hào)提供了豐富的非線性變換和記憶能力。只要儲(chǔ)備池足夠大、連接足夠豐富，它就能把輸入信號(hào)“展開(kāi)”到一個(gè)高維空間中，使得簡(jiǎn)單的線性輸出層就能完成復(fù)雜的預(yù)測(cè)任務(wù)。同時(shí)，儲(chǔ)備池方法因其訓(xùn)練極快（只優(yōu)化輸出層）、適合混沌系統(tǒng)（隨機(jī)性質(zhì)本身具備混沌系統(tǒng)的某些特性）而長(zhǎng)盛不衰。Lorenz系統(tǒng)、Kuramoto-Sivashinsky方程等經(jīng)典混沌系統(tǒng)上，儲(chǔ)備池能以極低的計(jì)算成本實(shí)現(xiàn)超越許多深度模型的長(zhǎng)期預(yù)測(cè)能力[9-10]。

2.4 本節(jié)小結(jié)

既然 Takens 定理保證了有用的記憶信息就藏在歷史觀測(cè)里，那我們?cè)趺窗阉崛〕鰜?lái)？答案是一個(gè)優(yōu)雅的迂回策略：不要硬碰非線性，換一副眼鏡，讓彎路變成直路。

Koopman算子的核心洞見(jiàn)就是這樣：一個(gè)在有限維空間中扭曲翻轉(zhuǎn)的非線性系統(tǒng)，如果你愿意跳到一個(gè)更高維（甚至無(wú)窮維）的函數(shù)空間中去觀察它，它的演化就變成了線性的。

DMD和eDMD是這套理論的數(shù)值實(shí)現(xiàn)，用有限維基函數(shù)近似無(wú)窮維 Koopman 算子，儲(chǔ)備池計(jì)算則從一個(gè)完全不同的方向抵達(dá)了相似的目的地，即不必精心設(shè)計(jì)基函數(shù)，使用一個(gè)隨機(jī)初始化的大規(guī)模遞歸網(wǎng)絡(luò)來(lái)提供足夠豐富的高維展開(kāi)空間。

但這條路有一個(gè)天花板：基函數(shù)需要人來(lái)選擇。當(dāng)系統(tǒng)足夠復(fù)雜（幾百個(gè)變量、高度非線性的耦合、多尺度的時(shí)間結(jié)構(gòu)），沒(méi)有人能保證哪組基函數(shù)是對(duì)的。

下一節(jié)，我們將介紹如何讓模型學(xué)會(huì)自主決定怎么記憶。

三、讓模型自己學(xué)會(huì)記憶：

RNN、CNN與Transformer

隨著觀測(cè)手段的爆炸式發(fā)展，我們可以擁有的數(shù)據(jù)越來(lái)越多，衛(wèi)星圖像、腦電信號(hào)、傳感器讀數(shù)，就算是最頂尖的科學(xué)家，也根本來(lái)不及為每一個(gè)新系統(tǒng)重新設(shè)計(jì)觀測(cè)函數(shù)。這引出了一個(gè)大膽的問(wèn)題：能不能讓模型自己學(xué)怎么記憶？

這其實(shí)就是反向傳播所做的事情，梯度下降讓模型能夠“自主”學(xué)習(xí)如何壓縮信息、如何遺忘噪聲、如何提取規(guī)律。最樸素的方法是用前饋神經(jīng)網(wǎng)絡(luò)直接擬合映射 ，把過(guò)去時(shí)刻的值作為輸入，直接回歸下一個(gè)時(shí)刻。只要神經(jīng)元足夠多，它可以逼近任意函數(shù)。但問(wèn)題在于，該方法沒(méi)有時(shí)序結(jié)構(gòu)的先驗(yàn)知識(shí)，它對(duì) t-1 和 t-10 時(shí)刻的輸入一視同仁，參數(shù)量隨著歷史窗口長(zhǎng)度急劇膨脹。

3.1 RNN：從隱式記憶中學(xué)習(xí)

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的出現(xiàn)，讓動(dòng)力學(xué)學(xué)習(xí)第一次“有了記憶”。如圖5所示，不同于前饋網(wǎng)絡(luò)，RNN 隱層單元之間存在遞歸連接，使得網(wǎng)絡(luò)能夠保存歷史信息。對(duì)于時(shí)間序列預(yù)測(cè)，RNN 可以像微分方程一樣遞歸地更新?tīng)顟B(tài)[11]：

圖5：RNN結(jié)構(gòu)（示例）：編碼部分隱藏狀態(tài) h0 到 h4 沿時(shí)間步遞歸傳遞，每個(gè)時(shí)刻接收輸入 x1 到 x4，并通過(guò)共享參數(shù)實(shí)現(xiàn)序列信息的記憶與傳遞。

隱狀態(tài)就像一個(gè)記憶單元，理論上可以把過(guò)去所有時(shí)間步的信息積累起來(lái)。但RNN有一個(gè)根本的結(jié)構(gòu)性瓶頸：它是順序計(jì)算的——必須先算h1，才能算h2，再算h3。這使得訓(xùn)練無(wú)法并行化，在長(zhǎng)序列上效率低下[12]。

另一個(gè)問(wèn)題是記憶的衰減。早期RNN在反向傳播時(shí)，梯度會(huì)指數(shù)級(jí)消失或爆炸。1997年，Hochreiter和Schmidhuber提出了LSTM，用門(mén)控機(jī)制（輸入門(mén)、遺忘門(mén)、輸出門(mén)）讓網(wǎng)絡(luò)自己決定什么時(shí)候記、什么時(shí)候忘[13–14]，后來(lái)有學(xué)者提出其簡(jiǎn)化版，即GRU[15]，這些變體讓RNN能記住上百步之前的依賴(lài)。

RNN家族的最新成員，比如RWKV和Mamba，正在挑戰(zhàn)Transformer的統(tǒng)治地位。RWKV用注意力機(jī)制的形式配合RNN的結(jié)構(gòu)，設(shè)計(jì)了一種可以像RNN一樣遞歸推理（線性復(fù)雜度）、同時(shí)可以像Transformer一樣并行訓(xùn)練（通過(guò)時(shí)間維度的前綴和計(jì)算）的模型，這是對(duì)“記憶”的又一次重新定義[16-19]。

3.2 CNN：把時(shí)間當(dāng)空間處理

卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)記憶的理解是局部的信息對(duì)于判斷該局部的模式更有幫助，乍看之下，CNN是圖像數(shù)據(jù)的專(zhuān)屬。

一維卷積的操作很直觀：一個(gè)長(zhǎng)度為 k 的卷積核 w，在時(shí)間序列上滑動(dòng)，每一步計(jì)算內(nèi)積：

通過(guò)堆疊多層卷積，感受野指數(shù)級(jí)增長(zhǎng)。第 L 層的每個(gè)神經(jīng)元，理論上能看到 kL 個(gè)原始時(shí)間步——既能保持局部性，又能覆蓋長(zhǎng)程依賴(lài)。

這種trick在周期性數(shù)據(jù)上很適用，可以把周期的規(guī)律升維處理，如圖6所示。比如電力負(fù)荷數(shù)據(jù)，它一般以24小時(shí)為周期，把多個(gè)周期“上下堆疊”成一張二維圖像：橫軸是時(shí)間（小時(shí)），縱軸是周期（天數(shù)），然后直接用二維CNN處理，就可以很直觀地處理不同周期內(nèi)同一時(shí)間段的模式（如每天傍晚），這本質(zhì)上是把時(shí)間周期性轉(zhuǎn)化成了空間周期性[21]。

圖6：CNN對(duì)時(shí)間序列建模的兩種方式：左邊為一維CNN直接處理原始序列，右邊展通過(guò)Reshape將一維序列轉(zhuǎn)化為二維數(shù)組，從而用二維CNN同時(shí)捕捉周期內(nèi)模式與周期間的依賴(lài)關(guān)系。

CNN和RNN的選擇，本質(zhì)上是并行性與記憶長(zhǎng)度的權(quán)衡。CNN可以完全并行訓(xùn)練（每個(gè)時(shí)間步的卷積計(jì)算獨(dú)立），但感受也受層數(shù)限制；RNN理論上能記住無(wú)限遠(yuǎn)，但必須順序計(jì)算。這個(gè)權(quán)衡，直到Transformer才被打破。

3.3 Transformer：讓所有位置直接對(duì)話

Transformer的自注意力機(jī)制從根本上改變了序列建模的方式，它讓序列中任意兩個(gè)時(shí)間步之間直接建立聯(lián)系[17]：

每個(gè)時(shí)刻都能“看到”所有其他時(shí)刻，長(zhǎng)程依賴(lài)不再需要通過(guò)中間狀態(tài)間接傳遞。

但Transformer在時(shí)間序列預(yù)測(cè)上會(huì)有幾個(gè)問(wèn)題。

第一個(gè)問(wèn)題是復(fù)雜度。標(biāo)準(zhǔn)自注意力的計(jì)算量是序列長(zhǎng)度的平方，如輸入一千步，就需要百萬(wàn)級(jí)的注意力分?jǐn)?shù)。Informer論文發(fā)現(xiàn)，這些分?jǐn)?shù)呈現(xiàn)“長(zhǎng)尾分布”：極少數(shù)幾對(duì)位置貢獻(xiàn)了絕大部分注意力，絕大多數(shù)接近于零，白白浪費(fèi)算力。

Informer使用ProbSparse自注意力來(lái)降低計(jì)算量[22]，通過(guò)一個(gè)采樣策略，只保留最重要的少數(shù)鍵值對(duì)，將復(fù)雜度從 O(L2） 降到 O(L log L）。配合生成式解碼器一次輸出長(zhǎng)序列，Informer讓長(zhǎng)序列預(yù)測(cè)成為可能。

圖7：Informer模型中的嵌入與注意力模塊：輸入序列在時(shí)間步 t 和 t + Dx 處經(jīng)過(guò)嵌入（Embedding）和一維卷積處理，隨后通過(guò)多頭注意力機(jī)制以及多個(gè)注意力塊（如Attention Block 2）來(lái)捕捉長(zhǎng)序列中的依賴(lài)關(guān)系，實(shí)現(xiàn)對(duì)長(zhǎng)時(shí)間序列的高效預(yù)測(cè)。

第二個(gè)問(wèn)題則更隱蔽。標(biāo)準(zhǔn)Transformer處理多變量時(shí)間序列時(shí)，默認(rèn)的做法是把每個(gè)時(shí)間步的所有變量拼成一個(gè)token，即第t秒的“溫度、濕度、風(fēng)速”和第t+1秒的“溫度、濕度、風(fēng)速”互相關(guān)注。溫度和濕度在每一秒都被重新打包成同一個(gè)向量，模型不知道哪一維是溫度、哪一維是濕度，變量之間的因果關(guān)系（例如溫度上升導(dǎo)致濕度下降）只能通過(guò)時(shí)間步之間的注意力間接傳遞。

iTransformer方法做了一個(gè)看似“大逆不道”的改進(jìn)：把Transformer的傳統(tǒng)用法倒過(guò)來(lái)[23]。如圖8所示，原來(lái)的方法是把“每個(gè)時(shí)間步的所有變量”當(dāng)作一個(gè)token，iTransformer改為把“每個(gè)變量的整個(gè)時(shí)間序列”當(dāng)作一個(gè)token。于是注意力從時(shí)間維轉(zhuǎn)移了變量維，模型直接學(xué)習(xí)溫度序列和濕度序列之間的關(guān)系，而不是第3秒和第4秒之間的關(guān)系。每個(gè)變量的時(shí)序模式，在嵌入空間中保留完整，由另一個(gè)分支（前饋網(wǎng)絡(luò)）處理。這個(gè)反轉(zhuǎn)讓iTransformer能夠更好地建模多變量時(shí)序中的變量間相關(guān)性和變量?jī)?nèi)時(shí)序模式，在多個(gè)長(zhǎng)序列預(yù)測(cè)基準(zhǔn)上取得了顯著提升。

圖8：標(biāo)準(zhǔn)Transformer與iTransformer在處理多變量時(shí)間序列時(shí)的核心架構(gòu)差異：傳統(tǒng)Transformer按時(shí)間步切分Token，iTransformer按變量切分Token，將注意力從“時(shí)間依賴(lài)”轉(zhuǎn)向“變量依賴(lài)”。

3.4 本節(jié)小結(jié)

從Koopman到RNN、CNN、Transformer，深度學(xué)習(xí)終于讓記憶從數(shù)學(xué)構(gòu)造變成了可學(xué)習(xí)的對(duì)象，梯度下降賦予了模型一種能力：通過(guò)反復(fù)試錯(cuò)，自主學(xué)會(huì)什么該記、什么該忘、怎么組織。

對(duì)于如何在有限的計(jì)算資源下，讓記憶覆蓋盡可能遠(yuǎn)的過(guò)去，這三種深度學(xué)習(xí)方法給出了不同的權(quán)衡方案。RNN 選擇了深度（時(shí)間步越多，傳遞越深），CNN 選擇了寬度（層越多，視野越大），Transformer 選擇了直接連接（犧牲計(jì)算量換取更少的信息衰減）。

而 Informer 和 iTransformer 的出現(xiàn)，說(shuō)明即使在 Transformer 內(nèi)部，優(yōu)化也遠(yuǎn)未結(jié)束。Informer 問(wèn)的是“注意力里有多少是浪費(fèi)的”，iTransformer 問(wèn)的是“注意力應(yīng)該施加在哪個(gè)維度上”。這些追問(wèn)的本質(zhì)仍然是同一件事：如何讓記憶更高效、更精準(zhǔn)。

但無(wú)論 RNN、CNN 還是 Transformer，它們有兩個(gè)共同的隱含假設(shè)：第一，時(shí)間是離散的格子；第二，同一段記憶只指向一個(gè)確定的未來(lái)。

下一節(jié)，我們將同時(shí)挑戰(zhàn)這兩個(gè)假設(shè)：擴(kuò)散模型讓預(yù)測(cè)從一個(gè)點(diǎn)變成一片概率云，Neural ODE 讓時(shí)間從離散變成連續(xù)。

四、讓記憶擁抱真實(shí)：

擴(kuò)散模型的不確定性與Neural ODE的連續(xù)性

4.1 擴(kuò)散模型：把預(yù)測(cè)變?yōu)楦怕史植?/strong>

確定性預(yù)測(cè)只給一個(gè)點(diǎn)估計(jì)，但真實(shí)世界充滿(mǎn)不確定性，氣象臺(tái)預(yù)測(cè)明天的溫度時(shí)，我們?cè)谑謾C(jī)上看到的也只是一個(gè)分布。擴(kuò)散模型（Diffusion Models）將概率生成的框架引入時(shí)間序列預(yù)測(cè)，輸出可能軌跡的分布。

擴(kuò)散模型（Diffusion Model）并非為時(shí)間序列而生，但它天然契合條件生成任務(wù)。例如經(jīng)典的DDPM（Denoising Diffusion Probabilistic Model，去噪擴(kuò)散概率模型）中，其正向過(guò)程逐步向數(shù)據(jù)注入噪聲，最終將其轉(zhuǎn)化為純隨機(jī)噪聲；而逆向過(guò)程則是一個(gè)“去噪生成”過(guò)程——從純?cè)肼暢霭l(fā)，一步步還原出原始數(shù)據(jù)。DDPM的訓(xùn)練目標(biāo)是，預(yù)測(cè)每一步添加的噪聲，從而還原出從噪聲生成數(shù)據(jù)的過(guò)程[24]。

以TimeGrad為例，它將DDPM與自回歸時(shí)間序列模型結(jié)合，在每個(gè)預(yù)測(cè)時(shí)間步，通過(guò)逐步去噪的過(guò)程生成預(yù)測(cè)值的分布，量化了預(yù)測(cè)的不確定性，對(duì)風(fēng)險(xiǎn)決策（金融、氣象）尤為重要[25]。

4.2 殘差網(wǎng)絡(luò)：一種增加幀數(shù)的方法

在進(jìn)入Neural ODE之前，我們先來(lái)重新解讀一下殘差網(wǎng)絡(luò)所做的工作。殘差網(wǎng)絡(luò)是當(dāng)年一個(gè)突破性的方法，將神經(jīng)網(wǎng)絡(luò)的層數(shù)大幅度提升，殘差網(wǎng)絡(luò)（ResNet）的每一層做的事情是[26]：

網(wǎng)絡(luò)不從頭學(xué)習(xí)下一層的表示，轉(zhuǎn)為學(xué)習(xí)當(dāng)前層應(yīng)該改變多少，即 “殘差”，然后加到當(dāng)前狀態(tài)上。這個(gè)設(shè)計(jì)讓梯度可以通過(guò)恒等捷徑（identity shortcut）無(wú)損地回傳，解決了深層網(wǎng)絡(luò)的梯度消失問(wèn)題，使網(wǎng)絡(luò)可以深達(dá)數(shù)百層。

把ResNet的遞推式重寫(xiě)為以下形式：

左邊是變化量，右邊是一個(gè)關(guān)于當(dāng)前狀態(tài)的函數(shù)，可以發(fā)現(xiàn)這個(gè)公式很像微分方程。

事實(shí)上，從數(shù)學(xué)的角度，連續(xù)微分方程 的歐拉離散化正是：

當(dāng)步長(zhǎng) Δt = 1 時(shí)，就是ResNet的形式。

這意味著：ResNet本質(zhì)上是某個(gè)連續(xù)動(dòng)力系統(tǒng)的歐拉離散化。層數(shù) t 對(duì)應(yīng)時(shí)間，f 對(duì)應(yīng)速度場(chǎng)，ht 對(duì)應(yīng)時(shí)刻 t 的系統(tǒng)狀態(tài)。從這個(gè)角度來(lái)說(shuō)，現(xiàn)在大家耳熟能詳?shù)纳疃染W(wǎng)絡(luò)絕不是在一味地堆疊抽象層次，是在模擬一個(gè)連續(xù)時(shí)間的演化過(guò)程。

這樣自然地引出了一個(gè)問(wèn)題：如果ResNet是離散化的微分方程，為什么不直接解連續(xù)方程？

4.3 Neural ODE：把“層”變成“時(shí)間”

2018年，陳天琦（Tian Qi Chen）等人發(fā)表了《Neural Ordinary Differential Equations》，即著名的Neural ODE（神經(jīng)微分方程）方法[27]，它迅速獲得了大量引用，至今仍是將數(shù)學(xué)與深度學(xué)習(xí)融合得最優(yōu)美的工作之一。如圖9所示，其核心思想極其簡(jiǎn)潔：不要離散的層，直接讓隱藏狀態(tài)按照一個(gè)由神經(jīng)網(wǎng)絡(luò)參數(shù)化的微分方程連續(xù)演化：

其中 fθ 是一個(gè)神經(jīng)網(wǎng)絡(luò)，參數(shù) θ 與時(shí)間 t 無(wú)關(guān)，即每一時(shí)刻參數(shù)共享。給定初始狀態(tài)h(0）（即網(wǎng)絡(luò)的輸入），通過(guò)求解這個(gè)微分方程，得到任意時(shí)刻的狀態(tài)。網(wǎng)絡(luò)的輸出就是h(T），其中 T 是所選擇的終止時(shí)間。該積分過(guò)程可以用任意數(shù)值ODE求解器（如歐拉法、龍格-庫(kù)塔法等）來(lái)計(jì)算：

這個(gè)看似只是把離散層變成連續(xù)積分的操作，一舉解決了ResNet遺留的全部三個(gè)問(wèn)題：

第一，無(wú)窮深度，有限參數(shù)。因?yàn)?fθ 的參數(shù) θ 在所有層（時(shí)刻）之間共享，參數(shù)量不隨深度增長(zhǎng)，可以被當(dāng)作常數(shù)看待。如果把時(shí)間區(qū)間 [0, T] 分得任意細(xì)，相當(dāng)于擁有任意多層，而存儲(chǔ)開(kāi)銷(xiāo)并沒(méi)有增加。

第二，深度自適應(yīng)。ODE求解器（如自適應(yīng)步長(zhǎng)的Dormand-Prince方法）會(huì)根據(jù)動(dòng)力學(xué)變化的劇烈程度自動(dòng)調(diào)整步長(zhǎng)——變化平緩時(shí)大步跳過(guò)（層數(shù)少），變化劇烈時(shí)小步精細(xì)積分（層數(shù)多）。網(wǎng)絡(luò)的有效深度從需要預(yù)先指定超參數(shù)，轉(zhuǎn)為數(shù)據(jù)驅(qū)動(dòng)式。

第三，連續(xù)時(shí)間建模。層這個(gè)離散概念消失了，取而代之的是連續(xù)的時(shí)間 t。有了這個(gè)建模方式，就可以在任意時(shí)刻查詢(xún)系統(tǒng)狀態(tài)——不只是整數(shù)時(shí)間點(diǎn)，也包括 t = 1.2345 這樣的中間時(shí)刻。

圖9：殘差網(wǎng)絡(luò)與ODE 網(wǎng)絡(luò)的核心差異：左側(cè)殘差網(wǎng)絡(luò)通過(guò)有限層離散變換逐步映射狀態(tài)，層數(shù) n 有限，輸入為 x0，輸出為 y，前向計(jì)算產(chǎn)生一系列離散激活值，損失為 L(y)，通過(guò)反向傳播調(diào)整每層參數(shù) Wi；右側(cè) ODE 網(wǎng)絡(luò)則定義了一個(gè)連續(xù)向量場(chǎng) dz/dt = f(z, θ)，狀態(tài)隨時(shí)間連續(xù)演化，理論上對(duì)應(yīng)無(wú)限層，輸入為初始條件 z=z0，輸出為 T 時(shí)刻的解 z(T)，前向計(jì)算產(chǎn)生連續(xù)軌跡 z(t)，損失為 L(z(T)，通過(guò)伴隨方程（Adjoint equation）調(diào)整參數(shù) θ，而非逐層反向傳播。

4.4 伴隨方法：用微分方程替代反向傳播

傳統(tǒng)深度網(wǎng)絡(luò)的反向傳播需要存儲(chǔ)所有中間層的激活值：網(wǎng)絡(luò)越深，內(nèi)存越大。一個(gè)1000層的ResNet，就需要存1000層的中間結(jié)果。Neural ODE是將層數(shù)拓展到了無(wú)窮，那內(nèi)存也要無(wú)窮大嗎？

伴隨靈敏度方法（Adjoint Sensitivity Method）解決了這個(gè)問(wèn)題。它不存儲(chǔ)前向傳播的中間狀態(tài)，只通過(guò)求解一個(gè)“伴隨方程”，即另一個(gè)ODE，來(lái)逆向計(jì)算梯度[28]。

具體地，定義伴隨狀態(tài)（adjoint state）：

即損失函數(shù) L 對(duì)時(shí)刻 t 隱狀態(tài)的梯度。可以證明，a(t) 滿(mǎn)足另一個(gè)微分方程：

訓(xùn)練過(guò)程變成：

1. 前向：用ODE求解器從h(0) 積分到h(T)，計(jì)算損失 。

2. 反向：從終止條件 出發(fā)，逆向積分伴隨方程（從 t = T 到 t = 0），同時(shí)累積參數(shù)梯度 。

整個(gè)過(guò)程不需要存儲(chǔ)前向計(jì)算的中間狀態(tài)，內(nèi)存開(kāi)銷(xiāo)也變?yōu)?strong>常數(shù)級(jí)，不隨深度增加。

圖10：伴隨方法的求解過(guò)程

這其實(shí)代表著，反向傳播本身就是一個(gè)動(dòng)力學(xué)過(guò)程。伴隨變量a(t) 的逆向演化，與前向的隱狀態(tài)演化形成一對(duì)耦合的正向-反向微分方程。整個(gè)訓(xùn)練完全脫離了層的概念，變?yōu)榻鈹?shù)學(xué)方程。

4.5 Neural ODE做時(shí)間序列預(yù)測(cè)

Neural ODE天然適合時(shí)間序列預(yù)測(cè)，因?yàn)闀r(shí)間序列本身就是動(dòng)力學(xué)系統(tǒng)在時(shí)間上留下的軌跡。

回到我們?nèi)牡暮诵娜蝿?wù)：給定觀測(cè)序列 {s0,s1, …,sn}，對(duì)應(yīng)時(shí)刻 {t0, t1, …, tn}（可以不均勻采樣），學(xué)習(xí)驅(qū)動(dòng)系統(tǒng)演化的動(dòng)力學(xué)。用Neural ODE來(lái)做，步驟異常自然：

1. 構(gòu)建方程：

2. 初始條件：s(t0) =s0（觀測(cè)的初始狀態(tài)）

3. 前向積分：用ODE求解器從s0 出發(fā)，積分到所有觀測(cè)時(shí)刻，得到預(yù)測(cè)值

4. 訓(xùn)練：最小化

訓(xùn)練完成后，fθ 就是學(xué)到的動(dòng)力學(xué)法則。

這與前面章節(jié)的離散方法有一個(gè)本質(zhì)區(qū)別：Neural ODE在連續(xù)時(shí)間上定義動(dòng)力學(xué)，可以在任意時(shí)刻給出預(yù)測(cè)——包括觀測(cè)時(shí)刻之間的位置。傳統(tǒng)的RNN或Transformer要求等間隔采樣，遇到缺失值需要額外處理；Neural ODE天然適配不等間距數(shù)據(jù)，因?yàn)镺DE求解器本來(lái)就可以在任意時(shí)刻停下來(lái)讀取狀態(tài)。這對(duì)醫(yī)療數(shù)據(jù)（病人不同時(shí)間回訪）、天文觀測(cè)（非均勻采樣）等真實(shí)場(chǎng)景尤為重要。

更深層地看，fθ 不只是一個(gè)預(yù)測(cè)器——它是一個(gè)可積分的動(dòng)力學(xué)方程。有了它，你不僅能預(yù)測(cè)未來(lái)（給任意新的初始條件 積分得到完整軌跡），還能做傳統(tǒng)動(dòng)力系統(tǒng)分析：尋找不動(dòng)點(diǎn)、分析穩(wěn)定性、研究分岔行為。這些工具過(guò)去只能用在人類(lèi)手寫(xiě)的方程上，現(xiàn)在可以用在數(shù)據(jù)驅(qū)動(dòng)學(xué)到的模型上了。

原論文中有一個(gè)經(jīng)典的驗(yàn)證實(shí)驗(yàn)：用Neural ODE學(xué)習(xí)洛倫茲系統(tǒng)——混沌理論中最著名的“蝴蝶效應(yīng)”模型[27]：

參數(shù)取 時(shí)，系統(tǒng)呈現(xiàn)混沌行為。實(shí)驗(yàn)只給Neural ODE看部分維度的觀測(cè)值，讓它學(xué)習(xí)完整的三維動(dòng)力學(xué)——結(jié)果成功重構(gòu)了洛倫茲吸引子的形態(tài)。這與動(dòng)力系統(tǒng)理論中的Takens嵌入定理相呼應(yīng)：部分維度的時(shí)間延遲序列足以重構(gòu)整個(gè)系統(tǒng)的拓?fù)浣Y(jié)構(gòu)。Neural ODE不僅學(xué)會(huì)了這種重構(gòu)，還學(xué)到了連續(xù)時(shí)間的演化規(guī)律。

后續(xù)工作進(jìn)一步拓展了這條路線：ODE-RNN將RNN的離散狀態(tài)更新替換為ODE連續(xù)演化，在觀測(cè)時(shí)刻之間用ODE插值，在觀測(cè)時(shí)刻用RNN式的跳躍更新；Latent ODE則結(jié)合變分自編碼器，將時(shí)序數(shù)據(jù)編碼到連續(xù)潛空間中執(zhí)行ODE演化，能夠處理不規(guī)則采樣和缺失值嚴(yán)重的數(shù)據(jù)[29-30]。

4.6 Neural ODE的問(wèn)題

Neural ODE發(fā)表后，學(xué)界的反應(yīng)兩極分化：理論家贊美其優(yōu)雅，實(shí)踐者抱怨其難用，它反映出連續(xù)與離散之間存在一道真實(shí)的鴻溝。

痛點(diǎn)一：訓(xùn)練不穩(wěn)定。伴隨方法的數(shù)值誤差需要極其謹(jǐn)慎地控制——ODE求解器的容忍度（tolerance）設(shè)得太松，梯度會(huì)失真甚至發(fā)散；設(shè)得太緊，計(jì)算成本飆升。低階求解器（如歐拉法、中點(diǎn)法）可能導(dǎo)致不收斂，高階求解器（如Dormand-Prince 5階方法）效果更好，但每步需要多次評(píng)估 fθ（四階龍格-庫(kù)塔每步要算4次），遠(yuǎn)比ResNet的單次前向傳播昂貴。

痛點(diǎn)二：表現(xiàn)不總是更好。在CIFAR-10等標(biāo)準(zhǔn)圖像分類(lèi)任務(wù)上，調(diào)好的ResNet反而優(yōu)于Neural ODE。

ResNet不是Neural ODE的拙劣近似；恰恰相反，Neural ODE是ResNet的一個(gè)特殊極限。當(dāng)ResNet的層數(shù)趨近無(wú)窮、同時(shí)每層的改變趨近于零，才得到Neural ODE。

ResNet每層有自己獨(dú)立的參數(shù)，可以自由適應(yīng)不同深度的特征提取需求；Neural ODE所有層共享參數(shù) θ，意味著速度場(chǎng) fθ 不隨時(shí)間改變——這是一個(gè)很強(qiáng)的假設(shè)。更根本地，ODE的解是同胚映射（homeomorphism），軌跡不會(huì)交叉，這意味著Neural ODE不能改變數(shù)據(jù)的拓?fù)浣Y(jié)構(gòu)，比如把兩個(gè)分離的點(diǎn)簇合并到同一區(qū)域，但很多分類(lèi)任務(wù)恰恰需要這種操作。

后續(xù)改進(jìn)從多個(gè)方向縮小了這道鴻溝：

• Augmented Neural ODE（2019）：把隱狀態(tài)h(t) 擴(kuò)展到更高維空間，加入額外的虛擬維度作為緩沖區(qū)，打破了拓?fù)湎拗啤壽E在高維空間中可以繞行而不必交叉[28]。

• GRU-ODE（2019）：將ODE與門(mén)控循環(huán)單元結(jié)合，在觀測(cè)時(shí)刻之間用ODE連續(xù)演化，在觀測(cè)時(shí)刻用GRU式的離散跳躍更新——兼得連續(xù)建模和離散修正的優(yōu)勢(shì)[31]。

• Stable Neural ODE（2021）：通過(guò)約束 fθ 的雅可比矩陣特征值，保證系統(tǒng)穩(wěn)定性，避免長(zhǎng)時(shí)間積分中的梯度爆炸[32]。

真實(shí)系統(tǒng)經(jīng)常是不可完全預(yù)知的，相同的大氣初始狀態(tài)可能演化出晴天也可能演化出暴雨，相同的市場(chǎng)信號(hào)可能導(dǎo)向漲也可能導(dǎo)向跌。擴(kuò)散模型把預(yù)測(cè)的輸出變?yōu)榱苏麄€(gè)可能軌跡的分布。

真實(shí)的系統(tǒng)往往也是連續(xù)變化的，前面所有方法都把時(shí)間切成等間隔的幀：t=1, 2, 3, …，模型實(shí)際上學(xué)到的是幀與幀之間的跳躍規(guī)則。Neural ODE 把離散的層替換成連續(xù)的微分方程，學(xué)習(xí)到的是速度場(chǎng)本身。

更深層地看，連續(xù)和離散不是非此即彼的對(duì)立面，它們是同一條光譜的兩端。ResNet 是 Neural ODE 的離散極限，Neural ODE 是 ResNet 的連續(xù)極限；擴(kuò)散模型的去噪過(guò)程本身就是一個(gè)離散化的隨機(jī)微分方程。最好的實(shí)踐往往在兩端之間取得平衡：ODE-RNN 在觀測(cè)時(shí)刻之間用連續(xù)流，在觀測(cè)時(shí)刻用離散跳躍；Augmented Neural ODE 用高維空間繞開(kāi)連續(xù)流的拓?fù)湎拗啤?/p>

但還有一個(gè)問(wèn)題沒(méi)有解決——成本。

每一個(gè)新系統(tǒng)，都需要從頭收集數(shù)據(jù)、從頭訓(xùn)練模型。氣象要訓(xùn)氣象的，金融要訓(xùn)金融的，腦電要訓(xùn)腦電的。有沒(méi)有可能，一個(gè)模型見(jiàn)過(guò)足夠多的動(dòng)力學(xué)系統(tǒng)之后，面對(duì)全新的系統(tǒng)，不需要任何訓(xùn)練就能給出靠譜的預(yù)測(cè)？

這就是第五階段要回答的問(wèn)題：讓記憶跨越系統(tǒng)的邊界。

五、讓記憶跨越系統(tǒng)：

當(dāng)一個(gè)范式能表示一切

上述所有方法都有一個(gè)共同的局限：它們是為特定系統(tǒng)訓(xùn)練的，每換一個(gè)場(chǎng)景，就需要重新收集數(shù)據(jù)、設(shè)計(jì)架構(gòu)、訓(xùn)練模型。而基礎(chǔ)模型的思路則完全不同：先在海量異質(zhì)數(shù)據(jù)上預(yù)訓(xùn)練一個(gè)通用模型，再針對(duì)具體任務(wù)做少量微調(diào)甚至零樣本推理。這正是大語(yǔ)言模型驗(yàn)證過(guò)的路徑，GPT不是為某一個(gè)文本任務(wù)訓(xùn)練的，它在所有文本上完成預(yù)訓(xùn)練，然后能做翻譯、摘要、問(wèn)答等各種任務(wù)。

2024-2025年，大模型的風(fēng)終于吹到了時(shí)間序列與動(dòng)力學(xué)預(yù)測(cè)的陣營(yíng)。

Time GPT率先提出了時(shí)間序列領(lǐng)域的零樣本預(yù)訓(xùn)練范式。不同領(lǐng)域的時(shí)序數(shù)據(jù)（天氣、股市、電力負(fù)荷、心率等）在模式層面存在類(lèi)似的結(jié)構(gòu)，例如趨勢(shì)、季節(jié)性、周期、突發(fā)擾動(dòng)等，這其實(shí)就是一種通用的范式。Time GPT在大規(guī)模跨領(lǐng)域時(shí)序數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，學(xué)習(xí)通用的時(shí)序模式，以實(shí)現(xiàn)需微調(diào)或僅需極少樣本即可完成新的預(yù)測(cè)任務(wù)上。初步實(shí)驗(yàn)顯示，Time GPT在多個(gè)未見(jiàn)過(guò)的預(yù)測(cè)任務(wù)上的零樣本性能，已經(jīng)達(dá)到甚至超過(guò)了傳統(tǒng)模型的全監(jiān)督訓(xùn)練水平[33]。

LASS-ODE（Large-Scale Small ODE）的做法則不同，它認(rèn)為時(shí)序大模型應(yīng)當(dāng)顯式建模連續(xù)時(shí)間動(dòng)力學(xué)，但全神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的Neural ODE在極大規(guī)模上訓(xùn)練困難。LASS-ODE的設(shè)計(jì)思想是，將時(shí)間域分段，每段上用線性的、可閉式求解的小型ODE系統(tǒng)來(lái)近似局部動(dòng)力學(xué)，并用專(zhuān)家混合（MoE）架構(gòu)讓不同段用不同的ODE系數(shù)，整體由一個(gè)大模型的路由網(wǎng)絡(luò)協(xié)調(diào)。這種方法兼具Neural ODE的連續(xù)時(shí)間表達(dá)能力和Transformer的可擴(kuò)展訓(xùn)練優(yōu)勢(shì)[34]。

而Aurora則代表了地球系統(tǒng)基礎(chǔ)模型的愿景，它用一個(gè)統(tǒng)一的模型同時(shí)處理：

• 氣象預(yù)報(bào)（溫度、氣壓、風(fēng)速）

• 空氣質(zhì)量（PM2.5、臭氧、NO2濃度）

• 海洋動(dòng)力（海浪高度、有效波周期）

• 極端事件（臺(tái)風(fēng)軌跡、強(qiáng)度）

Aurora的架構(gòu)融合了多模態(tài)輸入編碼（衛(wèi)星圖像、地面站點(diǎn)時(shí)序、再分析數(shù)據(jù)）、時(shí)空Transformer主干、以及物理約束的輸出頭層。在微軟的內(nèi)部評(píng)估中，Aurora在多個(gè)任務(wù)上超越專(zhuān)門(mén)訓(xùn)練的單一模型，展示了“單一模型學(xué)好地球系統(tǒng)”的可行性[35]。

雖然這些研究尚在早期，但它指向一個(gè)誘人的可能性：未來(lái)，我們可能不再為每個(gè)復(fù)雜系統(tǒng)單獨(dú)建模，向一個(gè)時(shí)間序列大模型提問(wèn)，它便自動(dòng)推理出演化軌跡。

結(jié)語(yǔ)：記憶的下一站在哪？

回到開(kāi)頭的問(wèn)題：如何從復(fù)雜系統(tǒng)的觀測(cè)數(shù)據(jù)中，自動(dòng)學(xué)習(xí)其演化規(guī)律？

經(jīng)典方法和早期深度學(xué)習(xí)本質(zhì)上都在做快照預(yù)測(cè)，給定前幾幀，猜下一幀是什么。Neural ODE之后，思路變了：我們開(kāi)始學(xué)習(xí)幀與幀之間的連續(xù)運(yùn)動(dòng)規(guī)律，預(yù)測(cè)只是這個(gè)規(guī)律在時(shí)間上的自然展開(kāi)。

但這也暴露了一個(gè)更根本的問(wèn)題：真實(shí)世界到底是連續(xù)的還是離散的？

物理學(xué)家說(shuō)，時(shí)空在普朗克尺度下可能是離散的。計(jì)算機(jī)科學(xué)家說(shuō)，我們只能用離散的算法模擬連續(xù)。而Neural ODE的自適應(yīng)步長(zhǎng)求解器似乎暗示了一種折中的答案：不必執(zhí)著于徹底連續(xù)或徹底離散，可以在兩者之間自由切換——在問(wèn)題需要的地方精細(xì)積分，在問(wèn)題簡(jiǎn)單的地方大步跳過(guò)。

如果真實(shí)世界的動(dòng)力學(xué)是隨機(jī)的——股票市場(chǎng)的波動(dòng)、湍流中的渦旋——確定性的ODE還適用嗎？更遠(yuǎn)地來(lái)說(shuō)，是否能構(gòu)建一個(gè)模型，自動(dòng)決定何時(shí)該離散跳躍、何時(shí)該連續(xù)流動(dòng)、何時(shí)該引入隨機(jī)性？這已經(jīng)超越了任何單一框架，進(jìn)入了元學(xué)習(xí)與通用智能的領(lǐng)域。

或許，答案不在模型里，在對(duì)世界的理解里。

參考文獻(xiàn)

[1]Takens, F. (1981). Detecting strange attractors in turbulence. In D. Rand & L. S. Young (Eds.), Dynamical Systems and Turbulence, Warwick 1980 (Vol. 898, pp. 366–381). Springer.

[2]Koopman, B. O. (1931). Hamiltonian systems and transformation in Hilbert space. Proceedings of the National Academy of Sciences, 17(5), 315–318.

[3]Schmid, P. J. (2010). Dynamic mode decomposition of numerical and experimental data. Journal of fluid mechanics, 656, 5-28.

[4]Williams, M. O., Kevrekidis, I. G., & Rowley, C. W. (2015). A data–driven approximation of the Koopman operator: Extending dynamic mode decomposition. Journal of Nonlinear Science, 25(6), 1307–1346.

[5]Jaeger, H. (2001). The “echo state” approach to analysing and training recurrent neural networks-with an erratum note. Bonn, Germany: German national research center for information technology gmd technical report, 148(34), 13.

[6]Maass, W., Natschl?ger, T., & Markram, H. (2002). Real-time computing without stable states: A new framework for neural computation based on perturbations. Neural computation, 14(11), 2531-2560.

[7]Luko?evi?ius, M., & Jaeger, H. (2009). Reservoir computing approaches to recurrent neural network training. Computer science review, 3(3), 127-149.

[8]Gonon, L., & Ortega, J. P. (2019). Reservoir computing universality with stochastic inputs. IEEE transactions on neural networks and learning systems, 31(1), 100-112.

[9]Jaeger, H., & Haas, H. (2004). Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication. Science, 304(5667), 78-80.

[10]Pathak, J., Lu, Z., Hunt, B. R., Girvan, M., & Ott, E. (2017). Using machine learning to replicate chaotic attractors and calculate Lyapunov exponents from data. Chaos: An Interdisciplinary Journal of Nonlinear Science, 27(12).

[11]Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211.

[12]Bengio, Y., Simard, P., & Frasconi, P. (1994). Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks, 5(2), 157–166.

[13]Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

[14]Gers, F. A., Schmidhuber, J., & Cummins, F. (2000). Learning to forget: Continual prediction with LSTM. Neural Computation, 12(10), 2451–2471.

[15]Cho, K., van Merri?nboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder–decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) (pp. 1724–1734). Association for Computational Linguistics.

[16]Pascanu, R., Mikolov, T., & Bengio, Y. (2013). On the difficulty of training recurrent neural networks. In Proceedings of the 30th International Conference on Machine Learning (ICML) (pp. 1310–1318). PMLR.

[17]Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, ?., & Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems 30 (NIPS 2017) (pp. 5998–6008).

[18]Peng, B., Alcaide, E., Anthony, Q., Albalak, A., Arcadinho, S., Biderman, S., ... & Wang, C. (2023). RWKV: Reinventing RNNs for the Transformer era. In Findings of the Association for Computational Linguistics: EMNLP 2023 (pp. 14048–14077). Association for Computational Linguistics.

[19]Gu, A., & Dao, T. (2023). Mamba: Linear-time sequence modeling with selective state spaces. (arXiv:2312.00752). arXiv.

[20]Oord, A. van den, Dieleman, S., Zen, H., Simonyan, K., Vinyals, O., Graves, A., ... & Kavukcuoglu, K. (2016). WaveNet: A generative model for raw audio. (arXiv:1609.03499). arXiv.

[21]Wang, Y., Chen, Q., Sun, M., Kang, C., & Xia, Q. (2019). A deep ensemble learning method for short-term load forecasting. IEEE Transactions on Power Systems, 34(6), 4757–4767.

[22]Zhou, H., Zhang, S., Peng, J., Zhang, S., Li, J., Xiong, H., & Zhang, W. (2021). Informer: Beyond efficient transformer for long sequence time-series forecasting. In Proceedings of the 35th AAAI Conference on Artificial Intelligence (Vol. 35, No. 12, pp. 11106–11115). AAAI Press.

[23]Liu, Y., Hu, T., Zhang, H., Wu, H., Wang, S., Ma, L., & Long, M. (2024). iTransformer: Inverted transformers are effective for time series forecasting. In The Twelfth International Conference on Learning Representations (ICLR 2024).

[24]Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. In Advances in Neural Information Processing Systems 33 (NeurIPS 2020) (pp. 6840–6851).

[25]Rasul, K., Seward, C., Schuster, I., & Vollgraf, R. (2021). Autoregressive denoising diffusion models for multivariate probabilistic time series forecasting. In Proceedings of the 38th International Conference on Machine Learning (ICML 2021) (pp. 8857–8868). PMLR.

[26]He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).

[27]Chen, T. Q., Rubanova, Y., Bettencourt, J., & Duvenaud, D. K. (2018). Neural ordinary differential equations. In Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (pp. 6571–6583).

[28]Pontryagin, L. S., Boltyanskii, V. G., Gamkrelidze, R. V., & Mishchenko, E. F. (1962). The mathematical theory of optimal processes. Interscience Publishers.

[29]Dupont, E., Doucet, A., & Teh, Y. W. (2019). Augmented neural ODEs. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (pp. 3140–3150).

[30]Rubanova, Y., Chen, R. T. Q., & Duvenaud, D. K. (2019). Latent ordinary differential equations for irregularly-sampled time series. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (pp. 5320–5330)

[31]De Brouwer, E., Simm, J., Arany, A., & Moreau, Y. (2019). GRU-ODE-Bayes: Continuous modeling of sporadically-observed time series. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (pp. 7377–7388).

[32]Massaroli, S., Poli, M., Park, J., Yamashita, A., & Asama, H. (2020). Dissecting neural ODEs. In Advances in Neural Information Processing Systems 33 (NeurIPS 2020) (pp. 3952–3963).

[33]Garza, A., & Mergenthaler-Canseco, M. (2023). TimeGPT-1. arXiv preprint, arXiv:2310.03589.

[34]Li, H., Xiao, C., Mai, L., Weng, Y., & Blasch, E. (2025). LASS-ODE: Scaling ODE computations to connect foundation models with dynamical physical systems. arXiv preprint, arXiv:2602.01009.

[35]Bodnar, C., Bruinsma, W. P., Lucic, A., Stanley, M., Allen, A., Brandstetter, J., Garvan, P., Riechert, M., Weyn, J. A., Dong, H., Gupta, J. K., Thambiratnam, K., Archibald, A. T., Wu, C.-C., Heider, E., Welling, M., Turner, R. E., & Perdikaris, P. (2025). A foundation model for the Earth system. Nature.

參考文獻(xiàn)可上下滑動(dòng)查看

來(lái)源：集智俱樂(lè)部

編輯：zzz

轉(zhuǎn)載內(nèi)容僅代表作者觀點(diǎn)

不代表中科院物理所立場(chǎng)

如需轉(zhuǎn)載請(qǐng)聯(lián)系原公眾號(hào)