不只是預測：動力學學習中「記憶」的五重境界

導語

從Takens嵌入定理到Koopman算子，從RNN、Transformer到Neural ODE與TimeGPT，時間序列預測的發展史本質上是一部“機器學習記憶”的進化史。近日，集智學園張江老師系統梳理了動力學學習的發展脈絡，揭示了一個貫穿半個世紀的核心問題：機器究竟該如何表示過去，才能預測未來？文章以“記憶”為主線，串聯動力系統理論、深度學習與基礎模型的發展歷程，展示了人工智能如何從數據中自動發現復雜系統的演化規律，并逐步邁向跨領域、跨系統的通用預測能力。

關鍵詞：動力學學習、時間序列預測、RNN、Transformer、擴散模型、復雜系統

付雯欣丨作者

引言：從“拍腦袋建模”到“數據驅動發現”，

我們用記憶讓機器學會預測復雜世界

預測，是人類最古老也最前沿的智力活動。遠古先民觀察星象預測四季，牛頓用萬有引力定律預測行星軌道，現代科學家用超級計算機預測氣候變化，這些預測的本質是相同的：從推斷出的已知模型推演未知的未來。

然而，隨著觀測手段的爆炸式發展（如衛星遙感、腦電記錄、物聯網傳感器），我們往往擁有海量時間序列數據，卻對背后的動力學機制知之甚少。于是問題被顛倒過來：給定觀測數據，能否自動推斷出系統的演化規則？

這就是動力學學習——讓機器從觀測數據中，自動發現系統演化的規則。

2025年，這個方向迎來了兩個標志性時刻。微軟的 Aurora 模型用一個統一框架同時預測臺風軌跡、空氣污染和海浪高度，論文登上《Nature》。與此同時，TimeGPT 把千變萬化的時間序列預測任務塞進一個預訓練模型，實現了零樣本預測。

這些驚艷的模型是半個世紀以來一代代研究者反復追問同一個問題的結果：

“現在”到底要被記成什么樣子，“未來”才能從中自然地長出來？

這個問題聽起來抽象，但它就是整條演進路線的暗線。本文把它叫做“對記憶的追問”，即模型（或數學框架）用什么方式來表示過去和現在的狀態（處理記憶），又用什么方式來預測未來（運用記憶），并把這個過程總結為以下五個階段，對應文章的五個章節。

一、記憶有用嗎？——Takens 定理：

過去的觀測里藏著完整的世界

1.1 正問題與反問題

要理解動力學學習在做什么，首先要分清兩個方向相反的問題。

正問題是傳統的思路：已知系統的演化方程，給定初始狀態，求未來的軌跡。比如天體物理中已知行星的運轉規律，給定今天的位置和速度，就能算出明天在哪里。數學上寫為：

其中 是系統在時刻 t 的狀態向量（可能包含 n 個節點或變量的值），F 是已知的演化規則。把 s0 代入 F，得到 s1；再代入，得到 s2——如此遞推，整條軌跡就出來了。

反問題是現實世界里更常見的情形：F 是未知的。我們只能觀測到系統運行產生的數據，任務是從這些數據中，把隱藏的 F 學出來。

學到的 就是原始系統的替代模型（surrogate model）。有了它，我們就能做預測（給定歷史推未來）、模擬（在不同初始條件下看系統如何演化）、甚至優化和控制（找到最優的干預策略）。

這里有一個關鍵的思維轉換：我們的最終目標是學到 F，但實現手段是構造一個監督學習問題——預測下一個時間步。

訓練一個參數為 θ 的模型 fθ，讓它能夠從上一時刻的狀態預測下一時刻的狀態。如果預測足夠準確，那么 fθ 就是對真實動力學 F 的一個好的近似。

圖1：正問題（從右向左）是從模型推數據，反問題（從左向右）是從數據推模型

圖1是對正反問題的一個圖示，表面上我們在做預測，實際上我們在做的是建模，學到動力學規律才是目的。

1.2 從一步到多步：隱變量與長程記憶

前面的例子做的實際上是一步預測，而一步預測的假設是馬爾可夫性：下一時刻只依賴于當前時刻。但真實系統往往不滿足這個假設。原因在于隱變量（latent variables）。所觀測到的變量可能只是系統狀態的一部分——還有一些維度是看不見的，這些更可能是真實的原因或者影響力更強的變量，類似于我們能很容易地觀察到其他人的外在行為表現，但不知道他腦子里在想什么，也不知道這是如何演化而來的。

這些看不見的維度在暗中影響著系統的演化，體現在可觀測數據上，就是長程記憶性：今天的狀態不僅依賴于昨天，還可能依賴于一周前、一個月前。這時候一步預測就不夠了，需要構造多步預測問題：

輸入變為過去 T 步的歷史，輸出則是未來 τ 步的預測。這個框架更貼近真實場景，也是后續Transformer等架構大顯身手的舞臺。

1.3 Takens定理：用歷史重構相空間

隱變量的存在看似讓問題無解——觀測不到完整狀態，怎么可能學到真實動力學？Takens定理[1]（嵌入定理）給出了一個令人驚喜的理論：一個變量的歷史包含了其他隱變量的信息。

例如，今天的溫度、昨天的溫度、前天的溫度——這些延遲值里隱含了氣壓、濕度等沒直接測量的變量的信息。Takens定理保證了這種信息的充分性，如圖2所示，Takens定理指出，即使只能觀測到系統的一個標量輸出 x(t)，只要把它的時延嵌入（delay embedding）排成向量：

只要觀測函數足夠“通用”，即當嵌入維度 d 足夠大時（具體地， 2n"},"displayMode":"inline","viewType":"inline"}}">d > 2n，其中 n 是系統的真實維度），這個重構的相空間與原始相空間拓撲等價，或者通俗點說，雖然只盯著一個變量看，但如果你看得夠久，這個變量留存的記憶足以讓你重構出整個系統的動力學結構。

圖2：Takens定理的核心思想：僅通過洛倫茲系統一個維度（如x(t）的時間序列，經過時間延遲嵌入，即可與完整三維系統（x(t), y(t), z(t）的吸引子建立微分同胚關系。

*注：微分同胚是指兩個光滑流形之間存在一個雙射映射，使得該映射及其逆映射都是光滑（無限次可微）的，從而表明這兩個流形具有相同的光滑結構。可以理解為，兩個形狀不僅能被像橡皮泥一樣捏來捏去變成對方（拓撲同胚），而且整個變形過程平滑順滑、沒有任何尖角褶皺和撕裂——就像把甜甜圈柔順地揉成咖啡杯，沒有粗暴地折出棱角一樣。

這意味著：動力學信息并不神秘，它就藏在時間序列的時序關聯之中。這一思想為后來的所有時間序列預測方法奠定了哲學基礎——過去包含著未來的種子。

1.4 本節小結

這一節回答了一個最基本的問題：僅憑觀測數據，學習動力學規律這件事，在理論上到底可不可能？

答案是肯定的，但是記憶的存在讓事情看起來棘手了：我們觀測到的可能只是冰山一角，真正驅動系統的變量藏在水面之下，今天的天氣不只取決于昨天，可能還取決于一周前大洋上空的氣壓分布。

Takens 定理在這個看似絕望的地方給出了希望：你不需要看到所有變量，只需要看一個變量看得足夠久。時間延遲本身就是一面鏡子，能把隱藏的維度映射出來，過去的記憶是重構完整世界的原材料。

但是，Takens 定理只保證了記憶有用，從有用到能用，中間還隔著一整套方法論。這就像有人告訴你“這座山里一定有金礦”，但沒給你地圖，也沒給你鏟子。

下一節，我們就去找第一把提取記憶的鏟子：Koopman 算子會告訴我們，存在一種特殊的“眼鏡”，戴上它之后，整個非線性系統看起來就像線性的，而線性系統的預測，不過就是做矩陣乘法而已。

二、怎么提取記憶？——Koopman 算子：

換一副眼鏡，讓彎路變直路

2.1 Koopman算子：把非線性變線性

Takens告訴我們可以重構相空間，但重構之后，問題仍然棘手：真實系統幾乎都是非線性的，這意味著線性方法不能直接用。

但Koopman算子理論（1931年提出，近年被重新發現）[2]提供了一條繞行路線：在函數空間中，非線性動力學可以被一個線性算子描述。關于Koopman算子，蘭岳恒老師在集智學園有更深入的介紹，感興趣的小伙伴可以進一步了解：https://pattern.swarma.org/study_group_issue/747。

Koopman算子提供了一個天才的迂回策略：非線性系統在有限維空間中難以處理，但如果把它提升到無限維的函數空間，它的演化可以變成線性的。具體來說，Koopman算子定義在系統的觀測函數上。假設系統狀態 x 按照非線性規則 xt+1 = F(xt) 演化。對于任意一個觀測函數 g（比如“取溫度值的平方”），Koopman算子 定義為：

它把函數 g 在當前狀態的值，映射為 g 在下一時刻狀態的值。即使在有限維空間 F是非線性的，作為函數空間上的算子是線性的。而線性問題其實就是矩陣問題，有成熟的數學工具（特征值分解、譜分析）可以用，這就是它的價值所在。

然而，這個方法的代價是函數空間變為了無限維。在實際計算中，我們必須挑選一組有限的基函數來近似Koopman算子。這正是DMD及其變種做的事情。

2.2 DMD與eDMD：從數據中近似Koopman

理論上Koopman算子是無窮維的，實際計算中需要有限維近似。動態模態分解（Dynamic Mode Decomposition, DMD）就是做這件事的數值方法。如圖3所示，它的思路極其簡潔：給定時序數據矩陣 和 ，是前者在時間上一步的平移），然后尋找一個線性算子A使得Y≈AX。最小二乘解 （?表示偽逆）就是對Koopman算子的有限維近似[3]。

通過數值方法求解A的特征值和特征向量，可以揭示了系統的主導動態模態——哪些模式在增長、哪些在衰減、振蕩頻率是多少。比如在流體力學中，DMD的模態恰好對應流場中的渦脫落頻率；在腦電信號分析中，DMD模態對應不同腦區的節律活動。

圖3：DMD從時間序列數據構建矩陣 X 和 X'，通過計算 A = X' X? 學習線性動力學算子，然后利用 xk+1= A xk 進行未來狀態預測。

后來的擴展DMD（eDMD，Extended DMD）則引入非線性基函數 ψ(s)，不直接在原始狀態上做DMD，而先把狀態通過一組非線性基函數（如多項式、徑向基函數、或神經網絡）提升到高維特征空間，這本質上是在用“核技巧”的思路逼近Koopman算子[4]。

2.3 儲備池計算：固定隨機網絡的奇跡

如果說Koopman方法是從“升維線性化”的數學路徑逼近動力學，儲備池計算（Reservoir Computing）則從“高維隨機表示”的工程路徑給出了答案。如圖4所示，它的核心思想也很簡單：用一個固定的、隨機初始化的遞歸神經網絡作為“儲備池”，只訓練最后的輸出層[5-7]。

因為Koopman算子理論實際上是一種高維隨機投影，所以直覺上來說，一個足夠大的、具有適當耗散性質的隨機遞歸網絡，天然形成了一個“隨機特征庫”，輸入信號在高維空間中被展開成多樣化的瞬態響應模式，然后線性組合就能逼近任意的非線性函數[8]。

圖4：儲備池計算的基本架構：輸入信號 xin 進入一個高維、隨機連接且固定的循環儲池（Reservoir），其內部狀態 x1, x2, ..., xN 通過線性加權求和得到輸出 ，只有輸出層的權重 wi 需要訓練。

儲備池的隨機遞歸連接為輸入信號提供了豐富的非線性變換和記憶能力。只要儲備池足夠大、連接足夠豐富，它就能把輸入信號“展開”到一個高維空間中，使得簡單的線性輸出層就能完成復雜的預測任務。同時，儲備池方法因其訓練極快（只優化輸出層）、適合混沌系統（隨機性質本身具備混沌系統的某些特性）而長盛不衰。Lorenz系統、Kuramoto-Sivashinsky方程等經典混沌系統上，儲備池能以極低的計算成本實現超越許多深度模型的長期預測能力[9-10]。

2.4 本節小結

既然 Takens 定理保證了有用的記憶信息就藏在歷史觀測里，那我們怎么把它提取出來？答案是一個優雅的迂回策略：不要硬碰非線性，換一副眼鏡，讓彎路變成直路。

Koopman算子的核心洞見就是這樣：一個在有限維空間中扭曲翻轉的非線性系統，如果你愿意跳到一個更高維（甚至無窮維）的函數空間中去觀察它，它的演化就變成了線性的。

DMD和eDMD是這套理論的數值實現，用有限維基函數近似無窮維 Koopman 算子，儲備池計算則從一個完全不同的方向抵達了相似的目的地，即不必精心設計基函數，使用一個隨機初始化的大規模遞歸網絡來提供足夠豐富的高維展開空間。

但這條路有一個天花板：基函數需要人來選擇。當系統足夠復雜（幾百個變量、高度非線性的耦合、多尺度的時間結構），沒有人能保證哪組基函數是對的。

下一節，我們將介紹如何讓模型學會自主決定怎么記憶。

三、讓模型自己學會記憶：

RNN、CNN與Transformer

隨著觀測手段的爆炸式發展，我們可以擁有的數據越來越多，衛星圖像、腦電信號、傳感器讀數，就算是最頂尖的科學家，也根本來不及為每一個新系統重新設計觀測函數。這引出了一個大膽的問題：能不能讓模型自己學怎么記憶？

這其實就是反向傳播所做的事情，梯度下降讓模型能夠“自主”學習如何壓縮信息、如何遺忘噪聲、如何提取規律。最樸素的方法是用前饋神經網絡直接擬合映射 ，把過去時刻的值作為輸入，直接回歸下一個時刻。只要神經元足夠多，它可以逼近任意函數。但問題在于，該方法沒有時序結構的先驗知識，它對 t-1 和 t-10 時刻的輸入一視同仁，參數量隨著歷史窗口長度急劇膨脹。

3.1 RNN：從隱式記憶中學習

循環神經網絡（RNN）的出現，讓動力學學習第一次“有了記憶”。如圖5所示，不同于前饋網絡，RNN 隱層單元之間存在遞歸連接，使得網絡能夠保存歷史信息。對于時間序列預測，RNN 可以像微分方程一樣遞歸地更新狀態[11]：

圖5：RNN結構（示例）：編碼部分隱藏狀態 h0 到 h4 沿時間步遞歸傳遞，每個時刻接收輸入 x1 到 x4，并通過共享參數實現序列信息的記憶與傳遞。

隱狀態就像一個記憶單元，理論上可以把過去所有時間步的信息積累起來。但RNN有一個根本的結構性瓶頸：它是順序計算的——必須先算h1，才能算h2，再算h3。這使得訓練無法并行化，在長序列上效率低下[12]。

另一個問題是記憶的衰減。早期RNN在反向傳播時，梯度會指數級消失或爆炸。1997年，Hochreiter和Schmidhuber提出了LSTM，用門控機制（輸入門、遺忘門、輸出門）讓網絡自己決定什么時候記、什么時候忘[13–14]，后來有學者提出其簡化版，即GRU[15]，這些變體讓RNN能記住上百步之前的依賴。

RNN家族的最新成員，比如RWKV和Mamba，正在挑戰Transformer的統治地位。RWKV用注意力機制的形式配合RNN的結構，設計了一種可以像RNN一樣遞歸推理（線性復雜度）、同時可以像Transformer一樣并行訓練（通過時間維度的前綴和計算）的模型，這是對“記憶”的又一次重新定義[16-19]。

3.2 CNN：把時間當空間處理

卷積神經網絡（CNN）對記憶的理解是局部的信息對于判斷該局部的模式更有幫助，乍看之下，CNN是圖像數據的專屬。

一維卷積的操作很直觀：一個長度為 k 的卷積核 w，在時間序列上滑動，每一步計算內積：

通過堆疊多層卷積，感受野指數級增長。第 L 層的每個神經元，理論上能看到 kL 個原始時間步——既能保持局部性，又能覆蓋長程依賴。

這種trick在周期性數據上很適用，可以把周期的規律升維處理，如圖6所示。比如電力負荷數據，它一般以24小時為周期，把多個周期“上下堆疊”成一張二維圖像：橫軸是時間（小時），縱軸是周期（天數），然后直接用二維CNN處理，就可以很直觀地處理不同周期內同一時間段的模式（如每天傍晚），這本質上是把時間周期性轉化成了空間周期性[21]。

圖6：CNN對時間序列建模的兩種方式：左邊為一維CNN直接處理原始序列，右邊展通過Reshape將一維序列轉化為二維數組，從而用二維CNN同時捕捉周期內模式與周期間的依賴關系。

CNN和RNN的選擇，本質上是并行性與記憶長度的權衡。CNN可以完全并行訓練（每個時間步的卷積計算獨立），但感受也受層數限制；RNN理論上能記住無限遠，但必須順序計算。這個權衡，直到Transformer才被打破。

3.3 Transformer：讓所有位置直接對話

Transformer的自注意力機制從根本上改變了序列建模的方式，它讓序列中任意兩個時間步之間直接建立聯系[17]：

每個時刻都能“看到”所有其他時刻，長程依賴不再需要通過中間狀態間接傳遞。

但Transformer在時間序列預測上會有幾個問題。

第一個問題是復雜度。標準自注意力的計算量是序列長度的平方，如輸入一千步，就需要百萬級的注意力分數。Informer論文發現，這些分數呈現“長尾分布”：極少數幾對位置貢獻了絕大部分注意力，絕大多數接近于零，白白浪費算力。

Informer使用ProbSparse自注意力來降低計算量[22]，通過一個采樣策略，只保留最重要的少數鍵值對，將復雜度從 O(L2） 降到 O(L log L）。配合生成式解碼器一次輸出長序列，Informer讓長序列預測成為可能。

圖7：Informer模型中的嵌入與注意力模塊：輸入序列在時間步 t 和 t + Dx 處經過嵌入（Embedding）和一維卷積處理，隨后通過多頭注意力機制以及多個注意力塊（如Attention Block 2）來捕捉長序列中的依賴關系，實現對長時間序列的高效預測。

第二個問題則更隱蔽。標準Transformer處理多變量時間序列時，默認的做法是把每個時間步的所有變量拼成一個token，即第t秒的“溫度、濕度、風速”和第t+1秒的“溫度、濕度、風速”互相關注。溫度和濕度在每一秒都被重新打包成同一個向量，模型不知道哪一維是溫度、哪一維是濕度，變量之間的因果關系（例如溫度上升導致濕度下降）只能通過時間步之間的注意力間接傳遞。

iTransformer方法做了一個看似“大逆不道”的改進：把Transformer的傳統用法倒過來[23]。如圖8所示，原來的方法是把“每個時間步的所有變量”當作一個token，iTransformer改為把“每個變量的整個時間序列”當作一個token。于是注意力從時間維轉移了變量維，模型直接學習溫度序列和濕度序列之間的關系，而不是第3秒和第4秒之間的關系。每個變量的時序模式，在嵌入空間中保留完整，由另一個分支（前饋網絡）處理。這個反轉讓iTransformer能夠更好地建模多變量時序中的變量間相關性和變量內時序模式，在多個長序列預測基準上取得了顯著提升。

圖8：標準Transformer與iTransformer在處理多變量時間序列時的核心架構差異：傳統Transformer按時間步切分Token，iTransformer按變量切分Token，將注意力從“時間依賴”轉向“變量依賴”。

3.4 本節小結

從Koopman到RNN、CNN、Transformer，深度學習終于讓記憶從數學構造變成了可學習的對象，梯度下降賦予了模型一種能力：通過反復試錯，自主學會什么該記、什么該忘、怎么組織。

對于如何在有限的計算資源下，讓記憶覆蓋盡可能遠的過去，這三種深度學習方法給出了不同的權衡方案。RNN 選擇了深度（時間步越多，傳遞越深），CNN 選擇了寬度（層越多，視野越大），Transformer 選擇了直接連接（犧牲計算量換取更少的信息衰減）。

而 Informer 和 iTransformer 的出現，說明即使在 Transformer 內部，優化也遠未結束。Informer 問的是“注意力里有多少是浪費的”，iTransformer 問的是“注意力應該施加在哪個維度上”。這些追問的本質仍然是同一件事：如何讓記憶更高效、更精準。

但無論 RNN、CNN 還是 Transformer，它們有兩個共同的隱含假設：第一，時間是離散的格子；第二，同一段記憶只指向一個確定的未來。

下一節，我們將同時挑戰這兩個假設：擴散模型讓預測從一個點變成一片概率云，Neural ODE 讓時間從離散變成連續。

四、讓記憶擁抱真實：

擴散模型的不確定性與Neural ODE的連續性

4.1 擴散模型：把預測變為概率分布

確定性預測只給一個點估計，但真實世界充滿不確定性，氣象臺預測明天的溫度時，我們在手機上看到的也只是一個分布。擴散模型（Diffusion Models）將概率生成的框架引入時間序列預測，輸出可能軌跡的分布。

擴散模型（Diffusion Model）并非為時間序列而生，但它天然契合條件生成任務。例如經典的DDPM（Denoising Diffusion Probabilistic Model，去噪擴散概率模型）中，其正向過程逐步向數據注入噪聲，最終將其轉化為純隨機噪聲；而逆向過程則是一個“去噪生成”過程——從純噪聲出發，一步步還原出原始數據。DDPM的訓練目標是，預測每一步添加的噪聲，從而還原出從噪聲生成數據的過程[24]。

以TimeGrad為例，它將DDPM與自回歸時間序列模型結合，在每個預測時間步，通過逐步去噪的過程生成預測值的分布，量化了預測的不確定性，對風險決策（金融、氣象）尤為重要[25]。

4.2 殘差網絡：一種增加幀數的方法

在進入Neural ODE之前，我們先來重新解讀一下殘差網絡所做的工作。殘差網絡是當年一個突破性的方法，將神經網絡的層數大幅度提升，殘差網絡（ResNet）的每一層做的事情是[26]：

網絡不從頭學習下一層的表示，轉為學習當前層應該改變多少，即 “殘差”，然后加到當前狀態上。這個設計讓梯度可以通過恒等捷徑（identity shortcut）無損地回傳，解決了深層網絡的梯度消失問題，使網絡可以深達數百層。

把ResNet的遞推式重寫為以下形式：

左邊是變化量，右邊是一個關于當前狀態的函數，可以發現這個公式很像微分方程。

事實上，從數學的角度，連續微分方程 的歐拉離散化正是：

當步長 Δt = 1 時，就是ResNet的形式。

這意味著：ResNet本質上是某個連續動力系統的歐拉離散化。層數 t 對應時間，f 對應速度場，ht 對應時刻 t 的系統狀態。從這個角度來說，現在大家耳熟能詳的深度網絡絕不是在一味地堆疊抽象層次，是在模擬一個連續時間的演化過程。

這樣自然地引出了一個問題：如果ResNet是離散化的微分方程，為什么不直接解連續方程？

4.3 Neural ODE：把“層”變成“時間”

2018年，陳天琦（Tian Qi Chen）等人發表了《Neural Ordinary Differential Equations》，即著名的Neural ODE（神經微分方程）方法[27]，它迅速獲得了大量引用，至今仍是將數學與深度學習融合得最優美的工作之一。如圖9所示，其核心思想極其簡潔：不要離散的層，直接讓隱藏狀態按照一個由神經網絡參數化的微分方程連續演化：

其中 fθ 是一個神經網絡，參數 θ 與時間 t 無關，即每一時刻參數共享。給定初始狀態h(0）（即網絡的輸入），通過求解這個微分方程，得到任意時刻的狀態。網絡的輸出就是h(T），其中 T 是所選擇的終止時間。該積分過程可以用任意數值ODE求解器（如歐拉法、龍格-庫塔法等）來計算：

這個看似只是把離散層變成連續積分的操作，一舉解決了ResNet遺留的全部三個問題：

第一，無窮深度，有限參數。因為 fθ 的參數 θ 在所有層（時刻）之間共享，參數量不隨深度增長，可以被當作常數看待。如果把時間區間 [0, T] 分得任意細，相當于擁有任意多層，而存儲開銷并沒有增加。

第二，深度自適應。ODE求解器（如自適應步長的Dormand-Prince方法）會根據動力學變化的劇烈程度自動調整步長——變化平緩時大步跳過（層數少），變化劇烈時小步精細積分（層數多）。網絡的有效深度從需要預先指定超參數，轉為數據驅動式。

第三，連續時間建模。層這個離散概念消失了，取而代之的是連續的時間 t。有了這個建模方式，就可以在任意時刻查詢系統狀態——不只是整數時間點，也包括 t = 1.2345 這樣的中間時刻。

圖9：殘差網絡與ODE 網絡的核心差異：左側殘差網絡通過有限層離散變換逐步映射狀態，層數 n 有限，輸入為 x0，輸出為 y，前向計算產生一系列離散激活值，損失為 L(y)，通過反向傳播調整每層參數 Wi；右側 ODE 網絡則定義了一個連續向量場 dz/dt = f(z, θ)，狀態隨時間連續演化，理論上對應無限層，輸入為初始條件 z=z0，輸出為 T 時刻的解 z(T)，前向計算產生連續軌跡 z(t)，損失為 L(z(T)，通過伴隨方程（Adjoint equation）調整參數 θ，而非逐層反向傳播。

4.4 伴隨方法：用微分方程替代反向傳播

傳統深度網絡的反向傳播需要存儲所有中間層的激活值：網絡越深，內存越大。一個1000層的ResNet，就需要存1000層的中間結果。Neural ODE是將層數拓展到了無窮，那內存也要無窮大嗎？

伴隨靈敏度方法（Adjoint Sensitivity Method）解決了這個問題。它不存儲前向傳播的中間狀態，只通過求解一個“伴隨方程”，即另一個ODE，來逆向計算梯度[28]。

具體地，定義伴隨狀態（adjoint state）：

即損失函數 L 對時刻 t 隱狀態的梯度。可以證明，a(t) 滿足另一個微分方程：

訓練過程變成：

1. 前向：用ODE求解器從h(0) 積分到h(T)，計算損失 。

2. 反向：從終止條件 出發，逆向積分伴隨方程（從 t = T 到 t = 0），同時累積參數梯度 。

整個過程不需要存儲前向計算的中間狀態，內存開銷也變為常數級，不隨深度增加。

圖10：伴隨方法的求解過程

這其實代表著，反向傳播本身就是一個動力學過程。伴隨變量a(t) 的逆向演化，與前向的隱狀態演化形成一對耦合的正向-反向微分方程。整個訓練完全脫離了層的概念，變為解數學方程。

4.5 Neural ODE做時間序列預測

Neural ODE天然適合時間序列預測，因為時間序列本身就是動力學系統在時間上留下的軌跡。

回到我們全文的核心任務：給定觀測序列 {s0,s1, …,sn}，對應時刻 {t0, t1, …, tn}（可以不均勻采樣），學習驅動系統演化的動力學。用Neural ODE來做，步驟異常自然：

1. 構建方程：

2. 初始條件：s(t0) =s0（觀測的初始狀態）

3. 前向積分：用ODE求解器從s0 出發，積分到所有觀測時刻，得到預測值

4. 訓練：最小化

訓練完成后，fθ 就是學到的動力學法則。

這與前面章節的離散方法有一個本質區別：Neural ODE在連續時間上定義動力學，可以在任意時刻給出預測——包括觀測時刻之間的位置。傳統的RNN或Transformer要求等間隔采樣，遇到缺失值需要額外處理；Neural ODE天然適配不等間距數據，因為ODE求解器本來就可以在任意時刻停下來讀取狀態。這對醫療數據（病人不同時間回訪）、天文觀測（非均勻采樣）等真實場景尤為重要。

更深層地看，fθ 不只是一個預測器——它是一個可積分的動力學方程。有了它，你不僅能預測未來（給任意新的初始條件 積分得到完整軌跡），還能做傳統動力系統分析：尋找不動點、分析穩定性、研究分岔行為。這些工具過去只能用在人類手寫的方程上，現在可以用在數據驅動學到的模型上了。

原論文中有一個經典的驗證實驗：用Neural ODE學習洛倫茲系統——混沌理論中最著名的“蝴蝶效應”模型[27]：

參數取 時，系統呈現混沌行為。實驗只給Neural ODE看部分維度的觀測值，讓它學習完整的三維動力學——結果成功重構了洛倫茲吸引子的形態。這與動力系統理論中的Takens嵌入定理相呼應：部分維度的時間延遲序列足以重構整個系統的拓撲結構。Neural ODE不僅學會了這種重構，還學到了連續時間的演化規律。

后續工作進一步拓展了這條路線：ODE-RNN將RNN的離散狀態更新替換為ODE連續演化，在觀測時刻之間用ODE插值，在觀測時刻用RNN式的跳躍更新；Latent ODE則結合變分自編碼器，將時序數據編碼到連續潛空間中執行ODE演化，能夠處理不規則采樣和缺失值嚴重的數據[29-30]。

4.6 Neural ODE的問題

Neural ODE發表后，學界的反應兩極分化：理論家贊美其優雅，實踐者抱怨其難用，它反映出連續與離散之間存在一道真實的鴻溝。

痛點一：訓練不穩定。伴隨方法的數值誤差需要極其謹慎地控制——ODE求解器的容忍度（tolerance）設得太松，梯度會失真甚至發散；設得太緊，計算成本飆升。低階求解器（如歐拉法、中點法）可能導致不收斂，高階求解器（如Dormand-Prince 5階方法）效果更好，但每步需要多次評估 fθ（四階龍格-庫塔每步要算4次），遠比ResNet的單次前向傳播昂貴。

痛點二：表現不總是更好。在CIFAR-10等標準圖像分類任務上，調好的ResNet反而優于Neural ODE。

ResNet不是Neural ODE的拙劣近似；恰恰相反，Neural ODE是ResNet的一個特殊極限。當ResNet的層數趨近無窮、同時每層的改變趨近于零，才得到Neural ODE。

ResNet每層有自己獨立的參數，可以自由適應不同深度的特征提取需求；Neural ODE所有層共享參數 θ，意味著速度場 fθ 不隨時間改變——這是一個很強的假設。更根本地，ODE的解是同胚映射（homeomorphism），軌跡不會交叉，這意味著Neural ODE不能改變數據的拓撲結構，比如把兩個分離的點簇合并到同一區域，但很多分類任務恰恰需要這種操作。

后續改進從多個方向縮小了這道鴻溝：

• Augmented Neural ODE（2019）：把隱狀態h(t) 擴展到更高維空間，加入額外的虛擬維度作為緩沖區，打破了拓撲限制——軌跡在高維空間中可以繞行而不必交叉[28]。

• GRU-ODE（2019）：將ODE與門控循環單元結合，在觀測時刻之間用ODE連續演化，在觀測時刻用GRU式的離散跳躍更新——兼得連續建模和離散修正的優勢[31]。

• Stable Neural ODE（2021）：通過約束 fθ 的雅可比矩陣特征值，保證系統穩定性，避免長時間積分中的梯度爆炸[32]。

真實系統經常是不可完全預知的，相同的大氣初始狀態可能演化出晴天也可能演化出暴雨，相同的市場信號可能導向漲也可能導向跌。擴散模型把預測的輸出變為了整個可能軌跡的分布。

真實的系統往往也是連續變化的，前面所有方法都把時間切成等間隔的幀：t=1, 2, 3, …，模型實際上學到的是幀與幀之間的跳躍規則。Neural ODE 把離散的層替換成連續的微分方程，學習到的是速度場本身。

更深層地看，連續和離散不是非此即彼的對立面，它們是同一條光譜的兩端。ResNet 是 Neural ODE 的離散極限，Neural ODE 是 ResNet 的連續極限；擴散模型的去噪過程本身就是一個離散化的隨機微分方程。最好的實踐往往在兩端之間取得平衡：ODE-RNN 在觀測時刻之間用連續流，在觀測時刻用離散跳躍；Augmented Neural ODE 用高維空間繞開連續流的拓撲限制。

但還有一個問題沒有解決——成本。

每一個新系統，都需要從頭收集數據、從頭訓練模型。氣象要訓氣象的，金融要訓金融的，腦電要訓腦電的。有沒有可能，一個模型見過足夠多的動力學系統之后，面對全新的系統，不需要任何訓練就能給出靠譜的預測？

這就是第五階段要回答的問題：讓記憶跨越系統的邊界。

五、讓記憶跨越系統：

當一個范式能表示一切

上述所有方法都有一個共同的局限：它們是為特定系統訓練的，每換一個場景，就需要重新收集數據、設計架構、訓練模型。而基礎模型的思路則完全不同：先在海量異質數據上預訓練一個通用模型，再針對具體任務做少量微調甚至零樣本推理。這正是大語言模型驗證過的路徑，GPT不是為某一個文本任務訓練的，它在所有文本上完成預訓練，然后能做翻譯、摘要、問答等各種任務。

2024-2025年，大模型的風終于吹到了時間序列與動力學預測的陣營。

Time GPT率先提出了時間序列領域的零樣本預訓練范式。不同領域的時序數據（天氣、股市、電力負荷、心率等）在模式層面存在類似的結構，例如趨勢、季節性、周期、突發擾動等，這其實就是一種通用的范式。Time GPT在大規模跨領域時序數據上進行預訓練，學習通用的時序模式，以實現需微調或僅需極少樣本即可完成新的預測任務上。初步實驗顯示，Time GPT在多個未見過的預測任務上的零樣本性能，已經達到甚至超過了傳統模型的全監督訓練水平[33]。

LASS-ODE（Large-Scale Small ODE）的做法則不同，它認為時序大模型應當顯式建模連續時間動力學，但全神經網絡實現的Neural ODE在極大規模上訓練困難。LASS-ODE的設計思想是，將時間域分段，每段上用線性的、可閉式求解的小型ODE系統來近似局部動力學，并用專家混合（MoE）架構讓不同段用不同的ODE系數，整體由一個大模型的路由網絡協調。這種方法兼具Neural ODE的連續時間表達能力和Transformer的可擴展訓練優勢[34]。

而Aurora則代表了地球系統基礎模型的愿景，它用一個統一的模型同時處理：

• 氣象預報（溫度、氣壓、風速）

• 空氣質量（PM2.5、臭氧、NO2濃度）

• 海洋動力（海浪高度、有效波周期）

• 極端事件（臺風軌跡、強度）

Aurora的架構融合了多模態輸入編碼（衛星圖像、地面站點時序、再分析數據）、時空Transformer主干、以及物理約束的輸出頭層。在微軟的內部評估中，Aurora在多個任務上超越專門訓練的單一模型，展示了“單一模型學好地球系統”的可行性[35]。

雖然這些研究尚在早期，但它指向一個誘人的可能性：未來，我們可能不再為每個復雜系統單獨建模，向一個時間序列大模型提問，它便自動推理出演化軌跡。

結語：記憶的下一站在哪？

回到開頭的問題：如何從復雜系統的觀測數據中，自動學習其演化規律？

經典方法和早期深度學習本質上都在做快照預測，給定前幾幀，猜下一幀是什么。Neural ODE之后，思路變了：我們開始學習幀與幀之間的連續運動規律，預測只是這個規律在時間上的自然展開。

但這也暴露了一個更根本的問題：真實世界到底是連續的還是離散的？

物理學家說，時空在普朗克尺度下可能是離散的。計算機科學家說，我們只能用離散的算法模擬連續。而Neural ODE的自適應步長求解器似乎暗示了一種折中的答案：不必執著于徹底連續或徹底離散，可以在兩者之間自由切換——在問題需要的地方精細積分，在問題簡單的地方大步跳過。

如果真實世界的動力學是隨機的——股票市場的波動、湍流中的渦旋——確定性的ODE還適用嗎？更遠地來說，是否能構建一個模型，自動決定何時該離散跳躍、何時該連續流動、何時該引入隨機性？這已經超越了任何單一框架，進入了元學習與通用智能的領域。

或許，答案不在模型里，在對世界的理解里。

參考文獻

[1]Takens, F. (1981). Detecting strange attractors in turbulence. In D. Rand & L. S. Young (Eds.), Dynamical Systems and Turbulence, Warwick 1980 (Vol. 898, pp. 366–381). Springer.

[2]Koopman, B. O. (1931). Hamiltonian systems and transformation in Hilbert space. Proceedings of the National Academy of Sciences, 17(5), 315–318.

[3]Schmid, P. J. (2010). Dynamic mode decomposition of numerical and experimental data. Journal of fluid mechanics, 656, 5-28.

[4]Williams, M. O., Kevrekidis, I. G., & Rowley, C. W. (2015). A data–driven approximation of the Koopman operator: Extending dynamic mode decomposition. Journal of Nonlinear Science, 25(6), 1307–1346.

[5]Jaeger, H. (2001). The “echo state” approach to analysing and training recurrent neural networks-with an erratum note. Bonn, Germany: German national research center for information technology gmd technical report, 148(34), 13.

[6]Maass, W., Natschl?ger, T., & Markram, H. (2002). Real-time computing without stable states: A new framework for neural computation based on perturbations. Neural computation, 14(11), 2531-2560.

[7]Luko?evi?ius, M., & Jaeger, H. (2009). Reservoir computing approaches to recurrent neural network training. Computer science review, 3(3), 127-149.

[8]Gonon, L., & Ortega, J. P. (2019). Reservoir computing universality with stochastic inputs. IEEE transactions on neural networks and learning systems, 31(1), 100-112.

[9]Jaeger, H., & Haas, H. (2004). Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication. Science, 304(5667), 78-80.

[10]Pathak, J., Lu, Z., Hunt, B. R., Girvan, M., & Ott, E. (2017). Using machine learning to replicate chaotic attractors and calculate Lyapunov exponents from data. Chaos: An Interdisciplinary Journal of Nonlinear Science, 27(12).

[11]Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14(2), 179–211.

[12]Bengio, Y., Simard, P., & Frasconi, P. (1994). Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks, 5(2), 157–166.

[13]Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.

[14]Gers, F. A., Schmidhuber, J., & Cummins, F. (2000). Learning to forget: Continual prediction with LSTM. Neural Computation, 12(10), 2451–2471.

[15]Cho, K., van Merri?nboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder–decoder for statistical machine translation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP) (pp. 1724–1734). Association for Computational Linguistics.

[16]Pascanu, R., Mikolov, T., & Bengio, Y. (2013). On the difficulty of training recurrent neural networks. In Proceedings of the 30th International Conference on Machine Learning (ICML) (pp. 1310–1318). PMLR.

[17]Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, ?., & Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems 30 (NIPS 2017) (pp. 5998–6008).

[18]Peng, B., Alcaide, E., Anthony, Q., Albalak, A., Arcadinho, S., Biderman, S., ... & Wang, C. (2023). RWKV: Reinventing RNNs for the Transformer era. In Findings of the Association for Computational Linguistics: EMNLP 2023 (pp. 14048–14077). Association for Computational Linguistics.

[19]Gu, A., & Dao, T. (2023). Mamba: Linear-time sequence modeling with selective state spaces. (arXiv:2312.00752). arXiv.

[20]Oord, A. van den, Dieleman, S., Zen, H., Simonyan, K., Vinyals, O., Graves, A., ... & Kavukcuoglu, K. (2016). WaveNet: A generative model for raw audio. (arXiv:1609.03499). arXiv.

[21]Wang, Y., Chen, Q., Sun, M., Kang, C., & Xia, Q. (2019). A deep ensemble learning method for short-term load forecasting. IEEE Transactions on Power Systems, 34(6), 4757–4767.

[22]Zhou, H., Zhang, S., Peng, J., Zhang, S., Li, J., Xiong, H., & Zhang, W. (2021). Informer: Beyond efficient transformer for long sequence time-series forecasting. In Proceedings of the 35th AAAI Conference on Artificial Intelligence (Vol. 35, No. 12, pp. 11106–11115). AAAI Press.

[23]Liu, Y., Hu, T., Zhang, H., Wu, H., Wang, S., Ma, L., & Long, M. (2024). iTransformer: Inverted transformers are effective for time series forecasting. In The Twelfth International Conference on Learning Representations (ICLR 2024).

[24]Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. In Advances in Neural Information Processing Systems 33 (NeurIPS 2020) (pp. 6840–6851).

[25]Rasul, K., Seward, C., Schuster, I., & Vollgraf, R. (2021). Autoregressive denoising diffusion models for multivariate probabilistic time series forecasting. In Proceedings of the 38th International Conference on Machine Learning (ICML 2021) (pp. 8857–8868). PMLR.

[26]He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).

[27]Chen, T. Q., Rubanova, Y., Bettencourt, J., & Duvenaud, D. K. (2018). Neural ordinary differential equations. In Advances in Neural Information Processing Systems 31 (NeurIPS 2018) (pp. 6571–6583).

[28]Pontryagin, L. S., Boltyanskii, V. G., Gamkrelidze, R. V., & Mishchenko, E. F. (1962). The mathematical theory of optimal processes. Interscience Publishers.

[29]Dupont, E., Doucet, A., & Teh, Y. W. (2019). Augmented neural ODEs. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (pp. 3140–3150).

[30]Rubanova, Y., Chen, R. T. Q., & Duvenaud, D. K. (2019). Latent ordinary differential equations for irregularly-sampled time series. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (pp. 5320–5330)

[31]De Brouwer, E., Simm, J., Arany, A., & Moreau, Y. (2019). GRU-ODE-Bayes: Continuous modeling of sporadically-observed time series. In Advances in Neural Information Processing Systems 32 (NeurIPS 2019) (pp. 7377–7388).

[32]Massaroli, S., Poli, M., Park, J., Yamashita, A., & Asama, H. (2020). Dissecting neural ODEs. In Advances in Neural Information Processing Systems 33 (NeurIPS 2020) (pp. 3952–3963).

[33]Garza, A., & Mergenthaler-Canseco, M. (2023). TimeGPT-1. arXiv preprint, arXiv:2310.03589.

[34]Li, H., Xiao, C., Mai, L., Weng, Y., & Blasch, E. (2025). LASS-ODE: Scaling ODE computations to connect foundation models with dynamical physical systems. arXiv preprint, arXiv:2602.01009.

[35]Bodnar, C., Bruinsma, W. P., Lucic, A., Stanley, M., Allen, A., Brandstetter, J., Garvan, P., Riechert, M., Weyn, J. A., Dong, H., Gupta, J. K., Thambiratnam, K., Archibald, A. T., Wu, C.-C., Heider, E., Welling, M., Turner, R. E., & Perdikaris, P. (2025). A foundation model for the Earth system. Nature.

參考文獻可上下滑動查看

「面向復雜系統的人工智能」課程

從數據到規律的距離，正在被人工智能方法一步步縮短，而這個距離最終能縮短到什么程度，仍然是一個開放的、激動人心的問題：是否能從數據中自動發現牛頓定律級別的簡潔規律，而不只是一個黑箱的預測器？理解”黑箱“、發現簡潔之美，需要一些系統性、跨學科、解釋本質的視角和觀點。

集智俱樂部、集智學園創始人，北京師范大學張江教授開設了，致力于打破學科壁壘，將復雜系統與人工智能深度融合。從神經網絡到因果推斷，從世界模型到多尺度建模，甚至包含最前沿的“氛圍編程（Vibe Coding）”實戰，帶你親手落地AI項目。學完這門課，你將有能力讀懂論文、理解思想、選對工具、動手實踐。

詳情請見：

1.

2.

3.

4.

5.

6.

7.