冪律分布的數(shù)學(xué)機制--隨機過程 v.s 優(yōu)化原理｜陶如意

導(dǎo)語

冪律分布是自然界和社會中一種普遍存在的統(tǒng)計模式，但其起源機制一直是科學(xué)界爭論的焦點。本文追溯并對比了兩位思想巨擘——赫伯特·西蒙（Herbert Simon）和伯努瓦·曼德布羅特（Benoit Mandelbrot）——對此提出的兩種根本對立的解釋范式。西蒙的“優(yōu)先連接”模型代表了基于隨機過程、歷史依賴和微觀因果的生成論視角；而曼德布羅特的“信息優(yōu)化”模型則代表了基于全局約束、均衡態(tài)和目的論的設(shè)計論視角。本文將通過數(shù)學(xué)形式精確闡述兩種模型的內(nèi)核，并深入探討其在哲學(xué)層面上的本質(zhì)差異，最終論證這兩種看似矛盾的理論在現(xiàn)代復(fù)雜性思維中如何共存并相互補充。

關(guān)鍵詞：隨機過程、歷史依賴、微觀因果、生成論、全局約、均衡態(tài)、目的論

陶如意丨作者

無處不在的冪律

這場爭論的核心是齊普夫定律（Zipf's Law），一種特殊的冪律分布。齊夫定律最初由語言學(xué)家喬治·金斯利·齊普夫（George Kingsley Zipf）在20世紀40年代推廣，他發(fā)現(xiàn)，在任何足夠長的語料庫中，將單詞按其出現(xiàn)頻率排序，則一個單詞的頻率與其排名（rank）成反比。例如，最常見的詞的頻率大約是第二常見詞的兩倍，是第三常見詞的三倍，以此類推。用數(shù)學(xué)形式表示就是：

其中 f(r) 是排名為 r 的單詞的頻率，指數(shù) α 約等于1。這種“排名-頻率”的冪律關(guān)系后來在城市人口、公司規(guī)模、網(wǎng)站訪問量、個人財富等眾多社會經(jīng)濟現(xiàn)象中被反復(fù)發(fā)現(xiàn)，引起了科學(xué)家們的極大興趣：為什么如此不同系統(tǒng)會涌現(xiàn)出如此相似的統(tǒng)計規(guī)律？這種簡潔的數(shù)學(xué)形式背后，是否隱藏著深刻的原理？對于冪律的起源，赫伯特·西蒙和伯努瓦·曼德布羅特在上世紀中葉提出了兩種截然不同的解釋，這場曠日持久的智力交鋒，至今仍在塑造我們對復(fù)雜世界的理解。

西蒙模型：歷史、機遇與“富者愈富”

赫伯特·西蒙是一位典型的大雜家，是經(jīng)濟學(xué)家、計算機科學(xué)家、心理學(xué)家、社會學(xué)家。1975年圖靈獎得主，同時也是1978年諾貝爾經(jīng)濟學(xué)獎得主，在AI教父Hinton之前，西蒙是歷史上唯一一位同時獲得諾貝爾獎和圖靈獎的跨界天才。他是“有限理性”（Bounded Rationality）和人工智能的先驅(qū)。

赫伯特·亞歷山大·西蒙，美國經(jīng)濟學(xué)家、政治科學(xué)家、認知心理學(xué)家、和計算機科學(xué)家（詳情請見集智百科https://wiki.swarma.org/index.php/%E8%B5%AB%E4%BC%AF%E7%89%B9%C2%B7%E4%BA%9A%E5%8E%86%E5%B1%B1%E5%A4%A7%C2%B7%E8%A5%BF%E8%92%99_Herbert_Alexander_Simon）

1955年，西蒙發(fā)表了著名論文《On a Class of Skew Distribution Functions》，提出了一個模型漂亮地給出了齊普夫定律的解釋機制，后來被稱為西蒙模型（Simon Model）或者優(yōu)先鏈接（Preferential Attachment）。

西蒙的解釋是一個關(guān)于過程（Process）的故事。他認為，冪律分布是特定隨機過程隨時間演化的必然產(chǎn)物。他的模型，是一個動態(tài)的、具有歷史依賴性的生成模型。讓我們以城市人口增長為例來精確描述這個過程。假設(shè)我們有一個不斷增長的城市系統(tǒng)：

1. 新成員的加入： 在每個時間步 t，一個“新公民”進入系統(tǒng)。

2. 定居決策：

• 以一個固定的、很小的概率 p，該公民會選擇建立一個全新的城市（即一個規(guī)模為1的新類別）。

• 以概率 1-p，該公民會選擇遷入一個已經(jīng)存在的城市。

優(yōu)先連接法則： 當選擇遷入舊城市時，選擇某個特定城市的概率，正比于該城市已有的人口規(guī)模。

這里我們稍微給出更嚴格的數(shù)學(xué)形式，但跳過這部分也不影響對全文的定性理解。

令Nk(t)為在時間t時，人口規(guī)模為k的城市數(shù)量。在下一個時間步t+1，總?cè)丝趶膖 變?yōu)?t+1。考慮一個規(guī)模為k的城市，其人口發(fā)生變化的可能性有兩種：

• 人口增加（k→k+1）： 一個新公民遷入。發(fā)生這種情況的概率正比于該城市的人口k和系統(tǒng)中所有這樣城市的數(shù)量Nk(t)。總概率為

• 原始的西蒙模型并沒有考慮人口減少的情況

可以構(gòu)建主方程來刻畫不同規(guī)模的城市數(shù)量變化：

其中 δk1 是 Kronecker delta函數(shù)，用來區(qū)分K=1（新城市的誕生）和K>1（舊城市的人口變化）的兩種情況。

西蒙證明了：當 t→∞ 時，人口為 k 的城市所占的比例 滿足：f(k)∝k?α，其中指數(shù)。特別地，當新城市出現(xiàn)的概率 p 非常小時（p→0），α→1。而這恰好完美解釋了齊普夫定律。

西蒙模型的本質(zhì)主要是三點：

• 歷史依賴性（Path Dependence）： 一個城市早期的偶然成功會自我加強，使其在未來吸引更多資源。系統(tǒng)的最終形態(tài)嚴重依賴于其演化路徑。

• 微觀因果（Micro-causality）： 模型提供了一個清晰的、一步一步的因果鏈條：個體基于局部信息（城市規(guī)模）做出決策，宏觀的冪律分布是這些微觀行為累積涌現(xiàn)的結(jié)果。

• 隨機性中的結(jié)構(gòu)： 隨機性并非完全均勻。它被“優(yōu)先連接”這一規(guī)則所結(jié)構(gòu)化，創(chuàng)造了不平等

曼德布羅特模型：效率、約束與“最優(yōu)設(shè)計”

無獨有偶，伯努瓦·曼德布羅特 (Benoit Mandelbrot）也是一位涉獵廣泛的大雜家，他是數(shù)學(xué)家，同時也是IBM研究員，而他最具有代表性的貢獻，就是提出了“分形”這一概念，被稱為“分形幾何學(xué)之父”。貫穿他研究生涯的思想核心是尺度不變性（Scale Invariance）和優(yōu)化（Optimization）。所以和西蒙不同，曼德布羅特傾向于從一個全局的、靜態(tài)的、甚至帶有目的論色彩的視角來尋找普適的數(shù)學(xué)結(jié)構(gòu)。

伯努瓦·曼德爾布羅，分形幾何創(chuàng)始人

曼德布羅特在他的博士論文和隨后的論文《An Informational Theory of the Statistical Structure of Language》中，首次對齊夫定律提出了一個基于優(yōu)化的解釋。他將語言視為一個通信系統(tǒng)，并假設(shè)其演化遵循“效率最大化”原則。

具體來說，他假設(shè)人類在交流時，會下意識地在信息傳遞量最大化和編碼/解碼成本最小化之間取得平衡。他構(gòu)建了一個模型，其中單詞的“成本”與其長度或發(fā)音難度有關(guān)。然后，他使用拉格朗日乘子法進行約束優(yōu)化，發(fā)現(xiàn)在給定平均成本的約束下，要使信息熵（即信息量）最大化，單詞的頻率分布必須是冪律分布。這個解釋非常優(yōu)雅，它將齊夫定律歸因于最大化通信效率的結(jié)果。

所以，與西蒙的過程論不同，曼德布羅特的解釋是一個關(guān)于狀態(tài)（State）的故事。他認為，冪律分布是系統(tǒng)在特定約束下達到最優(yōu)均衡態(tài)的標志。他的經(jīng)典模型將語言視為一個經(jīng)過優(yōu)化的通信代碼。

同樣的，我們在這里給出更嚴格的數(shù)學(xué)形式化：

假設(shè)一個詞匯表包含 M 個單詞，第 i 個單詞的使用頻率為 pi，其“成本”（如長度、發(fā)音難度等）為 Ci。曼德布羅特的目標是：在總平均成本固定的約束下，最大化語言的信息熵。

1. 信息熵 (H): 衡量信息量或不確定性。

2. 成本約束 (C): 總平均成本為一個常數(shù)C0

3. 概率歸一化約束:

這是一個經(jīng)典的約束優(yōu)化問題，可以使用拉格朗日乘子法解決。我們構(gòu)造拉格朗日函數(shù) L：

對任意 pi 求偏導(dǎo)并令其為零 ，可得：

這表明，最優(yōu)頻率 pi 隨成本 Ci 指數(shù)衰減。這還不是冪律。曼德布羅特接著做了一個關(guān)鍵假設(shè)：成本與排名（rank）的關(guān)系。他認為，一個高效的編碼系統(tǒng)會把最低的成本分配給最常用的詞。他假設(shè)成本 Ci 與其頻率排名 ri 的對數(shù)成正比，即Ci∝log?ri。這個假設(shè)本身也源于信息論中的編碼思想。將 Cr=Alog?r+B（r為排名）代入，我們得到：

令α=λA，我們就得到了一個標準的冪律分布：

同樣的，我們可以總結(jié)一下曼德布羅特模型的本質(zhì)：

• 目的論（Teleology）： 模型假設(shè)系統(tǒng)存在一個“目標”——效率最大化。分布形式是實現(xiàn)該目標的結(jié)果，而非無意識的演化產(chǎn)物。

• 全局優(yōu)化（Global Optimization）： 它描述的是整個系統(tǒng)在所有可能性中找到的一個最優(yōu)靜態(tài)解，不關(guān)心達到這個解的具體動態(tài)過程。

• 普適性原理： 冪律的出現(xiàn)被歸因于一個普適的經(jīng)濟學(xué)/物理學(xué)原理（在約束下最大化某個效用函數(shù)），而非特定系統(tǒng)的歷史偶然。

二人之爭

盡管曼德布羅特比西蒙要年輕幾歲，且二人關(guān)于冪律的模型提出之時，西蒙已經(jīng)是一位頗具盛名的經(jīng)濟學(xué)家，但曼德布羅特可能由于年輕氣盛，對西蒙的模型非常不屑，并主動發(fā)起“進攻”，最終引起了二人在期刊information and control上精彩的“對決”。

因為這一過程非常有趣，請允許我列一下這幾篇論文的標題讓大家感受下

• Benoit Mandelbrot (1959)："a Note "on a class of skew distribution functions:analysis and critique of a paper by H.A. simon"

• Herbert A. Simon(1960)："Some Further Notes on a Class of Skew Distribution Functions "

• Benoit Mandelbrot (1961): "Final Note on a Class of Skew Distribution Functions: Analysis and Critique of a Model Due to H. A. Simon"

• Herbert A. Simon(1961): Reply to "Final Note" by Benoit Mandelbrot》

• Benoit Mandelbrot, 1961: "Post Scriptum to "Final Note""

• Herbert A. Simon(1961): "Reply to Dr. Mandeibrot's Post Scripture"

這場明面上的爭論以information and control的編輯似乎不想再攪混水為節(jié)點告一段落，但兩人的學(xué)術(shù)觀點本質(zhì)上并未達成共識。文章的語氣越到后面措辭越不客氣。細品一下二人在最后一篇文章的態(tài)度，兩個人的摘要都只有一句話，這可以說已經(jīng)是勢不兩立的狀態(tài)了。

Benoit Mandelbrot：My criticism has not changed since I first had the privilege of commenting upon a draft of Simon (1955). Herbert A. Simon：Dr. Mandelbrot has proposed a new set of objections to my 1955 models of the Yule distribution. Like his earlier objections, these are invalid.

而且我個人的觀感是，曼德布羅特確實有點挑刺的意味，西蒙一開始確實是在認真回應(yīng)曼德布羅特的質(zhì)疑，尤其是甚至?xí)?jù)此擴展他的模型。而曼德布羅特根本不買賬，會在新的note提出全新的質(zhì)疑。且Simon在自己自傳中還提到過這段有趣的辯論，而曼德布羅特則絲毫未提及。

回到二人的分歧所在，曼德布羅特認為西蒙的解釋是“特定情況下的”和“平庸的”。他嘲諷道：“你可以通過假設(shè)一個冪律過程來‘解釋’一個冪律結(jié)果，但這并沒有真正解釋任何東西。” 他認為西蒙只是把冪律現(xiàn)象直接編碼到了模型的假設(shè)中，因為“選擇概率正比于出現(xiàn)次數(shù)”本身就是一種冪律傾向。

而西蒙則反駁說，他的模型基于一個非常簡單、直觀且在社會學(xué)中廣為人知的機制（馬太效應(yīng)），它是一個因果機制，解釋了分布是如何一步步演化而來的。而曼德布羅特的優(yōu)化模型，雖然數(shù)學(xué)上很漂亮，但卻像一個“黑箱”，它假設(shè)系統(tǒng)達到了一個最優(yōu)的“平衡態(tài)”，卻沒有說明系統(tǒng)是如何達到這個狀態(tài)的。它更像一個“目的論”的解釋（為了達到某個目的），而不是一個“因果論”的解釋。

而用當今的眼光去看二者的理論，我們會發(fā)現(xiàn)，歷史并沒有宣布一個唯一的勝利者。相反，它揭示了這兩種思想范式的價值和適用范圍。在很長一段時間里，由于曼德布羅特在數(shù)學(xué)界的聲望和他后來在分形幾何上的巨大成功，他的觀點似乎更受物理學(xué)家和數(shù)學(xué)家的青睞。而西蒙的模型則在社會科學(xué)、計算機科學(xué)，尤其是后來的網(wǎng)絡(luò)科學(xué)中找到了深厚的根基。

1999年，物理學(xué)家Barabási和Albert“重新發(fā)現(xiàn)”了優(yōu)先連接機制，并用它來解釋復(fù)雜網(wǎng)絡(luò)（如萬維網(wǎng)、社交網(wǎng)絡(luò)）的無標度（Scale-free）特性。之所以說“重新發(fā)現(xiàn)”，是因為他們并沒有引用西蒙的文章，而后續(xù)有人指出，他們提出的BA模型本質(zhì)上就是西蒙模型在網(wǎng)絡(luò)圖論上的一個變體。這使得西蒙的“過程”思想在21世紀初的復(fù)雜性科學(xué)中獲得了巨大的復(fù)興和成功。如今，“優(yōu)先連接”已成為解釋各種增長現(xiàn)象的標準模型。

而曼德布羅特的“優(yōu)化”和“尺度不變性”思想，則成為了分形理論、混沌理論以及金融市場分析（如多重分形模型）的基石。他的思想強調(diào)了系統(tǒng)在不同尺度上展現(xiàn)出的自相似結(jié)構(gòu)，這種視角在物理學(xué)和許多自然科學(xué)中至關(guān)重要。

因此，西蒙與曼德布羅特的爭論，最終并未以一方的勝利告終。相反，它為我們這些后來的探索者留下了兩套強大的思想工具。面對一個冪律現(xiàn)象，我們既可以追問：“它是如何一步步變成這樣的？”（西蒙的問題），也可以追問：“它這樣存在是否滿足了某種最優(yōu)原則？”（曼德布羅特的問題）。這場爭論的意義并不在于告訴我們“誰對誰錯”，而在于它清晰地展示了科學(xué)解釋的兩種路徑：過程驅(qū)動的、歷史性的解釋 vs. 狀態(tài)驅(qū)動的、普適性的解釋。而這兩條路徑，共同構(gòu)成了我們理解這個由隨機與秩序交織而成的復(fù)雜世界的完整圖景。

參考資料

1. Herbert A. Simon. On a Class of Skew Distribution Functions. Biometrika, 1955, 42(3/4): 425-440

2.Mandelbrot, B. An Information Theory of the Statistical Structure of Language. Communication Theory, 1953, 84: 486-502

3.

4.

5.

6.

7.

8. pdodds.w3.uvm.edu

城市科學(xué)讀書會

隨著工業(yè)化和現(xiàn)代化的發(fā)展，世界范圍內(nèi)的城市化率不斷提高，越來越多的人口聚集在城市，使得交通擁堵、環(huán)境污染、資源短缺等城市問題日益嚴峻。 我們迫切需要對城市的基本運行規(guī)律有科學(xué)的認知。 近十幾年來，智能手機、物聯(lián)網(wǎng)、衛(wèi)星遙感可以幫助獲取高精度的城市數(shù)據(jù)； 機器學(xué)習(xí)、人工智能的發(fā)展，為處理大規(guī)模多源異構(gòu)數(shù)據(jù)提供了技術(shù)手段。 此外，復(fù)雜科學(xué)從演生視角，在不同時空尺度上研究城市現(xiàn)象的基礎(chǔ)規(guī)律，豐富了城市科學(xué)的理論框架； 基于復(fù)雜系統(tǒng)的模擬方法也在實踐中有廣闊的應(yīng)用前景。

在這個大背景下，集智俱樂部由北京大學(xué)助理教授董磊聯(lián)合明尼蘇達大學(xué)助理教授朱遞、中南大學(xué)地球科學(xué)與信息物理學(xué)院教授李海峰、北京航空航天大學(xué)計算機學(xué)院博士寄家豪共同發(fā)起，分享、討論和梳理“城市作為復(fù)雜系統(tǒng)”的理論、研究方法及應(yīng)用，希望促進相關(guān)領(lǐng)域?qū)W者的交流，推動交叉學(xué)科間的合作，促進城市科學(xué)的發(fā)展和研究。讀書會已完結(jié)，現(xiàn)在報名可加入社群并解鎖回放視頻權(quán)限。

詳情請見：

1.

2.

3.

4.

5.

6.

7.