Kimi K3真追平美國前沿AI了嗎？

7月16日，月之暗面（MoonshotAI）發布了他們的新旗艦模型 Kimi-K3，這是一個擁有2.8萬億參數的開源權重模型。

Kimi-K3 是目前最大的開源權重模型，規模幾乎是 DeepSeek-V4 的兩倍，也是第一個超過最初引發AI熱潮的1.8萬億參數 GPT-4 的開源權重模型。

這款新模型的規模和性能再次引發了關于中國模型與美國前沿模型之間，實際差距有多大的爭論。

在深入探討中美差距之前，我首先想為你描繪一下 Kimi-K3 在發布1天后的基準測試表現。

在月之暗面自己發布的基準測試中，Kimi-K3 在35項測試中的30項上超過了 Opus 4.8，在19項上超過了 GPT-5.6-Sol，在12項上超過了 Claude Fable 5。

在第三方評估如 Artificial Analysis 的智能指數中，它是繼 Fable 5 和 GPT-5.6-Sol 之后排名第三的模型，并且相比之前的中國旗艦模型如 GLM-5.2、Kimi-K2.6、Qwen3.7-Max 和 DeepSeek-V4-Pro 有明顯提升。

其他基準測試如 WebDev Arena（模型需要創建吸引人的網頁）顯示 Kimi-K3 在所有其他模型中占據主導地位，包括 Fable。

還有一個我想強調的 Kimi-K3 處于前沿的領域。

一個例子是 GPU 內核優化，以 KernelBench 衡量。要快速高效地運行模型，你需要盡可能好地利用硬件，因為你浪費的每一個時鐘周期都意味著每秒更少的token和更高的延遲，這總體上轉化為更低的 GPU 吞吐量和因此更低的收入。

這是一個高影響力的領域，不僅與生產環境相關，也與早期的研究階段相關。每個新的架構想法都必須通過運行一系列實驗來驗證。在普通 PyTorch 中運行它們無法有效利用硬件，這就是優化內核發揮作用以加速的地方。

一個能夠幫助研究人員為這些實驗編寫內核的模型是很有價值的，因為它節省時間和金錢，而 Kimi-K3 與 Fable 5 一起處于這一領域的前沿。

作為參考：

GPT-5.6-Sol 比 Kimi-K3 早7天發布

Fable 5 比 Kimi-K3 早37天發布

Opus 4.8 比 Kimi-K3 早49天發布

從表面上看，這些基準測試結果似乎表明 Kimi-K3 已經趕上了美國的前沿水平。

那么，事情就定論了，對嗎？并不完全如此。

為此，我們必須更深入地審視基準測試，并定義我們實際上想要測量什么，以及我們為什么在意。

為什么中美AI差距很重要

已經有很多人就此撰寫了許多優秀的文章和場景分析。

但簡而言之，AI 在軟件工程領域正呈指數級進步，我們在這一領域對效果進行了最廣泛的測量，但這很可能也適用于其他領域，例如數學。

具體而言，在軟件工程方面，AI 模型大約每4個月將其時間跨度翻倍。時間跨度衡量的是人類完成一項任務所需的時間，而該模型有50%的概率能夠解決這項任務?？梢詫⑵湟暈槿蝿针y度的代理指標。人類花費更多時間的任務更難。

除了按難度對編程任務進行排名本身就很困難這一明顯原因外（因為代碼行數或其他表面指標并不是好的代理指標），使用時間跨度還有一個好處，就是具有經濟可解釋性。

如果我們預測 AI 在未來2到3年內保持這一趨勢，我們最終將得到能夠完成人類需要數月到數年才能完成的工作的 AI。

AI未來模型

即使這一趨勢僅限于編程，擁有超人編程能力的 AI 對于控制它們的人來說顯然是一個巨大的戰略優勢。

所以我們關心這個差距，即一個國家開發出與另一個國家相同能力所需的時間，因為它改變了誰控制未來。

我們關注中國和美國，因為經驗表明，最好的模型來自這兩個國家，大多數 AI 研究在這兩個國家進行，大多數 AI 算力也位于這兩個國家。

歐洲理論上可以參與這場辯論，因為它們確實有錢和人才，但到目前為止沒有表現出任何認真競爭的有意義的興趣。

到目前為止，美國一直領先于中國這一點非常明確。

但正如我們從 Kimi-K3 的基準測試中看到的，這一點不再像以前那樣明確了。

我們如何測量差距？

差距描述的是一個實驗室達到另一個實驗室相同能力所需的時間。

這個差距的定義是危險的，因為它隱藏了幾個需要區分的重要方面：

能力是領域依賴的。一個模型可以在編碼能力上趕上另一個模型，同時在特定其他領域或總體上仍然更差。

存在前瞻性差距和回顧性差距。前瞻性差距問的是："落后者需要多長時間才能達到當前的最先進水平？"

回顧性差距問的是："前沿實驗室在多久以前達到了落后者目前擁有的相同性能？"

通常差距指的是回顧性差距，因為前瞻性差距是一種預測練習，具有更高的不確定性，因為它取決于你對算力、人才、新 AI 帶來的加速以及許多其他事物及其增長率的假設。

在嘗試估計這些差距時出現的問題之一是，可觀察的進展是離散的，因為模型每隔幾周到幾個月才會發布一次，取決于實驗室。

進展并不沿著平滑曲線發生，如上圖示例所示，而且模型不太可能有完全相同的分數，讓你可以簡單地測量它們之間的時間。

你有三種通過差距定義來解決這個問題的方法。你要么通過取前沿上最接近落后者能力的上方或下方的下一個模型來高估或低估時間，要么你對數據擬合平滑回歸線并進行比較。

就我個人而言，我認為最后一個選項最好，因為它是對稱的，更好地反映了更大的潛在趨勢，還允許你測量差距縮小或增長的速度。

這種方法的缺點在于它取決于回歸模型的選擇，并且會掩蓋任一方向上的趨勢中斷。所以這可能會對 Kimi-K3 不利。

但到目前為止，我們在過去約5年中只看到了一次，也許兩次趨勢變化。

第一次發生在2024年第三季度推理模型出現時，與模型規模無關。

第二次更有爭議的變化發生在2025年11月 Opus 4.5 發布時，當時智能體模型開始起飛。這也與模型規模無關，所以如果 Kimi-K3 比 DeepSeek-V4-Pro 大了將近2倍，就會突然打破任何現有趨勢，我會感到驚訝。

所以為了公平起見，我將報告兩個數字：一個測量當前即時差距的區間，包括低估和高估，以及一個基于擬合回歸線的更普遍的趨勢估計。

現在我們將簡要地深入了解基準測試，然后看看一些趨勢和差距。

為什么基準測試的選擇會改變答案

月之暗面報告了35個基準測試，其中包括8個編碼基準測試、12個智能體基準測試、3個"推理"和知識基準測試，以及12個視覺基準測試。

當我查看這些基準測試及其構成時，我注意到：

沒有長上下文基準測試

沒有網絡、生物、化學或任何安全相關基準測試

沒有嚴肅的數學基準測試，只有 MathVision、GPQA-D 和 HLE

沒有純推理基準測試。他們只把 GPQA-D 和 HLE 放在"推理"和知識類別下，而這實際上只是一個帶有一些數學的知識類別

視覺和智能體基準測試占主導地位，在35個基準測試中占了24個

編碼基準測試確實包含一些我認為高信號的基準測試，因為它們的范圍和更長的時間跨度，如 ProgramBench 和 SWE-Marathon

沒有量化推理/token效率的基準測試

因此，這些結果無法支持"Kimi-K3 總體上比 Opus 4.8 和 GPT-5.6-Sol 更好"的結論。

在任何情況下，你都不能論證 Kimi-K3 比 Fable 5 更好，因為它在大多數測試中都輸給了 Fable。

然而，我們可以說 Kimi-K3 的編碼能力與當前美國前沿模型相當。

現在讓我們看看我分享的其他結果，比如 Artificial Analysis 指數（以下簡稱 AAI）。

如今它是最受歡迎的指數之一，但它有類似的問題，我認為它不應該被用于評估一般模型強度。這有幾個原因：

首先，基準測試的構成嚴重偏向智能體和短時間跨度的編碼問題，占該指數權重的58%。
（我們不應該手動選擇權重或基準測試）

智能基準測試 | Artificial Analysis

其次，每個基準測試的難度和信息增益完全被忽視了。

這并不意味著 AAI 毫無用處。它仍然產生與用戶體驗相關性良好的排名，因為它專注于經濟上有用的任務。

所以，我不會將其描述為一般能力或智能的基準測試，而是日常實用性。

這也是我稱其為"Artificial Analysis 指數"而非其官方名稱"Artificial Analysis 智能指數"的原因。

這就是 EpochAI 的能力指數（簡稱 ECI）的用武之地。

它解決了這些問題，并嘗試使用項目反應理論（Item Response Theory）測量整體的潛在一般能力，并將其統一到一個尺度上。

在項目反應理論中，正確回答問題的概率取決于應試者的能力和問題的難度。

ECI 將此應用于基準測試。它假設我們只需要知道模型的潛在能力和基準測試的難度及斜率，就能預測模型的得分。

對于每個基準測試，估計兩個參數：

一個難度參數，告訴你達到50%分數所需的能力

一個斜率參數，告訴你基準測試分數對能力變化的敏感度，或該基準測試對相似能力模型的區分度

最后，將所有這些基準測試擬合到一個單一的統計模型中，并優化模型的潛在能力，使得潛在能力最準確地預測所有觀察到的分數。

與 AAI 不同，ECI 減少了對手動選擇基準測試權重的依賴，不需要所有基準測試都出現在所有模型中，最重要的是，它考慮了每個基準測試的難度和區分能力。

Anthropic 最近也采用了這種測量模型強度的方法。

他們的圖表還很好地展示了不同基準測試的難度，如 GPQA Diamond、SWE-Bench-Verified 等。

例如，最左邊 GPQA-Diamond 的條形告訴我們，Anthropic ECI 略低于130的模型將在 GPQA-Diamond 上獲得50%的分數。

因此，給定這個尺度和 Claude 3 Opus 的這個單一潛在能力（Anthropic ECI 分數），我們可以預測它在 GPQA-D 上的得分應該略低于50%。

這也大致是我們觀察到的。Opus 3 的得分略高于預期（50.4%）。

來自 Mythos Preview 系統卡的 AEC

這就是 ECI 的美妙之處。它讓我們能夠在單一的共享尺度上推斷潛在能力，同時比手動選擇和加權的指數更少偏見。

Artificial Analysis 的差距

在澄清了討論這些問題時的常見陷阱之后，讓我們進入測量差距的有趣部分。

我們的起點是 Artificial Analysis 指數，因為它確實為我們提供了 Kimi-K3 的分數以及其他分數的詳細歷史。

我使用 sigmoid 函數，因為該指數被限制在0到100之間。

我們相鄰模型滯后區間的回顧性差距為1.22-1.61個月，線性插值中間估計為1.48個月。

更大的趨勢表明差距約為2.89個月。未來的中國模型發布將告訴我們 Kimi-K3 是真正的趨勢突破還是異常值。

基于這些預測，如果動態保持不變，中國模型應該會在2027年末在這個指數上超過美國模型。

但僅看兩國的當前前沿隱藏了個別實驗室的趨勢。

以下是美國（Anthropic、Google、OpenAI）和中國（阿里巴巴、DeepSeek、月之暗面、Z AI）個別實驗室的趨勢：

OpenAI 和 Anthropic 的軌跡基本相同

Google 已經落后于中國模型，而且它們的趨勢看起來也不太好

在中國前沿實驗室中，月之暗面的軌跡最陡峭，如果趨勢保持，應該在2027年2月超過 Anthropic

我已經闡述了為什么我們不應該看 AAI，以及為什么 ECI 更好。

然而，我們沒有 Kimi-K3 的 ECI 分數。

Kimi-K3 的 ECI 預估

對 Kimi-K3 的 ECI 有幾個估計：

我的社區認為它會在158-159之間

社區調查

就我個人而言，我會猜156-157。

Teortaxes 猜的是157-158

但我們不必依賴直覺，我也不想依賴我的估計來預先阻止人們說我偏見。

幸運的是，Artificial Analysis 指數和 ECI 高度相關，這讓我們可以做出更有根據的猜測。

但有一個問題。正如你所見，線性模型首先非常弱地高估了 Claude-2/3 模型，然后從 x=[10-30] 左右開始低估，然后再一次高估更強的模型。

線性模型不太合理。這是因為 Artificial Analysis 指數分數被限制在0到100之間，更適合用 sigmoid 建模。然而，ECI 是線性的且無界的。

為了匹配這兩個模型，我們對 AAI 分數應用 logit 變換（sigmoid 運算的逆運算）來解壓。
新擬合的模型具有以下形式，我們現在可以用它將 AAI 分數轉換為 ECI 分數。

它看起來干凈多了，我們的誤差證實了這一點。logit-線性模型將平均絕對誤差降低了37.2%。

這個模型給出的 Kimi-K3 估計 ECI 分數為158.33，bootstrap 80%置信區間為[154.49, 162.02]。

在撰寫本文時，我們實際上得到了 EpochAI 關于 Kimi-K3 的一些初步結果。

Kimi-K3 在 FrontierMath 上不具備競爭力，仍然落后于 GPT-5.2-Pro，一個7個月前的模型。

EpochAI 的 FrontierMath T4 (V2)

有了 Epoch 的這些新結果，我們整個估計有點毫無意義了，因為我們可以直接使用 EpochAI 和月之暗面提供的基準測試，即：AIME 2024-2025、GPQA-D、FrontierMath 1-3/4、SimpleQA Verified、Chess Puzzles、PostTrainBench、APEX-Agents 和 HLE 來直接計算 ECI。

不過，這個推導出的 AAI 和 ECI 轉換公式在未來會派上用場。

計算初步 ECI 得出的分數為155.53，90%置信區間為[153.87, 158.21]。對于進一步的分析，我們將使用這些分數。

這在我們基于相關性的置信區間內，盡管比預期略低。請注意，隨著更多基準測試的進入，這些分數仍可能變化，但這個估計應該比基于相關性的更準確。

Mythos Preview 的 ECI 預估

首先，我們需要解決房間里的大象。

我們沒有 Mythos Preview 的 ECI 值，它于2026年4月7日作為 Glasswing 項目的一部分發布。

Mythos Preview 的確切完成日期不清楚，但我們從系統卡中知道，自2026年2月24日起它已向 Anthropic 員工開放。

然而，不確定這是否與系統卡中的 Mythos Preview 相同，我們也不知道其他所有模型何時在內部可用，所以我們將采用4月7日作為該模型的官方發布日期。

Anthropic 也只提供了他們自己的 ECI 版本，即 AECI。

但你可以轉換它，例如：

Mythos 有多好？——使用 ECI 方法論的估計值為161.5

Ramez Naam 在 X 上：使用 OLS 為161

我們推導出的 Mythos Preview 的 ECI 為161，90%置信區間為158到166。

這與實際的 Fable 5 ECI 160（158-165）非常接近。

我認為這是公平的，考慮到 Fable 5 很可能是 Mythos Preview 的一個更小的蒸餾模型，并帶有額外的安全訓練。這兩者都會略微降低其分數。

根據 ECI 的中美差距

首先，讓我們看看中國和美國 AI 模型之間的總體前沿趨勢。

基于我們的"差距方法論"，Mythos Preview 不影響經驗回顧性差距估計，因為 Kimi-K3 根本遠遠不及它。

Kimi-K3 目前介于 GPT-5.3-Codex 和 GPT-5.4-Pro 之間，這產生的相鄰模型滯后區間為4.37-5.29個月，線性插值中心估計為5.27個月，因為 Kimi-K3 更接近 GPT-5.3-Codex 而非 GPT-5.4。

基于我們為前沿模型擬合的趨勢線，回顧性差距目前為6.08個月，不存在中國模型的交叉或追趕情景。

此外，趨勢線預測中國模型將在2027年3月7日達到 Mythos Preview 的161分，這意味著前瞻性差距為11個月。

在假設 Mythos 分數和發布日期固定的情況下，中國趨勢的點wise 90%置信帶在2026年12月28日至2027年6月18日之間達到 ECI 161，或表示為滯后時為8.72至14.38個月。

僅按國家看前沿趨勢線忽略了個別實驗室可能更陡峭的趨勢，所以我們也看看這些。

Anthropic 目前處于最陡峭的趨勢線上，每年增加25個 ECI 點，其次是 Z-AI 為16.2，OpenAI 為14.3，月之暗面為13.8。

即使沒有 Mythos Preview，Anthropic 的改進速度仍然是最快的，為每年18.1個 ECI。

值得注意的是，在這種情況下，中國模型也不會趕上美國模型。

以下是月之暗面和 Z-AI 達到 Mythos Preview 的 ECI 分數的前瞻性差距：

月之暗面：2026年12月23日；中心差距8.57個月。

90%交叉區間：2026年11月7日至2027年2月22日

或 Mythos Preview 之后7.05-10.57個月。

Z AI：2026年12月31日；中心差距8.83個月。

90%交叉區間：2026年10月24日至2027年4月21日

或 Mythos Preview 之后6.60-12.48個月。

結論

總結一下，基于 ECI，Kimi-K3（當前中國前沿）與美國前沿之間的回顧性差距似乎為4.37-5.29個月。

前瞻性差距，即估計中國模型何時首次達到 Mythos-Preview 等效模型，如果陡峭但不確定的 Z-AI 趨勢保持，估計在6.6個月到12.48個月之間。然而，前瞻性差距的中心估計分別為8.57和8.83個月。

簡而言之，中國模型尚未趕上美國前沿模型，也不被預測會趕上。

關于蒸餾以及差距和明顯追趕的一些額外思考

Kimi-K3 是一個2.8萬億參數的模型，確實在一些高度特定的基準測試中擊敗了 Opus 4.8 和 GPT-5.6-Sol。

然而，這些基準測試沒有考慮模型規模和推理/token效率。

從 Cursor CEO Michael Truell 那里我們知道，Opus 和 GPT 模型的大小與 Cursor 新宣布的1.5萬億參數模型相似。這個說法很可能指的是 Opus 4.8 和 GPT-5.4。GPT-5.5 和 GPT-5.6 似乎是更大的模型，估計接近3萬億參數。

這意味著 Kimi-K3 在一些基準測試中擊敗 Opus 4.8 從架構角度來看并不令人印象深刻。

一般來說，它的推理效率仍然比美國模型差。

這是我認為前瞻性和回顧性 ECI 差距都被低估的眾多原因之一，因為模型規模、推理效率、真實模型服務成本和總體算力沒有被納入考慮（因為這些數字大多不公開）。

想象一下，如果美國和中國實際上在競賽或全面戰爭中。那么，你擁有100萬個最新的 Blackwell GPU 還是只有吞吐量較低的舊 Hopper GPU 是有區別的，因為內存/算力關系到你能夠部署的實例數量以及服務它們的速度。

另一個原因是美國實驗室比中國實驗室進行了更徹底的安全測試，這可能額外增加一個月。

我想提到的最后一個差距可能被低估的原因是，大多數基準測試不能代表真實世界的任務，也不試圖激發最大可能的性能，因為受成本和時間限制。

Mythos 據傳是一個10萬億參數的模型。我們還從多個美國實驗室得知，他們正在開發自己的巨型10萬億參數模型，如 SpaceX AI、OpenAI 和 Meta。

中國模型現在可能已經趕上了上一代模型，這是完全合理的，然而美國實驗室已經轉向下一代模型。

我認為我們在 Kimi-K3 明顯追趕中所看到的，很可能是前沿實驗室如 OpenAI 和 Anthropic 正在保留他們最有能力的模型，因為前沿模型發布的不確定法律狀況，由于它們的網絡和 CBRN（化學、生物、放射性和核）能力。

此外，在 Anthropic 和 OpenAI 發布了他們新的前沿模型 Fable 5.1 和 GPT-6 的反事實世界中，這些模型據推測已經完成訓練，我們不會談論任何類型的追趕，因為這些新的10萬億參數模型完全是不同的野獸。

我們沒有看中國模型為何在近幾個月取得如此快速進步的原因，尤其是在 Artificial Analysis 指數上，中國模型據稱將在2027年初超過美國前沿模型。

快速追趕的一個可能原因是蒸餾。從技術上講，你需要訪問模型才能進行真正的蒸餾，但使用更強的模型作為較弱模型輸出的評判者已經可以算作蒸餾。

Anthropic 多次報告他們能夠追蹤到來自中國實驗室的蒸餾攻擊。所以蒸餾是真實存在的，但我們不知道其確切程度以及它對中國實驗室改進模型的幫助有多大。

中國模型獲得的能力中至少有一部分非零比例可歸因于蒸餾。

我試圖想出一個近似值，看看這些蒸餾攻擊何時開始大規模發生。我不確定我們如何甚至測量這個。但一種間接方法可以查看某些指數如 Artificial Analysis 對時間的導數，看看進展何時不自然地加速。

自2025年8月至10月以來，中國實驗室的測量進展速度比美國實驗室更快，盡管美國實驗室擁有更多的算力、數據、人才和更好的模型，這些應該能加速新模型的開發。

我不認為這是一個特別好的估計，但它仍然是一個有趣的觀察。那么為什么會發生這種情況？中國實驗室的曲線不應該只是在時間上平移嗎？為什么它們達到更高的峰值速度？

一種解釋可能僅僅是基準測試有界，而美國實驗室從更高的分數開始，在那里進步更難。

所以我嘗試應用 logit 變換來消除一些使進展看起來更慢的壓縮。但 logit 變換并沒有改變故事。月之暗面和 Z-AI 仍然有更高的峰值速度。

所以其他可能的追趕解釋包括：

追趕本身就比開發新的前沿能力更容易，因為改進的總體方向由前沿提供

AAI 測試的能力在公開領域非常可見，適合 RL 爬坡，因此成為爬坡的目標

來自前沿模型的蒸餾

一些選擇偏差，因為我們只看兩個增長最快的中國實驗室，它們的風險押注成功了

也許只是觀察的幸運窗口，因為我們沒有包含很多模型

追趕故事似乎也僅適用于 AAI，而不適用于 ECI。

就我個人而言，這是所有這些因素的組合。

我認為只是特定領域和任務顯示出任何類型的追趕。

追趕發生的原因仍然很有趣，因為它會告訴我們更多關于未來能力軌跡的信息。

雖然不證明蒸餾是原因，但最近的英國 AISI 結果和 ECI 結果至少指向了蒸餾和狹窄任務爬坡的方向。

具體而言，當查看英國 AISI 的網絡范圍時，GLM-5.2 僅與 Opus 4.5 持平，盡管在許多自我報告的編碼基準測試中接近 Opus 4.8。

英國 AISI 的網絡范圍也可能是我們擁有的最好的基準測試，因為這些是非常困難的任務，模型使用1億個 token 并被推至極限。

MirrorCode 以更極端的方式做到這一點，每個模型使用多達10億個 token。

還有一個奇怪的事情是，我們還沒有看到中國模型的任何科學突破。如果它們真的和美國前沿模型一樣好，它們不也會解決以前未解決的數學、物理和其他問題嗎？

我們應該在網絡和 CBRN 任務上評估中國模型，因為這些正是前沿實驗室故意保留實力和采用安全過濾器的領域，意味著如果沒有通用越獄，你無法蒸餾這些能力。

中國模型實際上沒有進行安全測試和訓練，至少沒有達到美國模型的程度。

來自 CAIS 儀表板的風險指數

如果中國模型在大規模蒸餾，那么我們應該觀察到這些模型在網絡和 CBRN 任務上也更弱，鑒于它們沒有進行那么多安全測試和訓練。

至少 GLM-5.2 在英國 AISI 網絡范圍上的最新結果似乎確實表明了這一點，ExploitBench 和 ExploitGym 的一些較弱證據也支持這一點。