剛剛，Thinking Machines首發(fā)大模型：9750億參數(shù)，完整開放權(quán)重

由 OpenAI 前首席技術(shù)官 Mira Murati 創(chuàng)立的 AI 初創(chuàng)公司 Thinking Machines Lab，剛剛發(fā)布了自研 AI 模型 Inkling。

與 OpenAI、Anthropic 或 Google 的旗艦?zāi)Ｐ筒煌琁nkling 是一款開放權(quán)重模型，外部開發(fā)者和企業(yè)可以直接下載，并根據(jù)自身需求進行修改。正如官方介紹的：Inkling 能夠高效地對文本、圖像和音頻進行跨模態(tài)推理。與此同時，Inkling 完整模型權(quán)重也將開放。

Inkling 采用混合專家 Transformer 架構(gòu)，總參數(shù)量為 9750 億，激活參數(shù)量為 410 億，支持最高 100 萬 token 的上下文窗口。

Inkling 使用 45 萬億 token 的文本、圖像、音頻和視頻數(shù)據(jù)完成預(yù)訓(xùn)練。它是一個不同規(guī)模模型家族中的首款產(chǎn)品。

與此同時，Thinking Machines Lab 還發(fā)布了 Inkling-Small 預(yù)覽版。這是一款更輕量的模型，激活參數(shù)量為 120 億，采用與 Inkling 相似的訓(xùn)練方法，能夠以更低的成本和延遲實現(xiàn)出色性能。

Inkling 能夠原生處理并推理文本、圖像和音頻，并通過高效、可控的推理強度，在成本與性能之間取得平衡。Inkling 在多個領(lǐng)域都有較強表現(xiàn)，同時具備足夠的靈活性，能夠適配不同需求。

官方表示，Inkling 并不是目前綜合能力最強的模型，無論與開源模型還是閉源模型相比都是如此。它的價值在于多項特性的結(jié)合，使其成為適合定制的開放權(quán)重基礎(chǔ)模型，包括多模態(tài)能力、高效推理，以及可以通過 Tinker 進行微調(diào)。顯然，該公司追求的是均衡全面的性能。

Inkling 只是一個開始。它是 Thinking Machines Lab 發(fā)布的模型家族中的第一款產(chǎn)品，未來還會在此基礎(chǔ)上持續(xù)迭代。

為了讓模型定制覆蓋更多應(yīng)用場景，Thinking Machines Lab 已在 Tinker 平臺開放 Inkling 的微調(diào)能力。

在該公司看來，選擇適合微調(diào)的基礎(chǔ)模型，既需要參考可量化的基準測試，也離不開開發(fā)者在實際使用中對模型風(fēng)格與表現(xiàn)的判斷。為此，Tinker 控制臺新增了 Inkling Playground，開發(fā)者可以直接與模型交互，更直觀地了解其能力特點。

為了進一步展示模型定制的實際效果，Thinking Machines Lab 還進行了一次頗具實驗性的嘗試，讓 Inkling 參與自身的微調(diào)過程。Inkling 通過 Tinker 編寫微調(diào)任務(wù)、運行訓(xùn)練流程，并對最終結(jié)果進行評估。

Inkling 能力

下面將展示 Inkling 能夠完成哪些任務(wù)，以及它在可信度、安全性等重要維度上的表現(xiàn)。

通用模型

Inkling 的設(shè)計目標是覆蓋廣泛的任務(wù)類型。訓(xùn)練過程中，它同時面向智能體、推理、編程、指令遵循、事實準確性、視覺和音頻等任務(wù)展開，而沒有針對某一個領(lǐng)域進行狹窄優(yōu)化。

這種能力廣度對于模型定制和實際應(yīng)用十分重要。不同用戶需要模型適應(yīng)差異很大的工作流程，而不只是擅長在基準測試中取得高分。

智能體編程與工具調(diào)用

一個適合微調(diào)的強大基礎(chǔ)模型，需要能夠靈活調(diào)用智能體工具，解決多種不同類型的任務(wù)。在大多數(shù)智能體基準測試中，Inkling 在開放權(quán)重模型中都取得了較好的成績。

訓(xùn)練過程中，Inkling 被置于多種編程與智能體框架中運行。團隊還隨機調(diào)整了訓(xùn)練時使用的工具集和工具定義，以降低模型對某一種特定框架的依賴。

下面展示幾個 Inkling 進行智能體編程和工具調(diào)用的案例，以及它在過程中生成的成果。

一次生成（One-shot）帶有內(nèi)嵌瀏覽器操作能力的 Web 應(yīng)用

Inkling 通過一次生成就構(gòu)建出一個可正常運行的 Web 應(yīng)用。隨后，它還為該應(yīng)用提供了一個內(nèi)嵌 AI 助手，用戶可以通過自然語言指令，讓助手直接操作 Web 應(yīng)用界面。

Design Arena

Inkling 參加了 Design Arena 的智能體 Web 開發(fā)排行榜評測。在該評測中，匿名的人類評審會對模型生成的 Web 應(yīng)用進行兩兩對比。評測結(jié)果顯示，Inkling 躋身能力最強的開放權(quán)重模型之列。

風(fēng)格統(tǒng)一的多頁面成果

Inkling 能夠創(chuàng)建多頁面的完整成果，準確遵循指令、呈現(xiàn)可靠的信息，并在不同頁面之間保持統(tǒng)一連貫的視覺風(fēng)格與設(shè)計。

多人游戲

在 GPT Codex 擔(dān)任評審的情況下，Inkling 根據(jù)其反饋進行了 40 輪迭代，逐步完善了一款在線多人貪吃蛇游戲。

能夠持續(xù)完成長周期的優(yōu)化，并根據(jù)反饋不斷改進，是產(chǎn)出高質(zhì)量協(xié)作成果的關(guān)鍵能力。

可控的推理強度

推理時擴展能力和問題解決能力，是衡量模型的核心指標，但很難用一個數(shù)字完整概括。對于希望針對特定任務(wù)進行模型微調(diào)的開發(fā)者來說，效率與模型在公開基準測試中以最高推理強度取得的成績同樣重要。現(xiàn)實應(yīng)用通常受到成本和延遲的嚴格限制，其中，低延遲對于通過持續(xù)迭代實現(xiàn)協(xié)作與改進尤為關(guān)鍵。

Inkling 支持對推理強度進行調(diào)節(jié)，讓開發(fā)者可以在性能與 token 效率之間靈活權(quán)衡。上圖展示了 Inkling 及其他開放權(quán)重模型在多項基準測試中的推理強度與性能曲線，包括用于評估智能體編程能力的 Terminal Bench 2.1、用于評估高級推理能力的 HLE，以及用于評估指令遵循能力的 IFBench。

在 Terminal Bench 上，Inkling 只需使用 Nemotron 3 Ultra 三分之一的 token，就能達到相同的性能水平。對于需要運行數(shù)百萬次，或被嵌入長流程工作流中的模型來說，成本與延遲至關(guān)重要。通過觀察完整的成本與性能曲線，開發(fā)者可以為不同應(yīng)用場景選擇更合適的模型。

多模態(tài)能力

Inkling 的一項重要設(shè)計目標，是作為 Thinking Machines Lab 近期發(fā)布的交互模型系統(tǒng)中的后臺推理模型。交互模型支持用戶通過語音和視覺進行實時、自然的協(xié)作，因此需要一個經(jīng)過原生訓(xùn)練、具備廣泛多模態(tài)能力的模型作為基礎(chǔ)。

Inkling 的多模態(tài)組件使用通用領(lǐng)域數(shù)據(jù)從零開始訓(xùn)練。團隊采用了與交互模型設(shè)計一致的無編碼器架構(gòu)，處理音頻和視覺輸入。音頻信號以 dMel 頻譜圖的形式輸入，圖像則被劃分為 40×40 像素的圖像塊，并通過一個四層 hMLP 進行編碼。隨后，兩類輸入都經(jīng)過輕量級嵌入層轉(zhuǎn)換，并與文本 token 一同進行處理。

在音頻方面，Inkling 能夠完成語音轉(zhuǎn)寫、遵循語音指令、回答與錄音內(nèi)容相關(guān)的問題，并對較長的音頻進行推理。在 VoiceBench、MMAU 和 AudioMC 等基準測試中，Inkling 躋身能力最強的開放權(quán)重音頻模型之列。

在視覺方面，Inkling 支持圖像輸入，可以描述視覺內(nèi)容、回答相關(guān)問題，并基于給定的視覺信息展開深入推理。它在圖表、示意圖和數(shù)學(xué)視覺推理任務(wù)上表現(xiàn)突出。推理過程中，Inkling 還可以調(diào)用 Python 工具，通過放大、裁剪等操作輔助理解圖像，并將視覺推理與基于代碼的推理無縫結(jié)合。

作為該系列的首個模型，Inkling 為后續(xù)研究建立了一個較為穩(wěn)固的多模態(tài)基礎(chǔ)。Thinking Machines Lab 表示，隨著模型規(guī)模和訓(xùn)練流程在后續(xù)版本中繼續(xù)擴展，Inkling 的多模態(tài)能力還將進一步提升。

在 FORTRESS 基準測試中，Inkling 展現(xiàn)出了較強的內(nèi)置安全防護能力。Inkling 拒絕了更多有害請求，對無害對應(yīng)問題的誤拒率也更低。

Inkling 基準測試

團隊從多個能力維度對 Inkling 進行了基準評測。所有評測均將推理強度設(shè)置為 0.99，溫度設(shè)置為 1.0。所有編程類評測的單條軌跡最大 token 上限均為 25.6 萬。

為了提高結(jié)果的一致性，在條件允許的情況下，團隊對自家模型和外部模型都采用第三方公開評測結(jié)果。具體而言，Humanity’s Last Exam、GPQA Diamond、GDPVal、Tau 3 Banking、AA Omniscience 和 MMMU Pro 等評測均采用 Artificial Analysis 公布的分數(shù)。

Inkling 的訓(xùn)練過程

架構(gòu)

Inkling 是一款混合專家 Transformer 模型，在常見架構(gòu)方案的基礎(chǔ)上做了幾項調(diào)整，主要用于提升效率和長上下文性能。

其 MoE 設(shè)計整體沿用了 DeepSeek-V3 的思路。每個 MoE 層包含 256 個路由專家和 2 個共享專家，每個 token 會激活 6 個路由專家。Inkling 采用基于 sigmoid 的路由機制，并通過無輔助損失的負載均衡偏置來平衡專家負載。被選中的路由專家與共享專家的得分會進行聯(lián)合歸一化，再用于加權(quán)組合各自的輸出。

在注意力機制方面，Inkling 以 5∶1 的比例交替設(shè)置滑動窗口注意力層和全局注意力層，并采用 8 個 KV 頭。團隊發(fā)現(xiàn)，與更常見的旋轉(zhuǎn)位置編碼 RoPE 相比，相對位置嵌入在位置編碼上表現(xiàn)更好，也能更有效地外推到更長的序列。

此外，團隊還在兩個位置引入了短卷積。一個位置位于每個注意力層的 Key 和 Value 投影之后，另一個位置位于注意力分支和 MLP 殘差分支的輸出處，在它們重新匯入主殘差流之前進行處理。

訓(xùn)練

Inkling 使用 45 萬億 token 完成預(yù)訓(xùn)練，數(shù)據(jù)涵蓋文本、圖像、音頻和視頻等多種內(nèi)容類型。

訓(xùn)練采用混合優(yōu)化策略。大規(guī)模矩陣權(quán)重使用 Muon 優(yōu)化器，其他參數(shù)使用 Adam 優(yōu)化器。超參數(shù)調(diào)度方案則借鑒了團隊此前關(guān)于模塊化流形的研究。團隊還將權(quán)重衰減強度與學(xué)習(xí)率的平方綁定。實驗表明，這種方法能夠在不同訓(xùn)練周期下保持模型權(quán)重整體規(guī)模的穩(wěn)定。

在后訓(xùn)練階段，Inkling 覆蓋了數(shù)學(xué)、智能體編程與工具調(diào)用、音頻、圖像、對話和安全等多個領(lǐng)域。

為了啟動后訓(xùn)練，團隊首先使用合成數(shù)據(jù)進行了一輪監(jiān)督微調(diào)。這些數(shù)據(jù)由包括 Kimi K2.5 在內(nèi)的開放權(quán)重模型生成。該啟動階段只占用了較少的計算資源，絕大部分算力都投入到大規(guī)模強化學(xué)習(xí)中，訓(xùn)練環(huán)境同時包括合成環(huán)境和人工構(gòu)建環(huán)境。

Inkling 是 Thinking Machines Lab 首次開展的大規(guī)模模型訓(xùn)練，使用 NVIDIA GB300 NVL72 系統(tǒng)完成。未來的模型將在預(yù)訓(xùn)練、后訓(xùn)練和強化學(xué)習(xí)等階段進一步擴大計算規(guī)模。

大規(guī)模強化學(xué)習(xí)

團隊通過大規(guī)模異步強化學(xué)習(xí)塑造模型行為，并提升其推理能力和整體性能。

下圖展示了模型在一組留出推理評測集合上的得分，其中包括 AIME、HLE、GPQA 等測試。強化學(xué)習(xí)最終擴展到超過 3000 萬次 rollout，并在兩次持續(xù)時間較長的連續(xù)訓(xùn)練中保持穩(wěn)定。

在整個訓(xùn)練過程中，模型的推理性能持續(xù)呈現(xiàn)對數(shù)線性增長，最終實現(xiàn)了顯著提升。

團隊通過修改系統(tǒng)消息，并調(diào)整每個 token 的成本，為不同樣本設(shè)定不同的推理強度。這使模型在不同 rollout 中使用不同數(shù)量的 token，并逐步學(xué)會控制自身的推理強度。

團隊還觀察到，隨著強化學(xué)習(xí)訓(xùn)練推進，模型的推理風(fēng)格出現(xiàn)了一種自然形成的變化。思維鏈逐漸變得更加簡潔，減少了不必要的語法性表達，同時仍然保持可理解性，也沒有影響最終答案。

這種變化并非獎勵機制刻意引導(dǎo)的結(jié)果，單純追求效率就推動了思維鏈的壓縮。Cognition 團隊近期在訓(xùn)練 SWE-1.7 時，也觀察到了類似現(xiàn)象。

下面展示了 Inkling 在回答同一道數(shù)學(xué)題時，其思維鏈如何隨著強化學(xué)習(xí)訓(xùn)練逐步演變。

Inkling-Small

在發(fā)布 Inkling 的同時，Thinking Machines Lab 還帶來了 Inkling-Small 的預(yù)覽版。它是一款總參數(shù)量為 2760 億的混合專家模型，激活參數(shù)量為 120 億，低于 Inkling 的 410 億，在性能與延遲之間提供了不同的權(quán)衡。

在多項基準測試中，Inkling-Small 的表現(xiàn)與更大規(guī)模的 Inkling 持平，甚至有所超越。這主要得益于團隊針對小模型改進了預(yù)訓(xùn)練數(shù)據(jù)和訓(xùn)練方案。

兩款模型采用相同的可擴展后訓(xùn)練技術(shù)棧。

早期測試結(jié)果顯示，Inkling-Small 在推理和智能體任務(wù)上的表現(xiàn)已經(jīng)接近 Inkling。憑借 120 億激活參數(shù)和可控的推理強度，它尤其適合對成本和延遲較為敏感的工作負載，例如編程、使用大模型進行評測打分，以及為其他模型生成合成數(shù)據(jù)。

目前，Thinking Machines Lab 正在完成 Inkling-Small 的最后測試，相關(guān)工作結(jié)束后將發(fā)布完整模型權(quán)重。

定制 Inkling

許多現(xiàn)實問題，即使是能力最強的通用模型也難以妥善解決。通過微調(diào)引入企業(yè)或組織的專業(yè)知識，可以進一步彌補這一差距。Tinker 客戶的實際使用經(jīng)驗也印證了這一點。

Inkling 的后訓(xùn)練結(jié)果以及大規(guī)模強化學(xué)習(xí)表現(xiàn)表明，它能夠通過微調(diào)快速學(xué)習(xí)和掌握新的能力。

Inkling 的開放與使用方式

Inkling 目前已經(jīng)上線 Tinker，提供 6.4 萬和 25.6 萬 token 兩種上下文長度。限時期間，Inkling 的使用價格享受五折優(yōu)惠，完整定價信息可在官方文檔中查看。

為了幫助 Tinker 用戶更方便地微調(diào) Inkling，團隊更新了 Cookbook，使其原生支持 Inkling，并新增了三套示例方案，用于展示 Inkling 獨特的音頻能力。

團隊還發(fā)布了 tml-renderer，支持在包含工具調(diào)用、推理內(nèi)容和多模態(tài)輸入的場景下，更可靠地進行采樣和后訓(xùn)練。

在正式啟動訓(xùn)練任務(wù)之前，用戶可以先進入 Tinker 控制臺中的 Inkling Playground 體驗?zāi)Ｐ汀Ｔ摴δ芴峁┝奶旖缑妫⒓闪酥悄荏w式網(wǎng)絡(luò)搜索能力，限時免費開放。

Thinking Machines Lab 還與多家生態(tài)合作伙伴展開合作，幫助客戶部署在 Tinker 上微調(diào)得到的模型檢查點。

Inkling 已經(jīng)可以通過 Together AI、Fireworks、Modal、Databricks 和 Baseten 的 API 使用。

在開源推理和強化學(xué)習(xí)支持方面，團隊與 RadixArk 合作，為 SGLang 和 Miles 提供支持；與 Inferact 合作適配 vLLM；與 Lightseek 合作支持 TokenSpeed 推理；與 Unsloth 合作支持 llama.cpp；同時還與 Hugging Face 合作，完成了對 Transformers 的集成。

Inkling 的完整模型權(quán)重已經(jīng)發(fā)布在 Hugging Face 上，包括原始模型檢查點，以及面向 NVIDIA Blackwell 系統(tǒng)高效推理的 NVFP4 檢查點。

參考鏈接：https://thinkingmachines.ai/news/introducing-inkling/