三臺迷你主機硬跑70B大模型！場面十分尷尬

作者 | Tofu

來源 | 至頂AI實驗室

三臺迷你主機，跑起了單臺根本裝不下的70B 大模型。

這三臺主機就是華碩今年新推出的NUC 16 Pro，官方定位就是沖著本地部署大模型來的。不過每臺機器都只有64GB 內存，單看配置似乎并沒有很特別。但把三臺放在一起，就有點意思了：它們合力加載了一個約75GB 的Llama 3.3 70B dense 模型。

過去兩年，本地AI 的想象一直卡在這樣一個問題上：大模型能不能離開云端，真正跑進個人電腦、工作站和辦公室小服務器里？

YouTube視頻博主Alex Ziskind 這次的實驗，相當于把這個問題又往前推了一步：當一臺機器的內存已經裝不下模型時，幾臺小機器連在一起，能不能臨時拼出一臺更大的本地AI 設備？

把三臺迷你PC，改造成一個AI集群

Alex拿到的是華碩新發布的NUC 16 Pro。它看起來只是一個和Mac mini差不多大的桌面設備，但配置已經相當激進。

這臺機器可以搭載Intel Core Ultra Series 3 處理器，是華碩在2026 年3 月正式發布的新一代NUC 迷你主機，在國內的首發價格是10999元。官方給它的定位是面向本地AI、邊緣AI 和企業輕量部署的Copilot+ PC：最高可選Core Ultra X9，平臺AI 性能最高180 TOPS，X7/X9 版本支持最高96GB LPDDR5x 內存。

Alex Ziskind手里的版本是Core Ultra X7 358H；內部還有新一代Arc B390 GPU，以及獨立NPU，也就是專門用于AI 加速的神經網絡處理單元。每臺機器配有64GB 內存，接口也很豐富：雙Thunderbolt、雙HDMI、多個USB-A、雙以太網口，還支持Wi-Fi 7。

如果只把它當作開發機，它已經足夠體面。寫代碼、跑IDE、做本地服務、調小模型，都不再是幾年前迷你PC那種“能用但別太指望”的狀態。

不過Alex 想試試更刺激的。

他把三臺NUC 連接起來，嘗試拆分同一個大模型。問題的起點很簡單：一臺64GB 內存的NUC 16 Pro 裝不下一個75GB 左右的70B dense 模型，但三臺加起來就有192GB 內存。既然內存總量夠了，模型能否被切成幾塊，分別塞進三臺機器里運行？

本地AI 的理想狀態，一直是開發者擁有自己的模型、自己的數據和自己的推理環境，不必每次調用都依賴云端API，也不用擔心數據上傳之后的隱私邊界。但當模型規模變大，單機內存和顯存很快就會成為硬限制。Alex 的實驗，其實是在驗證一種更便宜、更靈活的可能性：幾臺桌面小機器能不能臨時拼出一個“小型AI 機房”。

GPU能加速，但只加速了一半

在真正組集群之前，Alex 先做了單機測試。

他要弄清楚一個基礎問題：這套硬件里面，CPU、GPU、NPU 到底誰更適合跑大語言模型？

第一組結果很漂亮。使用GPU 之后，模型處理prompt 的速度明顯提升。原本CPU 讀取上下文的速度大約是每秒1000 多個token，切到Arc GPU 后提升到約2200 tokens/s，接近翻倍。

這對于真實開發場景很重要。

當一個代碼助手讀取整個項目文件、分析長文檔、總結一段很長的上下文時，模型首先要做的就是prompt processing。這個階段可以并行計算，GPU 的吞吐能力能夠發揮出來，所以速度提升明顯。

真正尷尬的地方出現在第二階段。

模型開始逐字生成答案后，CPU 和GPU 的速度幾乎一樣，大約都在46 tokens/s 左右。GPU 算力更強，卻沒有讓生成速度明顯變快。

原因在于，大語言模型推理有兩種瓶頸。處理prompt 時，算力很關鍵；生成token 時，內存帶寬更關鍵。每生成一個新token，模型都要不斷訪問權重和緩存。在這類集成架構上，CPU 和GPU 共用同一套內存，最終速度被內存帶寬卡住。

Alex把它稱為memory wall，內存墻。

這也是本地AI 硬件經常被忽視的問題。很多產品會強調TOPS、GPU 核心數、AI 加速單元，但在大模型生成環節，單純堆算力無法繞過內存訪問壓力。算得再快，數據喂不上來，token 生成速度就很難上去。

NPU省電，卻輸在生態和效率

既然GPU 在生成階段被內存卡住，那專門為AI 設計的NPU 會不會更好？

Alex很快遇到了第一個問題：常用的Llama.cpp 不能調用這顆NPU。為了讓NPU 參與測試，他只能換到Intel 自家的OpenVINO。

小模型可以跑，大模型卻不順利。更尷尬的是，Intel 自己預先構建好的OpenVINO 模型，放到Intel 自己的NPU 上居然也會失敗。Alex 最后只能自己重新轉換模型，才把測試跑通。

這很像今天很多AI PC 硬件的現實狀態：芯片已經發布，宣傳很漂亮，但開發者真正用起來時，軟件棧還處在追趕階段。

跑通之后，NPU 的特征也比較清晰。它的功耗最低，發熱更小，機器更安靜。測試中，NPU 生成時大約消耗17W，GPU 大約24W，CPU 接近30W。

單看功耗，NPU 很有優勢。

但如果看“每生成一個token 消耗多少能量”，GPU 反而贏了。因為GPU 速度更快，完成同樣任務所需時間更短，攤到每個token 上，總能耗更低。

這給AI PC 的NPU 敘事潑了一盆冷水。NPU 很適合低功耗、輕量化、后臺型AI 任務，也適合長時間安靜運行。但在當前軟件和模型適配狀態下，它還沒有成為本地大模型推理的主力。

更尷尬的是，同一塊Intel GPU 上，Llama.cpp + Vulkan 的速度明顯超過Intel 自家的OpenVINO。前者大約34 tokens/s，后者只有大約14 tokens/s，差距達到2.5 倍左右。

可見，硬件強不強是一回事，但軟件能不能把它榨出來，就是另一回事了。

模型切分成功了，速度卻被砍半

單機摸底完成后，Alex 開始把三臺NUC 接成集群。

他先拿一個單臺機器也能裝下的Qwen-3-35B 模型做測試。理論上，多臺機器一起參與推理，速度應該更快，然而結果卻完全相反。

單機運行時，這個模型大約有35 tokens/s；拆到三臺機器上之后，只剩約17 tokens/s，幾乎砍半。

這里暴露了模型切分集群的核心問題。

當一個模型被拆到多臺機器上，每生成一個token，都要在不同機器之間傳遞中間數據。第一臺算完，把結果發給第二臺；第二臺繼續算，再發給第三臺；第三臺算完后，還要繼續進入下一輪。每一個token，都伴隨著多次跨機器通信。

在這種模式下，增加機器并不一定增加速度，反而可能增加網絡開銷。Alex 原本想獲得更多算力，結果先獲得了一堆通信流量。

這也解釋了為什么普通以太網拼出來的小型AI 集群，很難靠模型切分獲得明顯加速。對于大模型推理而言，機器之間的延遲和通信方式非常關鍵。沒有RDMA 這類低延遲技術，模型切分更多是在解決“裝不裝得下”的問題，而不是解決“跑得快不快”的問題。

隨后，Alex拿出了真正的重頭戲：Llama 3.3 70B。

這是一個dense 模型，量化后大小大約75GB，單臺64GB 內存的NUC 無法加載。但三臺機器合起來有192GB 內存，模型可以被拆分到三臺機器中。

這一次，它真的跑起來了。

只不過，速度只有約1.4 tokens/s，慢到并不適合日常使用。但實驗意義很明確：三臺桌面迷你PC 合力運行了單臺機器物理上無法容納的大模型。

這證明了模型切分集群的價值邊界：它能擴展容量，讓更大的模型啟動；速度表現則高度依賴內存、網絡和軟件棧。

Thunderbolt沒能救場

Alex接著嘗試了一個看起來很合理的改進：既然2.5G 以太網太慢，那就換更快的Thunderbolt。

每臺NUC 都有兩個Thunderbolt 接口，他把三臺機器接成三角形拓撲，讓每臺機器都能直接連接另外兩臺。Thunderbolt 帶寬達到20Gbps 級別，理論上遠高于普通2.5G 網口。

結果幾乎沒有變化。

70B模型在以太網下是1.43 tokens/s，換成Thunderbolt 后仍然是1.43 tokens/s。小模型的情況甚至更糟，不僅速度沒有提升，還出現崩潰。

這個結果再次說明，瓶頸不只是“線夠不夠粗”。

大模型切分帶來的通信壓力，很多時候體現在大量小消息的往返、同步和延遲上。更高的帶寬像是把高速公路拓寬了，但真正堵車的地方可能在路口、調度和紅綠燈。

這也是本地集群最容易誤判的地方。很多人會憑直覺認為，只要機器夠多、連接夠快，模型就會跑得更快。Alex 的測試表明，至少在這類迷你PC 和當前軟件棧上，事實并沒有這么簡單。

每臺機器各跑一份模型

實驗到這里，模型切分這條路已經很清楚：它適合擴容，不適合加速。

Alex最后換了一種集群思路。

如果模型本身能裝進單臺機器，就不要拆模型。讓每臺機器都加載一份完整模型，然后把不同請求分發給不同機器。這樣，每臺機器獨立處理任務，集群提升的是總吞吐量。

這一次結果終于變得好看了。

單臺機器在負載下大約能處理196 tokens/s；三臺機器一起服務，吞吐量接近500 tokens/s，提升到約2.5 倍。

這類架構更接近辦公室或小團隊本地AI 服務的真實需求。一個人問代碼，一個人總結文檔，一個人做知識庫檢索，三臺機器各自處理不同請求，體驗會明顯更好。

Alex最后給出的規則很直接：想運行單機裝不下的大模型，就拆分模型；想提升多用戶、多請求吞吐，就復制模型并分發任務。這兩種集群方式解決的是不同問題，如果把它們混在一起，很容易對本地AI 集群產生誤解。

至頂AI實驗室洞察

這次實驗沒有證明三臺迷你PC 可以替代專業GPU 服務器，也沒有證明AI PC 集群馬上會成為主流。它真正說明的是，本地AI 正在進入一個更具體的階段。

單機能做什么，集群能做什么，NPU 能做什么，GPU 又被什么限制，這些問題正在被真實測試拆開。

對NUC 16 Pro 這類硬件來說，硬件能力已經有明顯進步。迷你PC 可以跑本地模型，可以承擔開發任務，也可以通過集群方式服務團隊。但軟件棧仍然存在不少粗糙地帶。OpenVINO 對自家NPU 和GPU 的釋放還不夠充分，Llama.cpp 雖然更快，卻還不能調用NPU。硬件已經擺上桌，生態還在缺席。

這也是它和NVIDIA GB10 這類桌面AI 超級計算機最大的區別。GB10 從設計之初就瞄準大模型本地開發。以DGX Spark 為例，它把Grace Blackwell 超級芯片、128GB 統一內存、最高1 PFLOP FP4 AI 性能，以及NVIDIA 自家的AI 軟件棧打包在一起，目標就是讓開發者在桌面上完成模型測試、推理驗證和輕量微調。

更關鍵的是，GB10 這條路線一開始就把節點互聯考慮進去了。DGX Spark 機身后面帶有ConnectX-7 和QSFP 網絡接口，官方明確給出連接方案，至頂AI 實驗室也嘗試過把三臺DGX Spark 連接起來。當然，它用的也不是普通網線或Thunderbolt 線纜，而是200G QSFP 級別的DAC 線纜，還需要對應的網絡配置、NCCL 通信和RDMA/RoCE 鏈路配合。

所以，Alex 這次實驗的價值更像是在回答一個更接地氣的問題：買不起專為大模型設計的桌面AI 超算，這樣幾臺迷你主機能否成為“平替”？

我想答案已經很清楚了。

常見問題

Q：三臺迷你PC 跑起70B，是不是說明AI PC 已經能替代桌面AI 超算了？

A：還到不了這一步。三臺NUC 16 Pro 能把單臺裝不下的70B 模型跑起來，說明普通AI PC 已經可以通過集群方式突破單機內存限制。但它的生成速度只有約1.4 tokens/s，更多是在證明“能不能跑”，還談不上“好不好用”。像NVIDIA GB10 / DGX Spark 這類產品，從芯片、統一內存、互連到軟件棧，都是圍繞大模型開發設計的，穩定性和效率仍然是另一套級別。

Q：既然三臺機器一起跑，為什么速度反而變慢？

A：因為它采用的是模型切分。一個模型被拆到三臺機器上后，每生成一個token，都要在機器之間來回傳遞數據。這樣做擴大了可用內存，但也引入了網絡通信、同步和延遲開銷。對于大模型推理來說，瓶頸常常不只是算力，還有內存帶寬和節點之間的通信效率。所以三臺機器一起上，不一定讓單次生成更快。

Q：這種小型AI 集群到底適合什么場景？

A：它更適合兩類場景。第一類，是模型太大，單臺機器裝不下，只能通過切分先讓它跑起來，適合實驗、驗證和技術探索。第二類，是模型本身能裝進單機，每臺機器各跑一份完整模型，再把不同用戶請求分發過去，這樣可以提升整體吞吐，更適合辦公室、本地開發團隊或小型私有AI 服務。真正要追求低延遲、高穩定和少折騰，大模型專用設備依然更省心。

END本文來自至頂AI實驗室，一個專注于對AI計算機、工作站及各類AI相關硬件設備，開展基于真實使用場景評測的研究機構。