蘋(píng)果Mac電腦運(yùn)行本地大語(yǔ)言模型迎來(lái)性能飛躍

Ollama是一個(gè)專(zhuān)門(mén)在本地計(jì)算機(jī)上運(yùn)行大語(yǔ)言模型的運(yùn)行時(shí)系統(tǒng)，現(xiàn)已新增對(duì)蘋(píng)果開(kāi)源機(jī)器學(xué)習(xí)框架MLX的支持。此外，Ollama還改進(jìn)了緩存性能，并支持英偉達(dá)的NVFP4格式進(jìn)行模型壓縮，大幅提升了特定模型的內(nèi)存使用效率。

這些改進(jìn)結(jié)合在一起，為搭載蘋(píng)果芯片（M1或更新版本）的Mac電腦帶來(lái)了顯著的性能提升。時(shí)機(jī)恰到好處，因?yàn)楸镜啬Ｐ驼_(kāi)始在研究者和愛(ài)好者群體之外獲得更廣泛的關(guān)注。

最近OpenClaw的爆紅現(xiàn)象——在GitHub上迅速獲得超過(guò)30萬(wàn)個(gè)星標(biāo)，通過(guò)Moltbook等實(shí)驗(yàn)引起轟動(dòng)，并在中國(guó)引起特別關(guān)注——讓許多人開(kāi)始嘗試在自己的機(jī)器上運(yùn)行模型。

隨著開(kāi)發(fā)者對(duì)Claude Code或ChatGPT Codex等工具的速率限制和高昂訂閱費(fèi)用感到沮喪，本地編程模型的實(shí)驗(yàn)熱度不斷升溫。（Ollama最近還擴(kuò)展了Visual Studio Code集成功能。）

新支持功能目前處于預(yù)覽階段（Ollama 0.19版本），目前僅支持一個(gè)模型——阿里巴巴Qwen3.5的350億參數(shù)版本。對(duì)于普通用戶(hù)來(lái)說(shuō)，硬件要求相當(dāng)嚴(yán)格。根據(jù)Ollama的公告，用戶(hù)不僅需要配備蘋(píng)果芯片的Mac電腦，還需要至少32GB的內(nèi)存。

此外，Ollama現(xiàn)在能夠利用蘋(píng)果M5系列GPU中的全新神經(jīng)加速器，因此那些最新款Mac應(yīng)該在每秒Token數(shù)和Token響應(yīng)時(shí)間方面獲得額外優(yōu)勢(shì)。

雖然本地模型在基準(zhǔn)測(cè)試中仍落后于前沿模型，但我們正逐漸達(dá)到這樣一個(gè)程度：它們?cè)谀承┤蝿?wù)上已經(jīng)足夠好，用戶(hù)可能無(wú)需為此付費(fèi)訂閱。當(dāng)然，與基于云的服務(wù)相比，本地運(yùn)行模型還具有隱私優(yōu)勢(shì)，不過(guò)我們絕對(duì)不推薦像OpenClaw那樣讓模型深度訪問(wèn)系統(tǒng)的設(shè)置。主要障礙仍然是設(shè)置難度（Ollama主要是命令行工具，盡管已有其他界面可用）和硬件能力，特別是顯存需求。

蘋(píng)果的MLX框架為蘋(píng)果芯片的內(nèi)存提供了優(yōu)化訪問(wèn)，GPU和CPU共享內(nèi)存——這與Ollama之前針對(duì)的配備獨(dú)立GPU的臺(tái)式機(jī)采用了不同的方法。這并不意味著對(duì)大多數(shù)用戶(hù)來(lái)說(shuō)云端模型和本地模型之間的差距完全消失，但對(duì)現(xiàn)代Mac用戶(hù)來(lái)說(shuō)，這可能是朝著正確方向邁出的一步。

Ollama尚未公布MLX支持何時(shí)退出預(yù)覽階段并擴(kuò)展到更多模型的時(shí)間表。

Q&A

Q1：Ollama的MLX支持有什么新功能？

A：Ollama新增了對(duì)蘋(píng)果開(kāi)源機(jī)器學(xué)習(xí)框架MLX的支持，還改進(jìn)了緩存性能，并支持英偉達(dá)的NVFP4格式進(jìn)行模型壓縮，為搭載蘋(píng)果芯片的Mac電腦帶來(lái)顯著性能提升。

Q2：使用Ollama的MLX支持需要什么硬件配置？

A：需要配備蘋(píng)果芯片（M1或更新版本）的Mac電腦，并且至少需要32GB內(nèi)存。搭載M5系列GPU的最新Mac還能獲得額外的性能優(yōu)勢(shì)。

Q3：本地大語(yǔ)言模型相比云端模型有什么優(yōu)勢(shì)？

A：本地模型的主要優(yōu)勢(shì)是隱私保護(hù)，用戶(hù)數(shù)據(jù)不需要上傳到云端。此外，對(duì)于某些任務(wù)，本地模型已經(jīng)足夠好用，可以避免付費(fèi)訂閱云端服務(wù)的費(fèi)用。