![]()
作者 |Tofu
來源 | 至頂AI實驗室
本地 AI,開始接手開發者最容易拖延的那些活。
這一次,它不只是坐在聊天框里回答“這段代碼怎么寫”,而是打開一個項目,讀需求、建文件、跑命令、修報錯,把一個應用從空目錄一步步推到能用。
YouTube 上的 Techno Tim 把兩臺華碩 Ascent GX10 接進 coding agent 工作流,給它安排了一個任務:做一個 HomeLab 服務追蹤器,用來管理 Proxmox、TrueNAS、Grafana、Plex、Pi-hole 這些家庭實驗室服務。
它要處理項目初始化、依賴配置、頁面交互、數據保存、功能修復和后續 UI 改造。也就是說,它要面對的,正是那些高頻出現、技術含金量不一定有多高,但極度消耗精力和耐心的“工程臟活”。
那么問題來了:本地 AI 能搞定這種任務嗎?
本地模型要有用,先得能碰到項目
把模型跑起來,只能證明機器的算力。要讓本地 AI 真的參與工作,它還要進入開發環境、拿到項目文件、調用終端命令、看到運行結果,再根據錯誤繼續修改。
Tim 搭了一套接近實際開發的鏈路:模型文件放在 NAS 上,本地 AI 機器通過網絡加載模型;vLLM 把模型變成一個本地服務端點;OpenCode 作為 coding agent,拿到項目文件和終端執行能力;開發者繼續在自己的 VS Code 里工作,但真正跑模型、執行命令、修改項目的是本地機器。
![]()
這套流程看起來有點折騰,卻剛好對應 coding agent 的核心能力。模型不能只給建議,它要能看到項目結構,改動文件,運行命令,觀察報錯,再繼續修。
他給 agent 安排的任務也挺復雜:做一個 HomeLab 服務追蹤器,用來管理 Proxmox、TrueNAS、Grafana、Plex、Pi-hole 這類家庭實驗室服務。需求里包含技術棧、數據模型、測試要求和完成標準,還要求模型先創建 spec、task、agents、progress 文件,再按步驟推進。
一個項目從零開始,往往不只需要寫代碼,還要處理依賴、配置、接口、測試、狀態保存、頁面交互和后續修改。coding agent 如果只能生成代碼片段,價值很有限;只有能在這些環節之間來回跑,才算真正接近開發工作流。
一臺機器能接活,但還需要人帶著
第一輪測試只用一臺 GX10,模型是 Qwen 3.6 35B A3B FP8。
![]()
它確實把應用做出來了。模型會創建待辦列表,會生成規劃文件,也能開始寫代碼、跑項目。最后,一個 HomeLab 服務追蹤器真的能打開,頁面里有服務分類,也有基礎管理功能。
就是過程并不絲滑。
模型中途會卡在工具調用里,需要他反復輸入 continue 才能繼續。初版應用跑起來后,過濾、編輯、保存都有問題。Tim 讓它修復這些功能,并要求寫回歸測試,模型又陷入循環。后來,他明確要求模型先聚焦過濾功能,并讓它查看相關文檔,模型才找到 search params 的正確用法,把過濾問題修好。
![]()
這個結果很接近今天本地 coding agent 的狀態。
它能幫你干活,但你沒法完全撒手不管。它能理解任務、創建項目、改代碼、跑命令,也能在人的提示下修 Bug。只是它還需要人盯著,需要人打斷、糾偏、補上下文、做驗收……
更準確地說,它像一個執行力不錯、經驗還不夠的初級助理。你給它目標和邊界,它可以替你處理一部分重復、瑣碎、耗時間的工程活;你把任務丟給它就離開,它大概率會搞砸。
模型變大后,做事方式明顯變了
小規模的模型不太行,那么更大的模型呢?在第二輪測試里,Tim 把兩臺 GX10 連在一起,運行更大的 MiniMax M2.7 AWQ 4-bit 模型。
![]()
不過光是搭建的過程就不那么容易。兩臺機器要通過高速線纜連接,先驗證 NCCL 通信,再配置 vLLM 多節點運行。模型文件大小也不是全部壓力,真正運行時還要給 KV Cache 留空間。中間經歷了版本調整、庫編譯、容器權限排查等問題,最后通過 privileged 模式,才把速度從 26 到 28 tokens/s 提升到接近 41 tokens/s。
這說明,本地 AI 的門檻已經不只是“裝個模型”。模型、服務層、容器、網絡、存儲、監控、agent 工具,任何一層出問題,都會影響最終體驗。
但大模型跑起來后,agent 的表現確實變了。
同樣是做 HomeLab 服務追蹤器,這次模型沒有手寫一堆配置文件,而是主動調用 create-next-app,先生成 Next.js 項目腳手架。真實開發者通常也會先用成熟工具搭好項目結構,再進入功能實現。
應用跑起來后,過濾、編輯、刪除、新增服務這些核心操作基本可用。刷新頁面后,數據也能保持。隨后 Tim 繼續讓它優化 UI,模型引入 DaisyUI,改善按鈕、表單、字體、徽章、對話框和空狀態,讓應用從“能用”變得更像一個可以演示的產品原型。
![]()
他還給了一個特別任務:把整個應用改成 Windows XP 桌面風格。模型也真的做出了開始菜單、窗口、狀態欄、服務圖標和可移動窗口。
![]()
![]()
![]()
這個看起來有點“鬧著玩”的任務其實也是一次很好的壓力測試。模型需要理解現有項目結構,做大范圍視覺改造,還要盡量保持功能可用。它考驗的其實就是 agent 能不能圍繞一個已有項目持續迭代。
這一輪,agent 少走了很多彎路。它會選工具,會搭框架,會保持功能完整,也能接著做后續改造。硬件讓模型跑起來,模型規模影響 agent 的做事質量,工具鏈決定它能不能真正碰到項目。
至頂AI實驗室洞見
本地方案當然不是免費午餐。單臺設備價格不低,國內電商平臺的售價大約在3萬多起售,兩臺成本直接翻倍,還要額外購買 QSFP 連接線。功耗也要算進去,單機模型駐留時會持續耗電,雙機高負載時功耗能到 300W 左右。再加上調環境、看日志、換版本、改容器權限、處理模型加載和網絡通信,普通用戶很難開箱就用。
至頂 AI 實驗室之前也對這款華碩 Ascent GX10 進行過評測,這臺機器本身確實很強。單機 128GB 統一內存,已經能支撐不少本地大模型任務;雙機、三機互聯之后,能力會繼續往上走。我們當時做過三機互聯測試,通過 ConnectX-7、Ray 集群和 vLLM,把它們串起來運行 2000 億參數級模型,過程雖然折騰,但最終確實跑通了。這說明 GX10 這類桌面 AI 設備的硬件上限并不低,尤其在多機互聯狀態下,它已經能摸到過去只有小型 GPU 集群才會討論的問題。
但強大,不代表它適合每個人。
到了 coding agent 場景里,問題不只是“模型能不能跑起來”,還要看它能不能穩定地跑進你的日常工作流。你要準備模型文件、NAS 存儲、vLLM 服務、Docker 環境、遠程開發鏈路、agent 工具,還要處理網絡、權限、版本和各種奇怪報錯。只要其中一層出問題,AI 就可能卡住,項目也會停在半路。
所以本地 AI 更適合一類明確的人:長期使用 AI 寫代碼,愿意把模型部署、項目環境和執行鏈路放在自己手里的人。
這類人面對的任務,往往不夠性感,卻很耗時間。比如老項目依賴升級、移動應用適配新系統、測試補齊、UI 細節修復、腳本整理、內部工具重構。人當然能做,但很容易拖。coding agent 的價值,恰好在這些地方顯現。
你給它一個清晰的目標,它在后臺不斷嘗試、修改、運行、修復;你保留最終判斷,負責 review 和驗收。云端 agent 已經證明這種工作方式有價值,本地 AI 現在要回答的問題,是這種工作方式能不能長期跑在桌面環境里。
我想,通過 Tim 的測試,我們已經知道答案:可以,但還需要人坐在駕駛位上。
本地 AI 還會卡住,還會犯錯,還會誤判,也會把環境搞亂。可它已經能打開一個項目,理解需求,修改代碼,運行檢查,把一個小應用一步步推到可用狀態。
它離“放手讓 AI 寫完項目”還有距離,但離“把一部分工程臟活交給本地機器”已經很近了。
常見問題
Q1:兩臺華碩 GX10 跑 Coding Agent,最大的變化是什么?
最大的變化不在于模型能不能跑起來,而在于本地 AI 開始進入真實開發流程。它可以通過 vLLM 提供本地模型服務,再由 OpenCode 接入項目和終端,完成讀需求、建項目、改代碼、跑命令、修 Bug、改 UI 這些動作。也就是說,本地 AI 不再只是回答代碼問題,而是開始參與項目推進。
Q2:一臺 GX10 和兩臺 GX10 的體驗差別明顯嗎?
明顯。一臺 GX10 跑 Qwen 35B 時,已經能把應用做出來,但過程里需要人頻繁介入,比如繼續執行、補充提示、修正方向。兩臺 GX10 跑更大的 MiniMax M2.7 后,Agent 的選擇更接近真實開發流程,比如會主動用 create-next-app 搭腳手架,功能完成度和后續 UI 迭代也更好。模型變大之后,少走彎路這件事會變得很直觀。
Q3:本地 Coding Agent 適合普通開發者買嗎?
要看使用頻率和“折騰”的意愿。它適合長期使用 AI 寫代碼、愿意部署本地模型、能處理 Docker、vLLM、網絡、權限和日志問題的人。它可以承擔老項目升級、測試補齊、UI 修復、內部工具開發這類長期被拖延的工程活。但如果只是偶爾讓 AI 寫幾段代碼,云端 Agent 依然更省心。
END本文來自至頂AI實驗室,一個專注于對AI計算機、工作站及各類AI相關硬件設備,開展基于真實使用場景評測的研究機構。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.