對話上交大程遠：AI的終局不在云端，而在“感算一體”的物理世界

如今，在關于 AI 的討論中，大模型仍然占據著最突出的位置。但在它之外，另一條更貼近現實世界的方向正在悄然加速：端側 AI。

所謂端側AI，是指將算法和模型直接部署在機器人、智能汽車、消費電子、智能制造等終端設備上，使設備能夠在本地完成數據采集、分析、推理和決策，而無需依賴云端服務器持續聯網傳輸數據的技術模式。

以具身機器人為例，如果其動作決策完全依賴云端計算，網絡波動可能導致抓取、避障或交互動作延遲，影響操作安全和自然性；而搭載端側 AI，它就能在本地毫秒級完成手勢識別、物體抓取或行人避讓，不僅降低功耗，還能確保交互過程中敏感視頻或傳感數據不外傳，提升隱私與安全性。

從云端到端側，不僅是算力位置的遷移，更需要對整體架構進行重寫。傳統設備長期遵循“先采集、后傳輸、再計算”的串行邏輯，傳感器與處理器各自為政，數據搬運會消耗大量時間與能量。而端側 AI 則需要做到“感算一體”：讓感知與計算在物理層面深度融合，實現“感知即計算”。

在這方面，上海交通大學人工智能學院副教授程遠的研究方向頗具代表性。從清華大學的前沿交叉，到上海交通大學的系統研究，再到橫跨學術界與產業界的多段經歷，他始終聚焦一個問題：如何讓智能真正“落地”？

在采訪中，程遠對于每一個問題的解答幾乎都是以“系統性工程”的角度去看待。無論是探索突破傳統存算瓶頸的光子計算，還是重構端側硬件架構，他認為，AI 的規模化落地并非依賴算法單點突破，而是算力底座、物理器件與軟硬件協同設計的同步演進。

這種思路，也體現在他的創業實踐中。2019 年，程遠還在上交大讀博期間作為創始人成立了辛米爾科技，現擔任首席科學家。作為一家端側 AI 公司，辛米爾試圖打破傳統馮·諾依曼架構的邊界，將感知、計算與行動深度融合。在他們看來，AI 的下半場需要的不是更大的模型，而是更高效、更實時、能夠嵌入物理設備的硬件原生智能系統。

而這種硬件原生的端側能力，也是 Agentic AI 從“對話”走向“行動”的關鍵。當設備具備本地實時感知與自主決策能力，AI 便能擺脫對云端調度的絕對依賴，在真實場景中形成感知-規劃-執行的閉環，真正具備與環境持續交互的主體性。

在這次對話中，我們試圖沿著這一線索，理解一位同時身處學術前沿與產業一線的研究者，如何看待端側 AI 的技術拐點、Agentic AI 從云端走向終端的系統演進，以及光子計算等底層硬件創新將如何重塑下一代智能設備的形態與邊界。

以下是對話內容：

DeepTech：2026 年被稱為 Agentic AI 元年，AI 正在從 chatbot 向可行動的 agent 轉變。你如何理解這波 Agentic AI 熱潮？它與此前的大模型熱有何本質區別？

程遠：這波熱潮最核心的變化，是 AI 從“只會說”真正走向“會去做”。前一波大模型熱潮更多聚焦在內容生成和問題回答，本質上是信息輸出。而 Agentic AI 往前邁進了一步，它進入了任務閉環，需要感知環境、做出判斷、調用工具，最終落實到具體的行動和動作。

最大的區別在于評判標準變了。以前大家關心模型聰不聰明，現在更關心它能否把交代的事情做完，而且要做得穩定、低延時、魯棒可靠。這意味著問題已經不只是模型層面的問題，而是系統性問題。可以說，AI 的上半場解決的是"大模型能不能做出來"，下半場要回答的是"能不能真正用起來，并且規模化部署"。Agent 熱潮正代表了這個轉折點。

DeepTech：目前大多數人談到 Agentic AI 時，首先想到的是軟件層面的 agent，比如前段時間很火的 OpenClaw 等智能體，它們能訂機票、寫代碼、完成基礎工作。但你做的是硬件和端側 AI，能否介紹一下端側 agent 與云端 agent 之間的關系？你曾表示 agent 的未來不一定在云端，這個觀點基于什么考慮？

程遠：我一直認為云端和端側不是替代關系，而是分工關系。云端更像大腦，適合做復雜規劃、長鏈條邏輯推理和知識調用。端側則更像我們的反射神經，負責本地高頻、實時性的閉環響應。

一旦進入物理世界，很多事情是等不起的。例如機器人的避障、數據抓取、安全防護，制造業的人機協作安全控制與效能提升, 以及消費設備的實時交互和響應，這些都要求在本地快速完成感知、計算和動作的閉環。不可能所有數據都傳到計算中心再返回。

所以未來真正成熟的 agent，一定不只活在云端, 而是云端與端側協同的系統。越貼近真實物理世界，這個趨勢就越明顯。因為在具身智能、先進制造、消費終端這些場景中，時延、功耗、帶寬、隱私和成本都是繞不過去的約束。

DeepTech：為了更好的實現云端和端側的協同，你重點研究的技術方向是"感算一體"。能否用通俗的語言解釋一下什么是“感算一體”，它有什么特點？

程遠：通俗來講，感算一體就是不要把數據搬來搬去，而是在數據產生和收集的地方就把計算完成。傳統架構里，感知、存儲和計算是分開的。處理一個數據需要：采集—傳輸—存儲—計算。這個過程消耗了大量通信開銷，產生很多功耗和延時。實際上，很多中間花費都在數據搬運上，這部分甚至會占到總處理量的 70% 以上。

感算一體的特點是把計算融合到感知側，讓系統更快、更高效、更節約成本地處理多模態數據，比如視頻流、音頻流、傳感信號等。它特別適合那種既要觀察周邊環境、又要馬上做出反應的系統, 比如機器人、智能制造設備、消費電子終端。

DeepTech：但端側 AI 客戶面臨“效率三角”的挑戰：既要毫秒級實時響應、又要極低功耗和部署成本、還要處理視頻流和時序信號這樣的多模態數據。這三者在傳統架構下似乎是互相矛盾的。感算一體是怎么同時解決這三個問題的？

程遠：傳統架構里，這三件事確實經常互相沖突。想要更快，就得堆算力；一旦堆算力，功耗和成本就會上去；再疊加多模態連續數據，系統復雜度又更高。所以很多方案實驗室里能跑，到了現場就不經濟了。

感算一體的關鍵，不是簡單把功能實現，而是把鏈路做短，把很多無效的數據處理和通訊舍棄，在源頭即完成計算、決策與行動。這樣一來，實時性、功耗和成本就不再完全對沖。

比如在人機協作場景里，機器人需要實時判斷人是不是進入危險區域、人與設備的距離是不是越界、當前動作是不是存在安全風險。這里真正需要的不是“看得很懂”，而是“發現風險就立刻響應”。再比如在消費終端，設備越來越強調本地實時交互，這時候系統既要低功耗常開，又要快速響應用戶動作和環境變化。

DeepTech：傳統架構的這個障礙一直存在。為什么過去十幾年它沒能大規模產業化？當時遇到了什么困難？

程遠：這不只是概念性問題，更多是工程化難題。原理大家早就知道了，但過去一直難以產業化，因為它依賴全鏈條協同。不是說做出一款芯片、開發出某個算法、或者一個 SoC 模組就能支撐感算一體系統。它要求算法、芯片、傳感、系統以及場景都一起打通，才能真正落地實現。

過去很多方案停留在實驗驗證階段，本質上并沒有回答工程上的關鍵問題：能不能穩定跑下去? 能不能適配不同場景? 能不能真正節約成本? 能不能量產交付? 這些問題解決不了，感算一體這個原理就無法變成產品。

我們團隊這些年一直把這個問題當成系統能力來做，而不是單點技術，我們強調算力-算法協同設計方法，更強調從真實場景反推技術路線。所以歸根結底，真正讓感算一體技術落地的，不是某一個 demo，而是我們做到了系統級別的標準應用實現。

DeepTech：當前視覺端側 AI 正在從簡單的“判別式任務”（如 OCR、物體檢測）向“生成式/世界模型任務”演進。如果當感知端不再只是輸出一個坐標或標簽，而是需要輸出復雜的連續特征空間甚至是實時生成動作軌跡時，感算一體架構如何保持其功耗優勢？它如何避免淪為只能處理簡單任務的“特種芯片”，從而去承載更復雜的端側 agent？

程遠：感算一體架構不是為某些簡單專用的“特種芯片”設計的，相反，它恰恰是為更復雜的端側 agent 提供通用算力基礎設施而提出。

傳統端側 AI 的問題在于，傳感、存儲、計算和執行是分離的。它先把物理世界里的連續信號采集下來，再搬運到后端芯片中計算。這個模式在判別式任務里還能工作，但當任務進入世界模型、動作生成和實時交互時，數據量、時延和功耗都會迅速放大。因為物理世界不是一張靜態圖片，而是視頻、聲音、觸覺、運動狀態和環境變化共同構成的連續多模態流。

感算一體的優勢，是讓計算更靠近數據產生的位置，在感知的瞬間就完成一部分結構化理解。它不是簡單輸出一個標簽，而是把原始、高冗余、連續變化的物理信號，轉化為更緊湊、更有語義、更適合 agent 使用的特征空間。因此任務越復雜、數據越連續，感算一體減少數據搬運和無效計算的價值反而越明顯。

感算一體作為端側智能的底層架構，未來一定會向通用化、可重構和可持續學習方向發展：既能處理視覺，也能融合聲音、觸覺、傳感信號；既能支持固定任務，也能根據場景變化持續適配；既能服務判別式任務，也能支撐世界模型、動作規劃和本地 agent 的自進化。

DeepTech：您將端側比作反射神經，云端比作大腦。但以具身智能為例，目前的瓶頸往往在于“腦手不一”，云端理解了意圖，但端側系統無法精準執行。在您的研究中，如何解決端云之間的語義斷層？為了實現真正的 Agentic AI，我們是否需要一種全新的、能夠跨越云端與硬件層的統一通信協議？

程遠：“腦手不一”確實是具身智能現在很大的問題。云端大模型可能理解了行動意圖，但端側系統真正執行時，面對的是傳感器噪聲、控制延遲和安全邊界的不確定性。

具身智能正在走向分層架構，而不是所有智能都集中大腦里完成。云端更適合做高級計算，比如復雜規劃、長鏈條推理、和多任務調度；端側則需要具備原生智能，在本地完成高頻、實時、安全的感知、決策和行動。“腦手不一”的本質，是高級語義和底層執行之間缺少中間層。

未來的系統會更像一個多 agent 協同體系：云端有規劃 agent，端側有數據 agent、安全 agent、效能 agent，每個關鍵傳感器和執行部件都有局部智能。它們之間不是簡單的 API 調用關系，而是需要新的任務表達、狀態反饋和約束通信機制。

DeepTech：你認為現階段把感算一體和具身智能結合，達到我們剛才描述的理想狀態，最大的困難是什么？

程遠：目前這是一個系統級的難題，需要從多個層面突破：

首先是算力層面，我們需要更大算力的芯片去部署能夠在端側執行任務的 agent 系統。其次是算法層面，需要輕量化更高效的算法架構去完成想要達到的功能。最后是系統層面，需要延遲非常低的軟硬件協同設計去完成整體技術鏈路。我們采用感算一體這種架構，去完成算力和算法的完美融合，進而能夠完成端側自進化的 agent 任務。這是一個系統級別的難題，我們已經取得了很多突破。

DeepTech：為了解決算力問題，我發現你的研究還涉及光計算這些更前沿的方向。光計算和傳統電子計算有什么本質不同？它所解決的是什么問題？

程遠：最本質的區別，是它們依賴的載體和物理機制不同。傳統電子計算主要靠電子遷移和晶體管開關，光計算更多利用光的傳播、干涉、衍射這些過程來完成高并行計算。光計算算力能夠帶來的性能優勢，是能效上提升 3-6 個數量級，計算速度上同樣有 3 個數量級以上增益。

為什么現在大家重視光計算？因為今天 AI 對算力的需求增長太快了，電子體系在能耗和帶寬上的壓力越來越大，并且已經產生了顯而易見的 AI 能源問題。很多時候問題不是算不出來，而是代價太高。尤其是大規模線性計算，也就是矩陣、張量這類計算，恰恰是光計算非常有潛力去承載的部分。

所以我對光計算的理解，不是它去替代一切，而是它提供一種新的高能效計算引擎。

DeepTech：光計算在能效比上有幾個數量級的優勢，但光電轉換過程中的功耗損失和精度衰減一直是業界的痛點。您目前選擇做‘加速插件’這種務實路徑，是否意味著在現階段，光計算依然無法擺脫對電子系統依賴的局面？在算力需求激增的當下，光計算面臨的最迫切的挑戰是什么？

程遠：光計算的目標一定不是只做某些專用計算模塊，而是走向可重構、通用化的大規模計算平臺。它在信息維度、能耗和計算速度方面有天然物理優勢，可以帶來 3-6 個數量級的能效提升和延遲降低。當前光計算受制于器件工藝成熟度、系統魯棒性等實際問題，所以現階段最務實的路線，是先用光計算加速器切入 AI 里最密集、最耗能的部分，比如矩陣乘法、張量計算和并行推理。這樣可以在不推翻現有體系的情況下，把光計算的優勢先釋放出來。

長期來看，光計算一定不會只是依附在電子芯片上的加速模塊。真正的工程化挑戰，是讓計算、通信、存儲盡可能都在光域里完成，減少甚至擺脫反復的光電轉換。光計算的未來不是補充電子計算，而是在 AI 時代重構整個計算鏈路，用幾個數量級的能耗優勢，解決算力需求爆發和能源消耗之間的根本矛盾。

DeepTech：你覺得光計算會長期和硅基芯片、電子計算共存嗎？

程遠：我的判斷會比較務實一點。中期來說，一定是共存的。但長期來看，光計算其實有機會走向一個更通用的平臺，去大量取代電計算。因為光計算確實非常有潛力，它在功耗、通量和計算速度上面都有非常大的優勢。

但我們實際來講，它的難點也非常明確。不是說單個光計算單元擁有很高的處理速度，就能夠去實現大規模的計算，而是說能不能把它做成一個可編程、可重構，通用化、能夠接入現在計算生態的系統。如果把這些系統做出來，才能夠完成對電子計算的替代邏輯。

目前更現實的路徑是，中期來看，我們就把它作為一個高性能加速的插件切入進去，先替代比較適合它的那部分計算，然后再通過一些標準的接口和現有體系去兼容。長期來看，等到光電混合、封裝校準、計算魯棒性這些器件和電路級別的能力發展，伴隨著一整條產業鏈的逐漸成熟，光計算一定是可以完成通用大規模落地實現，對傳統電子計算形成強替代性。

所以這也是我目前推進光計算落地產業化的一個思路。我們不是一開始就把所有體系都推翻，去完全取代電計算，而是先從通用的光電加速卡做起，兼容目前已有的處理器架構和形態。

DeepTech：你在 2019 年就開始創業，當時你還在讀博，是什么契機讓你走上了這條道路？

程遠：最直接的原因，還是我一直強烈地感覺到，AI 技術如果不落地實際場景，它的價值其實沒有真正被釋放出來。

我當時的研究方向就是 AI 軟硬件協同設計，當時一邊做科研，一邊越來越清楚地看到，端側 AI 在真實世界里有一個很大的“最后一公里”問題。大家都在談模型發展有多快，但真正到了機器人、制造業和消費終端，卡住系統的往往不是模型精度，而是時延、功耗、成本和安全性。

所以創業對我來說，不是突然想換條路，而是想把研究里看到的方向，真正做成可落地的系統。辛米爾就是在這個背景下起來的。它讓我更深入地理解真實場景，也讓我更堅定一個判斷：未來決定 AI 能不能走進物理世界的，歸根結底還是算力-算法協同設計架構的基礎建設。

DeepTech：你既是上交大副教授又是公司創始人，學術和產業之間是如何平衡的？為什么沒有選擇 all in 一個角色？

程遠：這兩個角色其實沒有沖突關系，更多是互相校正。學術會逼著你去想第一性問題，去看五年、十年之后可能成立的新范式；產業會逼著你回到現實，去回答它今天能不能做、能不能落地、誰會真正買單。

我現在做的這個方向，本身就特別需要這兩邊同時在場。只做學術，容易停留在“看起來很對”；只做產業，又容易被短期需求牽著走，沒法往更底層的架構層做突破。我更希望做的是，把前沿研究真正壓到產業可用，再把產業里最真實的問題提煉回學術。這個閉環，對我來說是最重要的。

當學術和產業做的事情是同一目標時，其實是 1+1 小于 2 的，做相同的工作會產生數倍的結果，不會有精力難以分配的問題。

DeepTech：之前看過你在采訪里說到一個關于未來的設想:想讓智能計算像水電一樣融入物理世界。你心目中的萬物智能是什么樣子的？到時候會呈現出什么樣的形態？會讓我們的生活發生哪些更具體、可感知的變化？

程遠：我心里的萬物智能，不是到處都是會聊天的機器，而是各種設備都開始具備即時感知、即時判斷、即時行動的能力，而且這件事發生得很自然。也就是說，智能不再是一個單獨的軟件入口，而會像水電一樣，慢慢變成基礎能力，融在設備、系統和環境里。

更具體一點，未來的具身機器人不只是執行固定命令，它會自己做本地感知和行動決策；未來的制造設備不只是按程序運行，它會邊運行邊感知異常、邊優化過程；未來的手持設備、智能車、智能家居、攝像頭、無人機等也不只是被動響應，而會逐步具備更自然、更低延遲、更低功耗的本地智能交互能力。

很多今天看上去還比較“重”的智能能力，要耗費很多算力和能源資源，未來都會慢慢變成默認配置。我覺得背后真正的關鍵，不是讓每個設備都像一個小型數據中心，而是讓它們擁有低功耗、低時延、可以持續進化的基礎算力。

運營/排版：何晨龍

注：封面/首圖由 AI 輔助生成