從云端走向終端，這項獲獎成果讓AI更“懂”你

在手機上對智能助手說一句“幫我打車到上海虹橋站”，手機便能自動打開打車軟件、識別目的地、完成下單操作；收到一張會議通知截圖，AI能看懂時間、地點，主動問你是否需要添加日程。這些看似簡單的跨APP任務背后，是一項科研人員持續多年攻堅的硬核技術。

近日，由復旦大學可信具身智能研究院姜育剛教授團隊牽頭完成的“端側多模態感知與交互關鍵技術及應用”項目榮獲2025年度上海市科技進步獎一等獎。該項目圍繞終端設備上的多模態感知、理解、推理與交互，突破了大模型在手機、電腦、攝像頭、機器人等終端上“跑不動、看不清、想不遠”等瓶頸，讓AI從云端加速走向用戶身邊的各類智能設備。

讓AI在終端上也能“跑得動”

走進位于灣谷科技園的復旦大學可信具身智能研究院，明亮的實驗空間里陳列著各類計算機終端與機器人設備。機械臂在編程指令下靈活轉動，搭載著團隊自研的視觸覺傳感器的夾爪，正穩穩地夾起一片薯片和一塊豆腐，動作輕柔，毫發無損。幾名研究人員正圍在屏幕前，對多模態感知與交互系統進行反復測試。

這個去年成立的跨學科創新實體，專注具身智能的前沿研究與應用落地，是復旦大學面向世界科技前沿的重要戰略布局。其中，“端側多模態感知與交互關鍵技術及應用” 正是研究院沿著端側智能方向持續推進的重要成果之一。

所謂“端側智能”，就是在手機、電腦、攝像頭、機器人等終端上直接實現AI的感知、推理與交互，盡可能減少對云端的依賴。一方面，終端設備能夠獲取豐富的圖像、語音、文本、觸覺等多模態信息；另一方面，終端設備的算力、內存、電量和散熱條件較為有限，難以部署現有的大參數量模型。

如何讓大模型既具備強大的理解和推理能力，又能在資源受限的終端設備上高效運行，是端側智能必須跨越的關鍵難題。一個大模型參數量動輒千億，好比要把一頭藍鯨裝進魚缸。“傳統方法受限于感知精度不足、長鏈路推理交互受阻、模型計算資源消耗巨大等瓶頸，難以直接部署于算力嚴重受限的終端設備。”項目團隊帶頭人、復旦大學副校長姜育剛說。

團隊歷時多年攻關，圍繞“感知精細化、交互智能化、架構輕量化”三大方向取得突破。在感知層面，項目提升了終端設備對圖像、語音、文本、界面和環境信息的綜合理解能力，使AI能夠更準確把握復雜場景中的關鍵信息；在交互層面，項目增強了系統面向復雜任務的連續推理、規劃和反饋調整能力，讓智能體能夠從單次響應走向多步驟協同；在部署層面，項目通過模型輕量化、計算調度和資源壓縮等方法，降低大模型在終端運行的資源門檻，使更多智能能力能夠在本地設備上穩定、高效運行。

一場20多年的“長跑”

2005年，當姜育剛進入人工智能領域時，該領域遠不像今天這樣炙手可熱。“很多時候，我們做的是一些看起來離應用還很遠的基礎研究。”回憶往昔，姜育剛說，“科研有時候像長跑，真正困難的是在外界還沒有形成共識的時候，仍然相信這個方向有價值，并且持續深耕下去。”

回過頭看，團隊早年在視頻理解、圖文對齊、細粒度識別、多模態建模等方向上的持續探索，不僅在當時推動了相關基礎研究和應用發展，也逐步沉淀為今天端側多模態智能研究的重要方法基礎。隨著大模型技術興起和終端應用場景不斷拓展，這些長期積累進一步與真實設備和產業需求相結合，在更廣泛的應用場景中持續釋放價值。

“企業需求和高校研究形成了很好的互相牽引。”姜育剛說。端側智能不是單一算法的突破，而是從模型架構、感知能力、交互機制到系統工程的整體創新。搭載該技術的榮耀MagicOS操作系統，成為行業首個通過中國信通院《終端智能化分級測試方案》L3等級認證的系統。項目成果還在華為、騰訊、海康威視等企業實現規模化落地，服務用戶超十億。這些成果還獲得了包括圖靈獎得主在內的知名學者正面評價，被阿里云、英偉達等知名公司的大模型采用。姜育剛教授因在相關領域的突出貢獻，當選IEEE Fellow、IAPR Fellow，并獲得新基石科學基金會科學探索獎、何梁何利基金科學與技術創新獎。

創新生態

加速科技成果“落地生金”

在研究院的實驗室里，端側智能的探索仍在繼續。從手機、電腦、攝像頭到機器人，終端正在成為AI感知世界、理解環境、服務用戶的重要入口。復旦大學可信具身智能研究院也正沿著這一方向，圍繞各類終端設備上的多模態感知、智能交互和操作持續開展研究，推動人工智能從數字世界走進物理世界。

成立不到一年，研究院已與8家企業共建聯合實驗室，成為前沿智能技術從理論走向應用的關鍵樞紐。團隊研制的視觸覺傳感器，可以讓機器人擁有類似人類皮膚的“觸覺神經”，空間分辨率達到每平方厘米4萬個感知點，精度甚至超越人類指尖。相比傳統電子皮膚，成本降低到原來的五十分之一。這項技術已成功應用于機器人靈巧手和夾爪，在高精度分揀和精細化操作等任務中表現出色。近期，研究院孵化的企業還完成了近億元天使輪融資，將推動相關技術加快走向工廠、家庭等真實應用場景。

復旦大學的這項獲獎成果，是楊浦區深化“三區聯動”、推動科技成果轉化的生動縮影。作為上海科創中心重要承載區，近年來楊浦充分發揮科創教育資源優勢，加強與在地高校科研院所、創新機構以及科技企業的合作，共同打造了一批推動科技創新的高能級的平臺：與復旦大學共建上海智能產業創新研究院、未來谷C8創新源，推動前沿技術孵化與產業化落地；與同濟大學共建上海數學與交叉學科研究院（丘成桐院士領銜）、同濟致藍概念驗證中心及中國（上海）數字城市研究院，夯實基礎研究與場景驗證能力；聯合字節跳動旗下火山引擎打造全國首個政府主導的“城市AI工廠”，推動人工智能賦能千行百業。

從大學校區的創新源頭，到灣谷科技園的轉化平臺，再到公共社區的產業生態，楊浦正著力當好重大科技創新的“后勤部長”和科技成果轉化應用的“戰略合伙人”，讓更多科研成果跨越“死亡之谷”，讓越來越多“實驗室里的黑科技”正加速變為“百姓口袋里的日用品”。

文字：毛信慧

圖片：毛信慧

編輯：周夢真

*轉載請注明來自上海楊浦官方微信

“上海楊浦”新媒體平臺

求喜歡