江西
近日，第十屆開放環境下情感行為分析國際挑戰賽（簡稱10th ABAW）最終成績正式公布。云知聲攜手中國科學技術大學於俊副教授團隊表現亮眼，在情緒模仿強度估計賽道（Emotional Mimicry Intensity Estimation，EMI）和動作單元檢測賽道（Action Unit Detection，AU）中斬獲冠軍，在表情識別賽道（Expression Recognition，EXPR）中榮獲季軍，交出兩冠一季的優異答卷。依托賽事技術成果，聯合團隊三篇創新論文也在CVPR2026Workshop正式發表，彰顯國內團隊在情感計算與多模態理解領域的強勁實力。
CVPR是計算機視覺領域全球知名會議，ABAW作為其核心專題賽事，聚焦開放環境人類情感行為分析，是情感計算領域極具影響力的國際競賽。本屆賽事設置表情識別、動作單元檢測、情緒模仿強度估計等六大挑戰性任務，吸引了全球各地高校、科研機構與科技企業同臺競技。人類情感行為分析依托視覺、語音、文本等多模態信息解讀情緒與行為，是自然人機交互的核心方向，在智能助手、數字人、心理健康評估等領域擁有廣闊應用前景。
多模態技術創新突破，攻克真實場景難點
針對開放環境下信號噪聲、模態缺失、長時序依賴等行業痛點，聯合團隊針對不同賽道場景定制創新算法框架，實現技術突破。在情緒模仿強度估計（EMI）賽道，團隊提出TAEMI框架，打破傳統融合模式，將文本作為穩定語義錨點，通過文本錨定雙交叉注意力機制完成視覺、語音信號對齊融合，搭配可學習缺失模態標記與模態隨機丟棄策略，大幅提升模型在信號受損、模態缺失場景下的穩定性，該方案在Hume-Vidmimic2數據集上性能遠超現有基線。
動作單元檢測（AU）賽道方面，團隊搭建層次粒度對齊與狀態空間建?？蚣?。該框架采用DINOv2、WavLM兩大基礎模型提取音視頻特征，借助層次粒度對齊模塊關聯局部面部動作與全局語義，并引入Vision-Mamba架構實現線性復雜度的超長時序建模，結合語音引導狀態空間機制，深度融合音視頻線索，有效解決人臉姿態多變、長時序建模困難等問題。
補齊識別短板，完善技術體系布局
在表情識別（EXPR）賽道，團隊聚焦視覺遮擋、模態缺失與樣本類別不均衡三大難題，研發雙分支Transformer框架。該框架通過雙分支結構分別處理視覺、語音特征，利用交叉注意力實現跨模態交互；創新安全注意力機制，保障視覺信號缺失時模型可依托語音正常推理。同時，團隊采用焦點損失函數緩解數據長尾問題，并結合滑動窗口軟投票策略優化長視頻預測效果，有效提升復雜場景下表情識別的準確率與魯棒性，最終斬獲該賽道季軍。
長期以來，云知聲與中國科大圍繞多模態人工智能、情感計算開展深度產學研合作，持續推動技術落地。此次在ABAW賽事取得多項佳績，既是雙方技術積累的集中體現，也為開放環境情感行為分析提供了全新思路。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
