阿里榮膺 ACL 2026 最佳資源論文獎(jiǎng)，揭示AI Agent的專(zhuān)家能力鴻溝

過(guò)去一年，Deep Research Agent 被視為大模型落地的下一個(gè)突破口，它們會(huì)檢索、能用工具、可多步推理，在一個(gè)個(gè)榜單上高歌猛進(jìn)。但把它們放到真實(shí)世界的專(zhuān)業(yè)場(chǎng)景里，表現(xiàn)是否也同樣亮眼？

先從一個(gè)每天都在發(fā)生、卻少有人細(xì)想的問(wèn)題說(shuō)起：每一筆跨境貨物通關(guān)，都必須先回答一個(gè)看似不起眼、卻牽動(dòng)巨大利益的問(wèn)題：這件商品的海關(guān)編碼（HS Code，商品名稱(chēng)及編碼協(xié)調(diào)制度）是什么？這串編碼是支撐全球每年約 26 萬(wàn)億美元貿(mào)易的商品「唯一數(shù)字身份證」，直接決定關(guān)稅計(jì)算與合規(guī)成敗。如果報(bào)錯(cuò)，輕則多繳稅款，重則貨物滯留、觸發(fā)合規(guī)風(fēng)險(xiǎn)。

那么，如果讓今天最強(qiáng)的一批 AI Agent 去做這件跨境電商關(guān)務(wù)專(zhuān)員每天都在做的工作：給一件商品報(bào)出正確的海關(guān)編碼，結(jié)果會(huì)怎樣？

答案可能出乎意料：表現(xiàn)最好的系統(tǒng)也只能做對(duì)約 49.4%，而一位從業(yè)十年的人類(lèi)專(zhuān)家能達(dá)到 95%。這道接近腰斬的差距背后，藏著當(dāng)前 AI Agent 一塊被長(zhǎng)期忽視的能力盲區(qū)，面對(duì)人類(lèi)專(zhuān)家編寫(xiě)的層級(jí)規(guī)則，先進(jìn)的 Deep Search Agent 集體「失靈」了。

正是這項(xiàng)工作，讓阿里巴巴 ATH-MaaS（Alibaba Token Hub Model-as-a-Service）應(yīng)用算法團(tuán)隊(duì)摘得了ACL 2026 最佳資源論文獎(jiǎng)（Best Resource Paper Award）。他們構(gòu)建的HSCodeComp，是首個(gè)面向真實(shí)、專(zhuān)家級(jí)場(chǎng)景的深度檢索 Agent 層級(jí)規(guī)則應(yīng)用基準(zhǔn)。

• 論文標(biāo)題：HSCodeComp: A Realistic and Expert-level Agent Benchmark for Hierarchical Rule Application
• 論文鏈接：https://aclanthology.org/2026.acl-long.937
• 代碼鏈接：https://github.com/ATH-MaaS/Marco-DeepResearch
  
• 數(shù)據(jù)集地址：https://huggingface.co/datasets/ATH-MaaS/HSCodeComp

ACL 2026 Best Resource Paper Award 獲獎(jiǎng)證書(shū)以及現(xiàn)場(chǎng)頒獎(jiǎng)。

在本屆全球僅 4 篇的最佳資源論文中，HSCodeComp 有著獨(dú)特的分量：

• ACL 2026 Best Resource Awards 中唯一的中國(guó)公司；
• 阿里巴巴首個(gè) ACL Best 系列獎(jiǎng)項(xiàng)；
• 該研究完全由阿里巴巴 ATH-MaaS 團(tuán)隊(duì)從真實(shí)業(yè)務(wù)落地中提煉和沉淀。

獎(jiǎng)項(xiàng)的背后，是一個(gè)看似不起眼、卻讓最強(qiáng) AI Agent 集體折戟的問(wèn)題。那么，這到底是一項(xiàng)什么樣的任務(wù)，能同時(shí)撐起 26 萬(wàn)億美元的全球貿(mào)易、又讓人類(lèi)專(zhuān)家與頂尖 Agent 拉開(kāi)近一倍的差距？下面，我們就從這項(xiàng)工作本身說(shuō)起。

一、26 萬(wàn)億美元貿(mào)易背后的「專(zhuān)家級(jí)」任務(wù)

被忽視的層級(jí)規(guī)則應(yīng)用

回到任務(wù)本身。前面提到，HS Code 是決定這 26 萬(wàn)億美元貿(mào)易如何通關(guān)、如何計(jì)稅的關(guān)鍵，但真正報(bào)出它的過(guò)程，遠(yuǎn)比想象中專(zhuān)業(yè)。在阿里巴巴跨境電商的海關(guān)商品編碼場(chǎng)景中，這一專(zhuān)家級(jí)任務(wù)需要將商品沿著人類(lèi)專(zhuān)家編寫(xiě)的規(guī)則樹(shù)逐層向下推導(dǎo)、精確歸類(lèi)到唯一的國(guó)際通用編碼上。團(tuán)隊(duì)將其定義為層級(jí)規(guī)則應(yīng)用（Hierarchical Rule Application），并發(fā)現(xiàn)它恰恰是當(dāng)前 Agent 評(píng)測(cè)的一塊關(guān)鍵盲區(qū)。

Figure 1｜HS Code 是全球跨境貿(mào)易的基石，反映了理解真實(shí)商品世界所需的復(fù)雜度與專(zhuān)業(yè)性。

在實(shí)際申報(bào)中，資深關(guān)務(wù)專(zhuān)家需要依據(jù)嚴(yán)密的層級(jí)關(guān)稅規(guī)則，把一件商品精準(zhǔn)映射到唯一的10 位細(xì)分編碼，逐級(jí)細(xì)化：

2位｜章（Chapter）→4 位｜品目（Heading）→6 位｜子目（Sub-heading）→8/10 位｜國(guó)別碼（Country-specific）

這本質(zhì)上是一條必須滿(mǎn)足規(guī)則樹(shù)上所有約束的合法路徑：只有每一層判定都正確，最終 10 位編碼才成立。以常見(jiàn)的「AirPods 硅膠保護(hù)套」為例，申報(bào)時(shí)就要逐層回答一連串專(zhuān)業(yè)問(wèn)題：它的材質(zhì)「硅膠」該歸入塑料（第 39 章）還是橡膠（第 40 章）？它算「表面覆蓋物」還是「攜帶盒」？是「配件」還是「零件」？任何一層判錯(cuò)，最終 10 位編碼就全盤(pán)皆錯(cuò)。

Figure 2｜AirPods 硅膠保護(hù)套分類(lèi)樣例。

它的本質(zhì)：一個(gè)「檢索 + 推理」的深度檢索任務(wù)

本質(zhì)上，這是一個(gè)專(zhuān)家級(jí)的 Deep Search 任務(wù)。因?yàn)?Agent 無(wú)法只靠?jī)?nèi)部知識(shí)作答，它必須像人類(lèi)專(zhuān)家一樣，逐級(jí)調(diào)用工具去檢索最新的相關(guān)專(zhuān)家規(guī)則與知識(shí)，再一步步向下推導(dǎo)找到最終的 10 位 HS Code。形式化來(lái)看，這是一個(gè)映射函數(shù)：

• X 多模態(tài)商品檔案：標(biāo)題、結(jié)構(gòu)化屬性（如材質(zhì)、包裝尺寸）、平臺(tái)類(lèi)目、商品圖片（捕捉文本缺失的紋理 / 形態(tài)等視覺(jué)特征）、價(jià)格與幣種。

• R 分層規(guī)則：包含官方層級(jí)關(guān)稅規(guī)則（源自 eWTP 平臺(tái)聚合的權(quán)威美國(guó) HTSUS 稅則），以及關(guān)稅專(zhuān)家多年積累的專(zhuān)業(yè)決策規(guī)則。

• K 領(lǐng)域知識(shí)庫(kù)：歷史海關(guān)裁定庫(kù)（美國(guó)CROSS系統(tǒng)），作為 few-shot 范例幫助處理規(guī)則模糊的邊緣情況。

• Y 唯一的 10 位 HS Code：必須是分類(lèi)樹(shù)上滿(mǎn)足所有約束的一條合法路徑。

如下圖的菜刀案例所示，f 并非一步到位的分類(lèi)，而是一個(gè)多步「檢索 — 推理 — 回溯」循環(huán)：每往下推一層（鎖定兩位編碼），都同時(shí)依賴(lài)逐位推理與調(diào)用工具讀取規(guī)則 / 裁定（GRI 規(guī)則、CROSS 裁定、屬性核對(duì)）。一旦某一層判錯(cuò)，后續(xù)每一位都建立在錯(cuò)誤前提之上。一位錯(cuò)，全碼錯(cuò)。

Figure 3｜每一步向下鉆取都同時(shí)依賴(lài)「逐位推理」與「工具調(diào)用讀規(guī)則」。

Level 3：被忽視的第三層能力

那么，這類(lèi)專(zhuān)家級(jí) Deep Search 與已有的 Deep Search 任務(wù)有何本質(zhì)差異？團(tuán)隊(duì)把 Agent 所需的知識(shí)復(fù)雜度劃分為遞進(jìn)的三個(gè)層次：

• Level 1 開(kāi)放域數(shù)據(jù)：理解與使用海量真實(shí)世界網(wǎng)絡(luò)數(shù)據(jù)的能力，代表工作有 BrowseComp、WebArena、GAIA。

• Level 2 結(jié)構(gòu)化數(shù)據(jù)：精確利用數(shù)據(jù)庫(kù)、知識(shí)圖譜等結(jié)構(gòu)化資源，代表工作有 MedBrowseComp、FinSearchComp。

• Level 3 分層規(guī)則數(shù)據(jù)（本文焦點(diǎn)）：在前兩者之上，精準(zhǔn)應(yīng)用人類(lèi)專(zhuān)家撰寫(xiě)的層級(jí)專(zhuān)業(yè)規(guī)則。這正是當(dāng)前評(píng)測(cè)的關(guān)鍵盲區(qū)。

Figure 4｜三級(jí)知識(shí)復(fù)雜度：從「讀懂網(wǎng)頁(yè)」到「用好結(jié)構(gòu)化知識(shí)」，再到「精確應(yīng)用分層專(zhuān)家規(guī)則」，能力要求逐級(jí)遞增；Level 3 仍是空白。

Level 3 之所以困難，源于分層規(guī)則天然帶著三大挑戰(zhàn)：

1.層級(jí)深、一步錯(cuò)步步錯(cuò)：上層一旦判錯(cuò)（如把硅膠誤歸入橡膠第 40 章），錯(cuò)誤會(huì)沿路徑級(jí)聯(lián)放大為整體失敗。

2.語(yǔ)義邊界模糊（如下圖藍(lán)框）：規(guī)則里充斥「除…… 以外」「其他」「主要用于」等自然語(yǔ)言限定，邊界模糊且高度依賴(lài)上下文。

3.邏輯高度耦合（如下圖紅框）：規(guī)則間充滿(mǎn)例外條款與交叉引用，某個(gè)品目能否成立往往取決于另一條注釋是否被觸發(fā)，牽一發(fā)而動(dòng)全身。

Figure 5｜層次化關(guān)稅規(guī)則示例。

而這三大挑戰(zhàn)并非 HS Code 獨(dú)有。分層規(guī)則應(yīng)用是眾多高價(jià)值專(zhuān)業(yè)垂類(lèi)的共性挑戰(zhàn)：從法律合規(guī)、稅務(wù)審計(jì)到醫(yī)療編碼，凡是依據(jù)人類(lèi)專(zhuān)家編寫(xiě)的層級(jí)規(guī)則的任務(wù)，都會(huì)遇到同樣的困境。一個(gè)典型例子是 WHO 的ICD-10 疾病編碼，它與 HS Code 擁有幾乎完全相同的分層規(guī)則結(jié)構(gòu)，而這些編碼直接決定患者的保險(xiǎn)覆蓋。因此解決層次規(guī)則應(yīng)用在真實(shí)世界應(yīng)用中會(huì)產(chǎn)生巨大的價(jià)值。

Figure 6｜共性挑戰(zhàn)案例：WHO ICD-10 層次化疾病編碼決定了各個(gè)國(guó)家患者醫(yī)保報(bào)銷(xiāo)情況。

二、如何做出一把「專(zhuān)家級(jí)」標(biāo)尺？

要可靠評(píng)估 Level 3 能力，就必須獲得高質(zhì)量的編碼標(biāo)注。由于任務(wù)的專(zhuān)業(yè)性與復(fù)雜度，HSCodeComp刻意回避了常見(jiàn)的眾包標(biāo)注與 LLM 自動(dòng)生成，轉(zhuǎn)而追求真正的專(zhuān)家標(biāo)注。它有三大設(shè)計(jì)特征：

• 真實(shí)世界噪聲：HSCodeComp 數(shù)據(jù)來(lái)源于真實(shí)的大規(guī)模全球電商平臺(tái)，從平臺(tái)銷(xiāo)量、評(píng)論數(shù)、熱銷(xiāo)榜單等維度綜合采樣構(gòu)建數(shù)據(jù)集，以盡可能還原真實(shí)世界分布。并且刻意保留冗長(zhǎng)標(biāo)題、錯(cuò)填屬性、誤導(dǎo)關(guān)鍵詞等噪聲，逼近電商「In-The-Wild」復(fù)雜度。

• 專(zhuān)家級(jí)：組建26 位關(guān)務(wù)專(zhuān)家（平均從業(yè) 5 年以上）的標(biāo)注團(tuán)隊(duì)，按 6 步 pipeline 標(biāo)注，最終專(zhuān)家分歧率僅約 2%。

• 真實(shí)規(guī)模：最終包含632 個(gè)真實(shí)商品，自然橫跨32 個(gè)大類(lèi)，商品與編碼覆蓋范圍廣。

標(biāo)注遵循「雙人獨(dú)立標(biāo)注 — 高級(jí)仲裁 — 抽樣復(fù)核」的六步專(zhuān)業(yè)工作流：前四步覆蓋商品檔案抽取與分層規(guī)則應(yīng)用，后兩步做嚴(yán)格的專(zhuān)家交叉驗(yàn)證，兩位專(zhuān)家獨(dú)立標(biāo)注、編碼一致才接受，分歧由資深專(zhuān)家仲裁，另有第四位資深專(zhuān)家對(duì)隨機(jī) 10% 樣本重標(biāo)，最終分歧率僅 2%。

Figure 7｜六步專(zhuān)家標(biāo)注流程。

Figure 8｜品類(lèi)與章節(jié)分布：貼合真實(shí)貿(mào)易分布；最具挑戰(zhàn)的樣本恰恰集中在長(zhǎng)尾類(lèi)目（如 Novelty & Special Use 1.3%、Men's Clothing 2.2%）。

在評(píng)測(cè)指標(biāo)上，HSCodeComp 使用Exact Match Accuracy，報(bào)告 2/4/6/8/10 位準(zhǔn)確率，其中 10 位準(zhǔn)確率是對(duì)端到端層級(jí)推理最嚴(yán)格的衡量。

三、前沿 AI Agent 系統(tǒng)，集體「翻車(chē)」

團(tuán)隊(duì)在 HSCodeComp 上評(píng)測(cè)了28個(gè)最先進(jìn)系統(tǒng)，涵蓋 GPT-5.5、Claude-Opus-4.8、GLM-5.2、DeepSeek-V4-Pro、Qwen3.7-Max 等基礎(chǔ)模型，Hermes-Agent、SmolAgents、AWorld、AgentOrchestra、OWL、WebSailor 等開(kāi)源 Agent 框架，以及 Manus、Gemini Deep Research、Grok DeepSearch 等閉源商用系統(tǒng)。（在論文原有 23 個(gè)系統(tǒng)評(píng)測(cè)的基礎(chǔ)上，團(tuán)隊(duì)進(jìn)一步補(bǔ)充了 Hermes-Agent、最新 GLM-5.2、DeepSeek-V4-Pro、Qwen3.7-Max、GPT-5.5 等模型的評(píng)測(cè)，將規(guī)模擴(kuò)展到 28 個(gè)。）

核心發(fā)現(xiàn)：一道接近腰斬的鴻溝

Figure 9｜核心結(jié)果：最強(qiáng) Agent（10 位～49.4%）遠(yuǎn)遠(yuǎn)落后于人類(lèi)專(zhuān)家（95.0%）。

直接看 10 位編碼的 Exact Match Accuracy，結(jié)論指向同一個(gè)方向：

• 顯著鴻溝：表現(xiàn)最好的 Agent 也只有約49.4%，遠(yuǎn)遠(yuǎn)落后于人類(lèi)專(zhuān)家的95%，幾乎腰斬。而且隨著規(guī)則層級(jí)加深，Agent 性能持續(xù)衰減：在 2 位「章」級(jí)別尚能保持較高準(zhǔn)確率，但推進(jìn)到 10 位完整編碼時(shí)急劇坍塌。

• 增益微弱：這些前沿系統(tǒng)甚至只是勉強(qiáng)超過(guò)傳統(tǒng)機(jī)器學(xué)習(xí)方法（基于專(zhuān)家規(guī)則的決策樹(shù)系統(tǒng)約45.0%），卻付出了高得多的算力與推理成本。

• 結(jié)構(gòu)性瓶頸： 在 6k 條專(zhuān)家標(biāo)注數(shù)據(jù)上做 SFT 和 Agentic RL 訓(xùn)練，也只能把 Qwen Agent 提升到約65%。這說(shuō)明層級(jí)規(guī)則利用對(duì)當(dāng)前 AI Agent 是一個(gè)結(jié)構(gòu)性瓶頸，并非簡(jiǎn)單擴(kuò)展數(shù)據(jù)規(guī)模或模型參數(shù)就能解決。

為什么「多想幾次」反而更糟？

一個(gè)常見(jiàn)直覺(jué)是「多算幾次、多反思幾次總會(huì)更好」。但在 HSCodeComp 上，兩種標(biāo)準(zhǔn)的 Test-Time Scaling 策略均告失效：多數(shù)投票幾乎不帶來(lái)提升（Agent 無(wú)法區(qū)分「正確路徑」與「自信的錯(cuò)誤」，投票只是在同源錯(cuò)誤里挑眾數(shù)）；自我反思也非常微弱（模型既會(huì)糾正錯(cuò)誤，也會(huì)把正確樣本改錯(cuò)，更像盲目重試）。

Figure 10｜Test-Time Scaling 難以彌合差距：投票曲線(xiàn)趨于平臺(tái)，自反思不升反降。

更有意思的是，團(tuán)隊(duì)發(fā)現(xiàn)了一種推理漂移（Reasoning Drift）現(xiàn)象：強(qiáng)迫模型「想得更多」（增大 reasoning effort）非但不漲反而下滑，GPT-5 的 10 位準(zhǔn)確率隨推理深度從 40.82% 一路跌到 35.44%。根本原因在于，當(dāng)有價(jià)值信息位于領(lǐng)域知識(shí)與規(guī)則中時(shí)，缺乏準(zhǔn)確工具反饋的「自由發(fā)揮」會(huì)讓 Agent 幻覺(jué)出并不存在的約束。這啟發(fā)我們：對(duì)于有價(jià)值信息位于規(guī)則與知識(shí)中的專(zhuān)業(yè)任務(wù)，應(yīng)優(yōu)先做檢索利用，而非讓模型自己「想」。

到底哪些知識(shí)真正有用？

既然靠「想」和「投票」都不行，那到底哪些信息真正驅(qū)動(dòng)性能？答案清晰地指向三點(diǎn)，重要性排序?yàn)椋阂?guī)則 / 知識(shí)檢索（+8.5pt，地基）＞ CROSS 歷史裁定（+5~10pt，穩(wěn)定可靠）＞ 視覺(jué)信息（+4pt 且僅限強(qiáng) VLM，邊際補(bǔ)充）。

其一，Agent Harness 是不可或缺的地基。 把裸模型包進(jìn)能「檢索并應(yīng)用最新專(zhuān)家規(guī)則與知識(shí)」的 Agent 框架后，10 位準(zhǔn)確率從28.96%抬升到37.42%（6 個(gè) GPT-5 骨干 Agent 系統(tǒng)的平均，+8.5pt）。關(guān)鍵并不在模型「記得多少」，而在于能否即時(shí)檢索到最新的分層規(guī)則、并按優(yōu)先級(jí)逐層套用。規(guī)則不是簡(jiǎn)單塞進(jìn)上下文就行，只有讓 Agent 主動(dòng)檢索、動(dòng)態(tài)裁決，才能把知識(shí)真正轉(zhuǎn)化為準(zhǔn)確率。

Figure 11｜Agent scaffold 抬升 +8.5pt：6 個(gè) GPT-5 骨干 Agent 系統(tǒng)的平均 10 位準(zhǔn)確率（37.42%）顯著高于裸 GPT-5（28.96%）。

其二，CROSS 歷史裁定庫(kù)帶來(lái)最穩(wěn)定可靠的增益。 三個(gè)骨干模型接入后 10 位準(zhǔn)確率無(wú)一例外大幅提升（GLM-5.2 +9.65、DeepSeek-V4-Pro +7.76、Qwen3.7-Max +5.38）。因?yàn)檎鎸?shí)歷史裁定天然是高質(zhì)量的 few-shot 先例：當(dāng)規(guī)則語(yǔ)義模糊、多個(gè)品目看似都成立時(shí)，Agent 可以直接檢索相似判例、參照海關(guān)既往邏輯來(lái)消解歧義，相當(dāng)于給模型配了一本「判例詞典」。

Figure 12｜CROSS 歷史裁定庫(kù)帶來(lái)一致增益：三個(gè)骨干模型接入后 10 位準(zhǔn)確率均顯著提升。

其三，視覺(jué)信息有用，但只是邊際補(bǔ)充。 圖像能補(bǔ)齊文本缺失的物理細(xì)節(jié)（材質(zhì)、表面工藝、形態(tài)等），但增益有限且高度依賴(lài)骨干的視覺(jué)能力：GPT-5 +4.11（42.72%→46.83%），而 Claude-4-Sonnet 僅 +0.95、GPT-4o 幾乎紋絲不動(dòng)（+0.28）。也就是說(shuō)，只有足夠強(qiáng)的 VLM 才能真正「看懂」并用上圖里的信息，視覺(jué)是有益補(bǔ)充，卻替代不了對(duì)規(guī)則的精確應(yīng)用。

Figure 13｜視覺(jué)信號(hào)僅帶來(lái)邊際增益：GPT-5 +4.11，Claude-4-Sonnet、GPT-4o 幾乎無(wú)提升，越弱的骨干越用不上圖像里的物理細(xì)節(jié)。

這再次印證 HSCodeComp 是一個(gè)「規(guī)則 / 知識(shí)中心」而非「檢索算力中心」的任務(wù)：決定成敗的不是算得多快、想得多深，而是能否檢索到正確的專(zhuān)家規(guī)則與判例，并嚴(yán)格、逐層地把它們應(yīng)用到位。

難度從何而來(lái)？集中在長(zhǎng)尾品類(lèi)

最后把視角拉回?cái)?shù)據(jù)本身：HSCodeComp 的難度是天然的，還是被數(shù)據(jù)傾斜人為制造的？跨32 個(gè)一級(jí)品類(lèi)，團(tuán)隊(duì)統(tǒng)計(jì)了兩條互補(bǔ)分布：CID（最難樣本分布）：所有基線(xiàn)都判錯(cuò)的「硬骨頭」樣本在各品類(lèi)上的占比；APD（平均性能分布）：各品類(lèi)上所有基線(xiàn)的平均 10 位準(zhǔn)確率。

兩條分布共同揭示兩點(diǎn)：其一，最難的樣本高度集中在長(zhǎng)尾類(lèi)目。CID 顯示，全軍覆沒(méi)的樣本扎堆在 Novelty & Special Use（數(shù)據(jù)占比僅 1.3%）、Men's Clothing（2.2%）等長(zhǎng)尾品類(lèi)，它們描述非標(biāo)、樣本稀疏，恰好暴露了 Agent「把規(guī)則泛化到數(shù)據(jù)稀疏領(lǐng)域」的短板；其二，整體準(zhǔn)確率普遍偏低。絕大多數(shù)品類(lèi)的平均 10 位準(zhǔn)確率不足 25%，即便是數(shù)據(jù)占比最高的 Jewelry & Accessories、Home & Garden、Tools 等主流品類(lèi)也低于 18%。這說(shuō)明難度是分層規(guī)則本身固有的，且與品類(lèi)是否高頻無(wú)關(guān)：越是長(zhǎng)尾、越是非標(biāo)描述，規(guī)則應(yīng)用就越容易崩塌。

Figure 14｜按一級(jí)品類(lèi)的難度分布。左：最難樣本分布（CID）；右：平均性能分布（APD）；兩側(cè)藍(lán)色細(xì)條為該品類(lèi)的數(shù)據(jù)占比。最難樣本集中在 Novelty & Special Use、Men's Clothing 等長(zhǎng)尾類(lèi)目。

四、從基準(zhǔn)到落地：先評(píng)測(cè)、后優(yōu)化

HSCodeComp 不止是一篇評(píng)測(cè)論文?；诨鶞?zhǔn)上獲得的洞見(jiàn)，團(tuán)隊(duì)進(jìn)一步在跨境貿(mào)易數(shù)字關(guān)務(wù)真實(shí)垂類(lèi)場(chǎng)景中，落地了面向 HS Code 智能分類(lèi)的 Agent 系統(tǒng)，驗(yàn)證了「先評(píng)測(cè)、后落地」的完整閉環(huán)。

團(tuán)隊(duì)先用 HSCodeComp 量化了「當(dāng)前最強(qiáng) Agent 遠(yuǎn)低于人類(lèi)專(zhuān)家」的現(xiàn)狀，隨后設(shè)計(jì)了以 Qwen 為基座的 Agent 框架：多模態(tài)輸入解析 → 基于 Deep Search 的檢索增強(qiáng)推理（歷史標(biāo)簽、專(zhuān)家知識(shí)、海關(guān)裁定）→ 工具集成的逐級(jí)校驗(yàn) → 帶可審計(jì)證據(jù)鏈的結(jié)構(gòu)化輸出。通過(guò)在 6k 個(gè)專(zhuān)家標(biāo)注數(shù)據(jù)上做 SFT + Agentic RL 優(yōu)化，團(tuán)隊(duì)設(shè)計(jì)的 Agent 框架和模型 以約 65% 的準(zhǔn)確率穩(wěn)居 AI Agent 系統(tǒng)第一位，大幅領(lǐng)先最強(qiáng)通用 Agent（約 49.4%）。

但需清醒看到：即便如此，距離人類(lèi)專(zhuān)家的 95% 仍有明顯差距。這說(shuō)明分層規(guī)則應(yīng)用對(duì)當(dāng)前 AI Agent 屬于結(jié)構(gòu)性挑戰(zhàn)，下一步的關(guān)鍵在于強(qiáng)化錯(cuò)誤回溯、規(guī)則優(yōu)先級(jí)動(dòng)態(tài)判定，以及把推理牢牢錨定在專(zhuān)家規(guī)則與動(dòng)態(tài)知識(shí)之上的能力。

而正如前文所述，分層規(guī)則應(yīng)用是眾多高價(jià)值垂類(lèi)的共性挑戰(zhàn)：ICD-10 醫(yī)療編碼、美國(guó)《聯(lián)邦法規(guī)》（CFR）、法律合規(guī)與稅務(wù)審計(jì)等等。HSCodeComp 揭示的能力邊界與診斷方法具備天然的跨垂類(lèi)可遷移性，同一套「先評(píng)測(cè)、后優(yōu)化」的閉環(huán)，可以復(fù)用到這些同構(gòu)任務(wù)之上。

五、Marco-DeepResearch 系列

HSCodeComp 出自阿里巴巴ATH-MaaS（Alibaba Token Hub Model-as-a-Service）應(yīng)用算法團(tuán)隊(duì)，是其 Marco-DeepResearch 系列工作的一部分。該團(tuán)隊(duì)長(zhǎng)期投入 Deep Research Agent 方向，致力于推動(dòng)智能體在真實(shí)、專(zhuān)業(yè)的高價(jià)值垂類(lèi)場(chǎng)景（跨境電商、數(shù)字關(guān)務(wù)等）中的可靠落地。近期，團(tuán)隊(duì)在該方向持續(xù)產(chǎn)出系列成果，相關(guān)工作均已開(kāi)源：

• Agent 記憶 UMEM（ICML 2026 錄用）： 提出統(tǒng)一的記憶抽取與管理框架，讓 Agent 在自我進(jìn)化中學(xué)到可泛化的記憶而非實(shí)例噪聲，在多輪交互任務(wù)上最高提升 10.67%。

• 復(fù)雜深寬搜索 DeepWideSearch： 構(gòu)建首個(gè)同時(shí)考察「深度多跳推理」與「廣度大規(guī)模信息收集」的評(píng)測(cè)基準(zhǔn)，揭示即便最強(qiáng) Agent 平均成功率也僅 2.39%。

• Table-as-Search（ACL 2026 錄用）： 將信息檢索重構(gòu)為「表格填充」任務(wù)，以結(jié)構(gòu)化外部表格管理搜索狀態(tài)，統(tǒng)一深搜、寬搜與深寬搜，顯著超越主流基線(xiàn)與商用系統(tǒng)。

• Marco DeepResearch： 以「驗(yàn)證為中心」的設(shè)計(jì)貫通數(shù)據(jù)合成、軌跡構(gòu)建與測(cè)試時(shí)擴(kuò)展，讓 8B 模型在 BrowseComp 等高難基準(zhǔn)上比肩甚至超越約 30B 規(guī)模的 Deep Research 模型。

結(jié)語(yǔ)

在深度檢索 Agent 高歌猛進(jìn)的當(dāng)下，HSCodeComp 像一記冷靜的提醒：當(dāng) Agent 學(xué)會(huì)了「用工具」，下一道更高的門(mén)檻，是學(xué)會(huì)「敬畏規(guī)則」。HSCodeComp 的實(shí)驗(yàn)結(jié)果顯示層級(jí)規(guī)則應(yīng)用是一個(gè)無(wú)法靠單純 Scaling 填平的結(jié)構(gòu)性瓶頸。

它的價(jià)值不止于揭示問(wèn)題，更在于給出了一套可復(fù)用的診斷方法與優(yōu)化閉環(huán)：先用專(zhuān)家級(jí)基準(zhǔn)照出能力邊界，再通過(guò)檢索并嚴(yán)格應(yīng)用規(guī)則 / 判例來(lái)對(duì)癥下藥。面向未來(lái)，團(tuán)隊(duì)希望構(gòu)建能夠?qū)⑼评砝卫五^定在專(zhuān)家規(guī)則與動(dòng)態(tài)知識(shí)之上的 Agent：讓模型不再依賴(lài)內(nèi)部記憶去「猜」，而是像專(zhuān)家一樣逐級(jí)檢索、嚴(yán)格應(yīng)用規(guī)則，并在出錯(cuò)時(shí)可靠回溯。