企業(yè)智能體部署太多坑了！亞馬遜云科技甩出一部“防坑指南”

智東西
作者 ZeR0
編輯 漠影

智東西7月14日?qǐng)?bào)道，在近期舉行的亞馬遜云科技2026中國(guó)峰會(huì)上，亞馬遜全球副總裁、亞馬遜云科技亞太區(qū)聯(lián)席總裁儲(chǔ)瑞松談道，Agentic AI迎來爆發(fā)拐點(diǎn)，AI正從輔助工具轉(zhuǎn)變?yōu)橹苯咏桓犊珊饬繕I(yè)務(wù)結(jié)果的生產(chǎn)力。

為幫助企業(yè)推動(dòng)Agent從原型走向?qū)嶋H生產(chǎn)，亞馬遜云科技在峰會(huì)上發(fā)布《企業(yè)生產(chǎn)級(jí)智能體開發(fā)部署指南》，向企業(yè)提供從理論到實(shí)踐的系統(tǒng)工程指導(dǎo)。

據(jù)行研機(jī)構(gòu)預(yù)測(cè)，到2027年底將有超過四成的Agentic AI項(xiàng)目面臨被取消的風(fēng)險(xiǎn)；MIT調(diào)研顯示，僅約5%的組織報(bào)告生成式AI項(xiàng)目取得高回報(bào)。這些數(shù)據(jù)都指向Agent落地難的問題，成本攀升、業(yè)務(wù)價(jià)值不清晰、風(fēng)險(xiǎn)管控不足等挑戰(zhàn)，導(dǎo)致大量項(xiàng)目無法邁向?qū)嶋H生產(chǎn)階段，企業(yè)級(jí)Agent開發(fā)部署需要新的評(píng)估測(cè)試方法。

儲(chǔ)瑞松在峰會(huì)演講中提到企業(yè)在構(gòu)建AI Agent時(shí)，底層技術(shù)平臺(tái)可以通過采購(gòu)獲得，但評(píng)估標(biāo)準(zhǔn)必須由企業(yè)自主掌控。企業(yè)的核心競(jìng)爭(zhēng)壁壘在于其自有的黃金數(shù)據(jù)集和評(píng)分標(biāo)準(zhǔn)。只有掌握了評(píng)估，才真正掌握了Agent生命周期的核心。

在亞馬遜云科技團(tuán)隊(duì)看來，只有將評(píng)估確立為一切工程實(shí)踐的起點(diǎn)，才能為Agent的落地與規(guī)模化部署提供關(guān)鍵支撐，并確保Agent在復(fù)雜多變的業(yè)務(wù)場(chǎng)景中安全、穩(wěn)定、可靠地交付可衡量的商業(yè)價(jià)值。

為此，亞馬遜云科技《企業(yè)生產(chǎn)級(jí)智能體開發(fā)部署指南》通過四大核心板塊，系統(tǒng)性地為企業(yè)提供了可落地的工程路徑，以幫助企業(yè)加速實(shí)現(xiàn)Agentic業(yè)務(wù)轉(zhuǎn)型。

一、傳統(tǒng)軟件評(píng)估方法，為何對(duì)Agent失效？

真實(shí)業(yè)務(wù)環(huán)境中的智能體系統(tǒng)充滿不確定性，用戶意圖可能模糊，工具調(diào)用可能失敗，業(yè)務(wù)規(guī)則與外部知識(shí)可能持續(xù)變化，模型、提示詞、工具鏈和編排邏輯的調(diào)整都可能改變系統(tǒng)行為。

很多團(tuán)隊(duì)都經(jīng)歷過Agent Demo效果很好，但接入真實(shí)場(chǎng)景后卻失效的問題。其根源在于Agent與傳統(tǒng)軟件在技術(shù)底座上三個(gè)本質(zhì)差異：

首先是非確定性。傳統(tǒng)軟件的運(yùn)行邏輯是確定性的，有一套明確的對(duì)錯(cuò)標(biāo)準(zhǔn)。而Agent基于大模型運(yùn)行，輸出具有概率性，同樣輸入不一定能產(chǎn)生相同輸出，昨天通過測(cè)試，不意味著今天依然穩(wěn)定。目前沒有任何主流模型提供商承諾完全確定性的輸出。

其次，改了提示詞就是改了代碼。在傳統(tǒng)軟件里，改代碼會(huì)留痕，但提示詞不會(huì)。修改一段系統(tǒng)提示詞后，可能只是加句話，Agent的行為已經(jīng)發(fā)生根本性的變化，而且沒有任何靜態(tài)分析工具能提前進(jìn)行影響評(píng)估。因此每次提示詞變更都必須有配套的評(píng)估來量化影響。

最后是依賴會(huì)自己漂移。傳統(tǒng)軟件的依賴是鎖定的，升級(jí)會(huì)發(fā)生什么可預(yù)期。模型是隱式依賴，而且會(huì)自己更新。模型提供商的后臺(tái)悄悄升級(jí)，可能會(huì)導(dǎo)致Agent服務(wù)質(zhì)量在代碼無變動(dòng)的情況下產(chǎn)生變化。如果沒有持續(xù)的評(píng)估基線，這種漂移幾乎不會(huì)被及時(shí)發(fā)現(xiàn)。

亞馬遜云科技團(tuán)隊(duì)將這定義為一個(gè)“工程紀(jì)律”問題，評(píng)估則是承載一切工程實(shí)踐的地基。

二、Agent開發(fā)生命周期方法論：六環(huán)飛輪取代線性流水線

在《企業(yè)生產(chǎn)級(jí)智能體開發(fā)部署指南》中，亞馬遜云科技提出為智能體量身設(shè)計(jì)的開發(fā)生命周期——ADLC（Agent開發(fā)生命周期方法論），并將企業(yè)Agentic開發(fā)歸納為三類工程實(shí)踐：把評(píng)估跑起來、讓數(shù)據(jù)持續(xù)流入評(píng)估、讓系統(tǒng)架構(gòu)可被評(píng)估。

傳統(tǒng)軟件開發(fā)是線性的：需求→設(shè)計(jì)→開發(fā)→測(cè)試→上線。但這套邏輯對(duì)Agent不成立，因?yàn)锳gent在生產(chǎn)環(huán)境里的每次對(duì)話都是關(guān)于真實(shí)行為的寶貴數(shù)據(jù)。

而ADLC以評(píng)估驅(qū)動(dòng)，將流程劃分為“定標(biāo)準(zhǔn)、開發(fā)實(shí)現(xiàn)、效果評(píng)估、灰度上線、持續(xù)監(jiān)控和改進(jìn)循環(huán)”六個(gè)步驟，幫助企業(yè)構(gòu)建起首尾相連的閉環(huán)，實(shí)現(xiàn)Agent表現(xiàn)的持續(xù)迭代與優(yōu)化。

與傳統(tǒng)軟件開發(fā)流水線不同的是，在ADLC中，“生產(chǎn)”不是流程終點(diǎn)，而是飛輪最富價(jià)值的輸入，每個(gè)生產(chǎn)中暴露的真實(shí)失敗案例都比會(huì)議室里預(yù)設(shè)的測(cè)試用例更有價(jià)值，評(píng)估集因此會(huì)隨生產(chǎn)數(shù)據(jù)持續(xù)生長(zhǎng)。生產(chǎn)Trace還可沉淀為評(píng)估數(shù)據(jù)，進(jìn)而成為微調(diào)訓(xùn)練數(shù)據(jù)，形成復(fù)利回報(bào)。

在這套方法論中，“定義好”必須排在構(gòu)建之前，就像蓋樓前要先出圖紙。啟動(dòng)一個(gè)Agent項(xiàng)目應(yīng)產(chǎn)出四個(gè)具體交付物：Agent能力邊界的清晰定義、Agent的語氣與個(gè)性、每個(gè)工具與參數(shù)的精確描述、覆蓋常見與邊緣情況的基準(zhǔn)數(shù)據(jù)集。其中，基準(zhǔn)數(shù)據(jù)集是整個(gè)評(píng)估體系的“燃料”，是啟動(dòng)前就要準(zhǔn)備好的基礎(chǔ)設(shè)施。

三、避開Agent就緒三大誤區(qū)，沉淀出3 x 3矩陣評(píng)估方法論

團(tuán)隊(duì)誤判Agent已上線就緒，有三個(gè)典型的坑：只關(guān)注Agent準(zhǔn)確率指標(biāo)、用預(yù)期工具調(diào)用序列做精確匹配、先評(píng)估后觀測(cè)。

在與企業(yè)客戶合作的實(shí)踐中，亞馬遜云科技沉淀出一套“兩支柱+三類打分器”的評(píng)估方法論。

兩根支柱互相正交，像一個(gè)3 x 3矩陣。支柱一（三種評(píng)估粒度）包括黑盒/玻璃盒/白盒，決定評(píng)估粒度有多深——黑盒只看最終響應(yīng)、玻璃盒看完整執(zhí)行軌跡、白盒看單步調(diào)用；支柱二（三層證據(jù)權(quán)重）決定每個(gè)分?jǐn)?shù)有多大分量，第一層機(jī)械可驗(yàn)證、第二層半客觀、第三層主觀。

三類打分器與三層證據(jù)權(quán)重對(duì)齊：第一層用代碼規(guī)則，凡是能寫成代碼斷言的絕不交給評(píng)判模型；第二層用經(jīng)校準(zhǔn)的LLM-as-a-Judge，只管主觀維度，且評(píng)分標(biāo)準(zhǔn)必須由領(lǐng)域?qū)＜覍懗鰜怼⒃賹?duì)照人工標(biāo)注驗(yàn)證一致率；第三層人工負(fù)責(zé)抽檢和最終仲裁。

矩陣搭好了，企業(yè)需要測(cè)什么？

《企業(yè)生產(chǎn)級(jí)智能體開發(fā)部署指南》指出了企業(yè)評(píng)估Agent時(shí)應(yīng)覆蓋的“八類測(cè)量維度”，并提出一套由評(píng)估粒度與證據(jù)權(quán)重組成的量化評(píng)估框架，確保評(píng)估結(jié)果科學(xué)可信。

選指標(biāo)，就是在矩陣上為業(yè)務(wù)挑格子。

比如，一個(gè)問答智能體不需要盯工具與動(dòng)作正確性，一個(gè)不直接面客的內(nèi)部智能體可以放低對(duì)品牌語調(diào)的要求。

在一致性方面，需要區(qū)分兩個(gè)指標(biāo)：pass@k是k次里至少1次成功的概率，適合一次成功就夠的場(chǎng)景；pass^k是k次全部成功的概率，適合一致性至關(guān)重要的智能體。

該指南還討論了LLM-as-a-Judge的價(jià)值與邊界，并引入Agent-based Evaluation將專家級(jí)評(píng)審規(guī)模化。

四、把圖紙蓋成樓：三層評(píng)估庫(kù)、四步工作流與三個(gè)生產(chǎn)級(jí)實(shí)例

自2025年起，亞馬遜內(nèi)部已構(gòu)建數(shù)千個(gè)生產(chǎn)級(jí)Agent，沉淀出“自動(dòng)化評(píng)估工作流+三層評(píng)估庫(kù)”框架（底層評(píng)模型選型、中層評(píng)意圖/記憶/推理/工具等組件、上層評(píng)端到端結(jié)果），核心子集已產(chǎn)品化為Bedrock AgentCore Evaluations的14個(gè)內(nèi)置評(píng)估器，與Observability、Optimization形成閉環(huán)。

其Agentic AI評(píng)估框架不僅提供了一套能夠自動(dòng)分析Agent決策過程與執(zhí)行軌跡的自動(dòng)化評(píng)估工作流，還包括一個(gè)覆蓋底層大模型、中間核心組件到最終業(yè)務(wù)結(jié)果的“三層指標(biāo)評(píng)估庫(kù)”，把評(píng)估拆到組件粒度，從而能在出錯(cuò)時(shí)快速定位根因。

這套方法論能夠幫助企業(yè)在日常Agent開發(fā)中無縫嵌入評(píng)估機(jī)制，讓針對(duì)Agent表現(xiàn)的“可觀測(cè)、評(píng)估、優(yōu)化”的反饋形成可持續(xù)改進(jìn)的閉環(huán)。

《企業(yè)生產(chǎn)級(jí)智能體開發(fā)部署指南》剖析了三個(gè)不同維度的亞馬遜內(nèi)部生產(chǎn)級(jí)實(shí)踐案例，并附帶了已在開源社區(qū)發(fā)布、可快速上手的動(dòng)手實(shí)驗(yàn)代碼與模擬項(xiàng)目評(píng)估集，為企業(yè)提供具體落地的參考路徑。

（1）購(gòu)物助手（工具使用評(píng)估）： 對(duì)接成百上千API和Web服務(wù)，schema定義差會(huì)直接導(dǎo)致選錯(cuò)工具、推高延遲成本。解法是跨組織schema治理規(guī)范→LLM驅(qū)動(dòng)的API自助接入（數(shù)月壓縮為自動(dòng)流程）→基于歷史調(diào)用日志的回歸測(cè)試。

（2）客服Agent（意圖檢測(cè)評(píng)估）： 意圖識(shí)別錯(cuò)會(huì)級(jí)聯(lián)出路由錯(cuò)誤與體驗(yàn)崩塌。評(píng)估數(shù)據(jù)靠?jī)蓷l腿：一是匿名化歷史交互構(gòu)造“用戶查詢+期望意圖”的真值對(duì)，二是LLM模擬器扮演虛擬客戶批量生成長(zhǎng)尾場(chǎng)景，以低成本把評(píng)估集擴(kuò)展到“真實(shí)可能發(fā)生的”。

（3）賣家助手（多Agent協(xié)作評(píng)估）： Planner-Specialist模式下，除個(gè)體指標(biāo)外，還需評(píng)規(guī)劃得分、通信效率、協(xié)作成功率。多Agent交互可能產(chǎn)生設(shè)計(jì)者沒預(yù)料到的行為模式，因此HITL在多Agent場(chǎng)景是必選項(xiàng)，承擔(dān)起人工指標(biāo)難以替代把關(guān)職責(zé)。

結(jié)語：建立Agent工程紀(jì)律已是不可回避的課題

《企業(yè)生產(chǎn)級(jí)智能體開發(fā)部署指南》分享的方法論已經(jīng)在亞馬遜云科技多家行業(yè)客戶企業(yè)中得到應(yīng)用，并成功幫助企業(yè)突破了原型驗(yàn)證的瓶頸，實(shí)現(xiàn)了Agent在真實(shí)業(yè)務(wù)場(chǎng)景中的穩(wěn)定運(yùn)行與價(jià)值變現(xiàn)。

亞馬遜云科技認(rèn)為，在模型能力被快速商品化的當(dāng)下，真正構(gòu)成企業(yè)長(zhǎng)期差異化的，是一套貼合業(yè)務(wù)、沉淀真實(shí)生產(chǎn)Trace、校準(zhǔn)過評(píng)判器、顯式管理證據(jù)權(quán)重與漂移的評(píng)估體系。這套體系既要評(píng)估最終答案是否正確，又要觀察中間推理、工具調(diào)用、責(zé)任合規(guī)、延遲、成本和用戶體驗(yàn)等關(guān)鍵維度。

對(duì)于期望加速業(yè)務(wù)轉(zhuǎn)型、構(gòu)建核心競(jìng)爭(zhēng)壁壘的企業(yè)決策者而言，建立科學(xué)的Agent工程紀(jì)律已成為當(dāng)前不可回避的課題。未來Agentic AI的能力邊界仍將快速擴(kuò)展，構(gòu)建邊界清晰的評(píng)估體系能夠讓企業(yè)更有信心、更穩(wěn)健地將智能體引入生產(chǎn)系統(tǒng)，實(shí)現(xiàn)價(jià)值轉(zhuǎn)化。