編碼智能體,上半年出盡了風(fēng)頭。
智能體正在部署到越來越廣泛的應(yīng)用場景中。其中軟件開發(fā)是AI采用最早、也最突出的領(lǐng)域之一,同時(shí)也是受AI影響程度最高的職業(yè)之一。資本喜歡講述的故事,是AI把人類碼農(nóng)的事都干了,再把高價(jià)值的服務(wù)業(yè)都干了,就是個(gè)十萬億美元級(jí)別的市場。
如果一家AI企業(yè),推出更好的寫代碼工具,它的員工能用這些工具消耗更多的token,成倍提升寫代碼的效率,它就會(huì)得到資本的追捧。引領(lǐng)這一敘事的,如Anthropic等,甚至提出AI的遞歸自我提升(RSI),很快不需要人類協(xié)助了。
但是,真實(shí)的經(jīng)濟(jì)表現(xiàn),與技術(shù)的敘事,并不是一回事,即使AI圈子甚至想改寫經(jīng)濟(jì)學(xué)教科書。
一項(xiàng)對(duì)10萬名軟件工程師、2022-2026年期間、從使用Copilot到Codex和Claude Code的研究表明,智能體對(duì)勞動(dòng)生產(chǎn)率的提升,即使是在純軟件領(lǐng)域,仍然處于非常初級(jí)的階段,尤其是仍然處于與人類的深度相依階段——好吧,你可以說人類仍然是智能體的“瓶頸”。
這項(xiàng)MIT和賓大沃頓的三位經(jīng)濟(jì)學(xué)者的研究,《寫代碼與交付代碼:AI 編碼工具歷代演進(jìn)中的生產(chǎn)率效應(yīng)》,最近發(fā)布于美國國家經(jīng)濟(jì)研究局(NBER)。
![]()
(本圖匯總了采用 AI 編程工具對(duì)代碼行數(shù)、接觸文件數(shù)、提交次數(shù)、拉取請(qǐng)求、獨(dú)立倉庫和發(fā)布版本影響的匹配事件研究估計(jì)值。 “自動(dòng)補(bǔ)全”指基于 AI 的代碼補(bǔ)全;“同步”指與開發(fā)者在本地協(xié)同工作的智能體(例如 Claude Code);“異步”指自主運(yùn)行直至任務(wù)完成的智能體(例如 GitHub Agent)。由于功能更強(qiáng)大的工具通常是與早期一代工具同時(shí)被采用的,因此本圖展示了采用截至并包括某一特定代際的所有工具的累積效應(yīng)。 來源:NBER論文 )
研究認(rèn)為智能體所帶來的編碼效率的提升顯著,但在走向真實(shí)生產(chǎn)層級(jí)中,效應(yīng)急劇衰減;即使AI增加了軟件供給,主要市場上新的應(yīng)用數(shù)量大幅度增加,但新應(yīng)用發(fā)布后總使用量并沒有增加,甚至產(chǎn)生了大量的“僵尸應(yīng)用”。
這說明能寫大量的代碼,僅僅是通向最終產(chǎn)出的一個(gè)階段,它的作用是有限的。在軟件領(lǐng)域,約束性瓶頸似乎正在從編寫代碼,轉(zhuǎn)向代碼審查、集成,并最終轉(zhuǎn)向軟件的分發(fā),所以這些,至少在目前還離不開人。
軟件產(chǎn)品的開發(fā)過程是一個(gè)層級(jí)結(jié)構(gòu),每一層級(jí)s都聚合了其下一層級(jí)的產(chǎn)出:代碼行組合成文件,文件組合成代碼提交,代碼提交組合成拉取請(qǐng)求,拉取請(qǐng)求組合成項(xiàng)目,項(xiàng)目再組合成發(fā)布版本。
![]()
(來源:NBER論文)
在軟件生產(chǎn)模型中,每一層的產(chǎn)出都通過一個(gè) CES 生產(chǎn)函數(shù),與下一層的人類投入結(jié)合。
CES 生產(chǎn)函數(shù),全稱是 Constant Elasticity of Substitution production function,中文通常譯為恒定替代彈性生產(chǎn)函數(shù)。它是一種經(jīng)濟(jì)學(xué)模型,用來描述不同投入要素之間能在多大程度上互相替代,并共同產(chǎn)出。
經(jīng)典例子是資本和勞動(dòng)如何共同生產(chǎn) GDP;在這篇論文里,則被用來描述 AI 生成的上游代碼產(chǎn)出和下游人類工作 如何共同形成更高層級(jí)的軟件產(chǎn)出。
AI 工具可以通過兩種方式影響生產(chǎn)流程中的每一層:一種是增強(qiáng)該層,使人類在這一層的每單位努力更有生產(chǎn)率;另一種是對(duì)該層進(jìn)行部分自動(dòng)化,使這一層不再需要直接的人類努力,但仍然需要人類審查。例如,自動(dòng)補(bǔ)全增強(qiáng)了代碼生產(chǎn),但并沒有使其自動(dòng)化;相比之下,異步智能體不僅自動(dòng)化了代碼生產(chǎn),也自動(dòng)化了整個(gè)拉取請(qǐng)求的生產(chǎn),盡管這些拉取請(qǐng)求在被合并之前仍然需要人類審查。
該模型中的關(guān)鍵參數(shù),是 AI 生成的上游產(chǎn)出與后續(xù)人類努力之間的替代彈性。兩者越難相互替代,AI 的生產(chǎn)率提升就越容易受到下游人類環(huán)節(jié)的瓶頸約束;同時(shí),隨著這些收益沿生產(chǎn)鏈條向后傳導(dǎo),其衰減也就越明顯。在存在互補(bǔ)性的情況下,即使上游環(huán)節(jié)實(shí)現(xiàn)無限自動(dòng)化,最終生產(chǎn)率收益也仍然是有限的。
為了將這一框架帶入數(shù)據(jù)分析,研究者將公開的 GitHub 數(shù)據(jù)與微軟內(nèi)部遙測數(shù)據(jù)結(jié)合起來,構(gòu)建了與生產(chǎn)層級(jí)中每一層對(duì)應(yīng)的活動(dòng)指標(biāo),從代碼行數(shù)到發(fā)布版本,并識(shí)別開發(fā)者首次采用每一種工具的時(shí)間。
將GitHub 上可公開觀察到的 AI 使用情況與內(nèi)部訂閱數(shù)據(jù)相結(jié)合,能夠追蹤來自不同供應(yīng)商的多種工具:來自 GitHub Copilot 的自動(dòng)補(bǔ)全;來自 GitHub Copilot、Claude 和 Codex 的同步智能體;以及來自 GitHub Copilot 和 Codex 的異步智能體。
他們發(fā)現(xiàn),AI編碼工具顯著提高了開發(fā)者在任務(wù)層面的生產(chǎn)率,而且這種效應(yīng)會(huì)隨著一代代工具的演進(jìn)而增強(qiáng)。以提交數(shù)量為重點(diǎn)來看,自動(dòng)補(bǔ)全使任務(wù)層面生產(chǎn)率提高約 40%;如果將同步智能體的累計(jì)效果包括進(jìn)來,這一增幅上升到約 140%;而進(jìn)一步使用異步智能體,通過智能體生成的提交,又將增幅提高到 180%。這些效應(yīng)在活躍度較低的開發(fā)者身上更大,但在整個(gè)活躍度分布中仍然相當(dāng)顯著。總體而言,這些結(jié)果表明,隨著智能體式 AI 工具興起,軟件開發(fā)正在經(jīng)歷一次顯著的生產(chǎn)率轉(zhuǎn)變。
這些任務(wù)層面的生產(chǎn)率提升如何轉(zhuǎn)化為最終產(chǎn)出?對(duì)生產(chǎn)層級(jí)各個(gè)環(huán)節(jié)的估計(jì),揭示出一種清晰的衰減模式。采用 AI 工具之后,開發(fā)者編寫的代碼顯著增加,參與的功能開發(fā)也更多,但這些增長轉(zhuǎn)化為已交付軟件的增幅要小得多。
同步智能體使代碼行數(shù)增加了 741%,拉取請(qǐng)求增加了 65%,但發(fā)布版本僅增加了 20%。
自動(dòng)補(bǔ)全也呈現(xiàn)出同樣模式:它對(duì)代碼行數(shù)的影響為 228%,但到了提交層面衰減為 36%,到了發(fā)布版本層面僅為 10%。
用 GitHub 總體活動(dòng),也驗(yàn)證了這些開發(fā)者層面的估計(jì)結(jié)果:自 2025 年初以來,新代碼庫和拉取請(qǐng)求數(shù)量大幅增加,其模式與估計(jì)到的衰減現(xiàn)象一致。
這種沿生產(chǎn)層級(jí)逐步衰減的模式,與生產(chǎn)模型預(yù)測一致。為了量化潛在的互補(bǔ)性以及衰減背后的機(jī)制,研究人員把估計(jì)結(jié)果映射到模型參數(shù)上。估計(jì)得到的衰減模式,與每一層中上游產(chǎn)出和人類努力之間 0.25 的替代彈性相一致。這表明,AI 與人類投入之間存在強(qiáng)互補(bǔ)性。
在 CES生產(chǎn)函數(shù)里,彈性越高,說明兩種投入越容易互相替代;彈性越低,說明它們?cè)较癖仨毰涮资褂玫幕パa(bǔ)關(guān)系。
如果替代彈性接近 1,說明 AI 產(chǎn)出和人類工作比較容易互換,代碼產(chǎn)出提升會(huì)更順暢地傳導(dǎo)到最終軟件發(fā)布。
如果替代彈性大于 1,那就意味著 AI 很容易替代人類,自動(dòng)化一層會(huì)強(qiáng)烈推動(dòng)最終產(chǎn)出。
但現(xiàn)在估計(jì)值只有 0.25,說明瓶頸還很強(qiáng),尤其是在審核、集成、發(fā)布、分發(fā)這些下游環(huán)節(jié)。
這張圖解釋了自動(dòng)補(bǔ)全工具帶來的生產(chǎn)率提升,為什么會(huì)從代碼行層面一路衰減到發(fā)布版本層面。自動(dòng)補(bǔ)全在最底層“寫代碼行”上的提升非常大,但越往后傳導(dǎo),效果越小。
![]()
(該圖展示了與自動(dòng)補(bǔ)全工具的衰減模式最匹配的模型結(jié)果,校準(zhǔn)參數(shù)為 θ=0.75,σ=0.25。黑色方塊表示每一層級(jí)上的經(jīng)驗(yàn)效應(yīng);彩色線條表示模型預(yù)測結(jié)果。 來源:NBER論文)
大致可以看出:
代碼行層面,自動(dòng)補(bǔ)全帶來約 228% 的生產(chǎn)率提升;
到文件層面,提升下降到約 50%;
提交層面,下降到約 30%–40%;
拉取請(qǐng)求層面,只剩約 10%–20%;
倉庫/發(fā)布層面,提升進(jìn)一步變得很小,大約在 10% 左右。
也就是說,自動(dòng)補(bǔ)全讓開發(fā)者寫出更多代碼非常明顯,但這些額外代碼并沒有等比例變成更多 PR、更多項(xiàng)目或更多發(fā)布版本。
雖然GitHub 上的編碼活動(dòng)有助于理解 AI 如何影響軟件生產(chǎn),但它仍然只是開發(fā)者側(cè)產(chǎn)出的衡量指標(biāo)。這些新應(yīng)用是否觸達(dá)消費(fèi)者、實(shí)際被使用了多少,為了解決這些問題,他們統(tǒng)計(jì)了四個(gè)最大的應(yīng)用市場的數(shù)據(jù):Apple App Store、Google Play Store、Chrome Web Store 和 SourceForge。
在各個(gè)應(yīng)用市場中,自 2025 年年中以來,新應(yīng)用數(shù)量普遍增加,但增幅有所不同:Apple App Store 和 Chrome Web Store 出現(xiàn)明顯加速;Google Play Store 的增長較溫和;SourceForge 幾乎沒有變化。
![]()
(來源:NBER論文)
然而,盡管供給擴(kuò)大,在四個(gè)應(yīng)用市場中,新應(yīng)用發(fā)布后三個(gè)月內(nèi)的總使用量都沒有增加。AI并沒有帶來市場擴(kuò)張效應(yīng),而且供給端擴(kuò)張主要集中在幾乎沒有用戶基礎(chǔ)的應(yīng)用上。這一模式有兩種解釋:要么邊際新增應(yīng)用質(zhì)量較低;要么消費(fèi)者端還存在額外瓶頸,也就是新應(yīng)用的發(fā)現(xiàn)和采用需要時(shí)間,從而阻礙了供給端收益轉(zhuǎn)化為實(shí)際使用。目前的數(shù)據(jù)無法區(qū)分這兩種解釋。
AI 在任務(wù)層面帶來的巨大生產(chǎn)率效應(yīng),由于生產(chǎn)函數(shù)中的瓶頸,最終只會(huì)轉(zhuǎn)化為小得多的最終產(chǎn)出影響。這些收益在終端用戶階段還會(huì)面臨進(jìn)一步壓縮,因?yàn)閼?yīng)用必須真正觸達(dá)消費(fèi)者,并被消費(fèi)者使用。
未來這一約束能在多大程度上放松,將同時(shí)取決于未來模型能力的發(fā)展,也取決于這些工具在生產(chǎn)各階段中的擴(kuò)散程度。前者涉及 AI 工具是否能夠生成更高質(zhì)量、需要更少審查的代碼,或者是否能夠在生產(chǎn)層級(jí)中更靠后的環(huán)節(jié)替代人類努力;后者則涉及這些工具能否更廣泛地?cái)U(kuò)散到生產(chǎn)流程的各個(gè)階段。
作者承認(rèn)該研究有一些局限。首先,作者們衡量軟件質(zhì)量的能力有限,只能通過評(píng)分和下載量等消費(fèi)數(shù)據(jù)進(jìn)行間接推斷。第二,仍然沒有覆蓋市場中其他一些重要部分,尤其是企業(yè)軟件和僅供內(nèi)部使用的軟件。
瑕不掩瑜。這項(xiàng)研究揭示了一個(gè)基本事實(shí),到目前為止,AI與人類的之間的互補(bǔ)性依然很強(qiáng)。即使智能體在多步驟復(fù)雜任務(wù)中的自動(dòng)化能力在提升,但它們只是在一層又一層的閉環(huán)中,基本以漸進(jìn)的方式實(shí)現(xiàn)自動(dòng)化,并擺脫人類瓶頸的,但人類始終在設(shè)定那個(gè)更大圈層的閉環(huán),以及閉環(huán)之外更廣闊的AI應(yīng)用空間。人在環(huán)中,智能體也在環(huán)中。
完整論文:
https://www.nber.org/system/files/working_papers/w35275/w35275.pdf
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.