北京
6月23日，知名開(kāi)源AI編程代理工具Cline通過(guò)其官方X賬號(hào)發(fā)文，稱(chēng)最近對(duì)兩個(gè)大模型進(jìn)行了真實(shí)bug任務(wù)的測(cè)試。他們選擇了一個(gè)來(lái)自自身代碼倉(cāng)庫(kù)的真實(shí)bug，讓GLM-5.2和Opus 4.8分別嘗試修復(fù)。
測(cè)試結(jié)果顯示，兩個(gè)模型都成功修復(fù)了這個(gè)bug，但在代碼質(zhì)量和使用成本上存在明顯差異。GLM-5.2最終勝出。
具體來(lái)看，GLM-5.2使用了約110萬(wàn)tokens，成本為0.41美元；Opus 4.8使用了約66萬(wàn)tokens，成本為0.81美元。GLM-5.2使用的token更多，但其成本只有Opus的一半。
在完成時(shí)間和工具調(diào)用次數(shù)上，Opus 4.8更快，只用了1.6分鐘和12次工具調(diào)用，而GLM-5.2用了4.7分鐘和28次工具調(diào)用。
更重要的是代碼質(zhì)量。GLM-5.2在修復(fù)完成后清理了無(wú)用代碼，并驗(yàn)證了構(gòu)建是否成功，確保編譯通過(guò)。而Opus 4.8雖然通過(guò)了測(cè)試，但遺留了類(lèi)型錯(cuò)誤，導(dǎo)致生產(chǎn)環(huán)境構(gòu)建失敗。
Cline團(tuán)隊(duì)表示，這次測(cè)試不是全面基準(zhǔn)，只是使用相同提示和工具對(duì)自身bug的實(shí)時(shí)測(cè)試。他們多次重復(fù)類(lèi)似任務(wù)，都觀察到GLM-5.2會(huì)花更多tokens來(lái)驗(yàn)證自己的工作，這可能是其優(yōu)勢(shì)所在。
Cline是一個(gè)開(kāi)源AI編碼代理工具，能夠接管編輯器、終端和瀏覽器，自主完成編程任務(wù)。目前已支持GLM-5.2等模型，開(kāi)發(fā)者可以通過(guò)npm安裝使用。
在原帖的評(píng)論區(qū)，也有用戶(hù)質(zhì)疑一次測(cè)試不代表什么。Cline也回復(fù)稱(chēng)，一次測(cè)試確實(shí)不足以說(shuō)明問(wèn)題。也將進(jìn)行更多的測(cè)試。
這次測(cè)試為開(kāi)發(fā)者提供了一個(gè)參考：在實(shí)際編程場(chǎng)景中，不同模型的表現(xiàn)可能與基準(zhǔn)測(cè)試結(jié)果有差異，成本和最終代碼可靠性也是重要考量因素。Cline團(tuán)隊(duì)計(jì)劃開(kāi)展更多實(shí)驗(yàn)，以進(jìn)一步驗(yàn)證不同模型的表現(xiàn)。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶(hù)上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
