陜西
6月23日，國內(nèi)首個(gè)針對高考志愿填報(bào)場景的AI能力測評(píng)報(bào)告《高考志愿AI測評(píng)基準(zhǔn)》發(fā)布。該報(bào)告由友松實(shí)驗(yàn)室獨(dú)立完成，以千問高考志愿填報(bào)Agent作為測評(píng)對象。結(jié)果顯示，千問多項(xiàng)表現(xiàn)已達(dá)到人類志愿咨詢師水平，在穩(wěn)定性、精確性、結(jié)構(gòu)化表達(dá)與效率層面更具優(yōu)勢。
友松實(shí)驗(yàn)室是一個(gè)專注人工智能與教育決策研究的獨(dú)立研究團(tuán)隊(duì)，長期關(guān)注大模型能力評(píng)估、教育場景中的 AI 應(yīng)用，以及學(xué)生升學(xué)選擇中的信息、認(rèn)知與決策問題，研究成果被多所高校、科研機(jī)構(gòu)采用。此次發(fā)布的測評(píng)基準(zhǔn)，旨在為快速涌現(xiàn)的高考志愿AI產(chǎn)品建立一套公開、可復(fù)現(xiàn)、可擴(kuò)展的評(píng)估框架，明確AI在當(dāng)前階段能夠承擔(dān)的任務(wù)邊界。
考慮到千問高考Agent基于夸克8年高考服務(wù)數(shù)據(jù)與經(jīng)驗(yàn)構(gòu)建，在產(chǎn)品形態(tài)、數(shù)據(jù)積累和用戶覆蓋上具有行業(yè)代表性，報(bào)告將其列為首個(gè)測評(píng)對象。人類對照組則由53名志愿填報(bào)咨詢師組成，平均從業(yè)年限4.6年。
測評(píng)覆蓋高考志愿基本事實(shí)與規(guī)則、模擬志愿填報(bào)、開放式咨詢和志愿推薦報(bào)告四個(gè)環(huán)節(jié)，對應(yīng)考生和家長填報(bào)志愿時(shí)從查資料、看規(guī)則，到排方案、做決策的主要流程。
結(jié)果顯示，在44道客觀題中，千問全部答對，準(zhǔn)確率為100%，人類咨詢師平均正確率為89.3%；在模擬志愿填報(bào)中，千問方案包含6個(gè)可錄取志愿，未出現(xiàn)顯性偏好違背，并命中事后評(píng)估的最優(yōu)結(jié)果，人類咨詢師平均為5.3個(gè)可錄取志愿；在開放式咨詢中，評(píng)審專家在100場匿名對比中，有58次更傾向選擇千問版本，“可直接向?qū)W生和家長展示的”可直接展示率為 56.0%，高于人類咨詢師回答的 33.0%，認(rèn)為其在專業(yè)路徑拆解、風(fēng)險(xiǎn)提示和表達(dá)清晰度上更為穩(wěn)定。
報(bào)告認(rèn)為，在測評(píng)設(shè)定的任務(wù)范圍內(nèi)，千問的多項(xiàng)表現(xiàn)已達(dá)到資深人類咨詢師水平，尤其在穩(wěn)定性、精確性、結(jié)構(gòu)化表達(dá)與響應(yīng)效率方面呈現(xiàn)出優(yōu)勢。
但報(bào)告同時(shí)指出，人類咨詢師的價(jià)值同樣不可替代。尤其在收入預(yù)期、就業(yè)判斷等需要結(jié)合個(gè)體情況謹(jǐn)慎校準(zhǔn)的話題上，咨詢師更能給出貼近實(shí)際的建議；在親子協(xié)商、價(jià)值取舍等場景中，結(jié)構(gòu)完整的AI方案也無法替代人與人之間的溝通和判斷。
報(bào)告建議，AI更擅長高效完成信息核驗(yàn)、資料整理和方案初篩，人類咨詢師則可更多聚焦家庭溝通、價(jià)值取舍和個(gè)性化判斷。二者形成互補(bǔ)，才能讓志愿填報(bào)既提高準(zhǔn)確性，也更貼近考生和家庭的實(shí)際需求。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
