奇富科技正式開源ModelEvo 以自動(dòng)建模能力參與行業(yè)基礎(chǔ)建設(shè)

7月13日，奇富科技正式開源面向業(yè)務(wù)場景的自動(dòng)建模Agent——ModelEvo。這一工具既是為了將分散的專家經(jīng)驗(yàn)沉淀為標(biāo)準(zhǔn)化、可復(fù)用的建模能力，提升內(nèi)部研發(fā)效率，同時(shí)也希望將經(jīng)過真實(shí)業(yè)務(wù)驗(yàn)證的方法論開放給行業(yè)，參與到AI建模基礎(chǔ)設(shè)施的共建中。

用戶只需從業(yè)務(wù)目標(biāo)出發(fā)，ModelEvo 即可通過 Agent 編排標(biāo)準(zhǔn)化建模 Skills，協(xié)助完成需求澄清、數(shù)據(jù)檢查、存量模型評(píng)估、樣本構(gòu)建、特征分析、模型訓(xùn)練、自動(dòng)調(diào)優(yōu)、效果評(píng)估和報(bào)告生成。首個(gè)版本支持分類預(yù)測與 Uplift 增益建模兩類典型任務(wù)。

建模難，不只難在算法

真實(shí)業(yè)務(wù)建模并非單純的算法優(yōu)化。如何將業(yè)務(wù)目標(biāo)轉(zhuǎn)化為建模任務(wù)，如何定義標(biāo)簽、切分樣本窗口、識(shí)別特征泄漏、評(píng)估存量模型，都直接影響模型效果和業(yè)務(wù)價(jià)值。

過去，這些流程往往分散在個(gè)人 Notebook和臨時(shí)腳本中，容易造成重復(fù)開發(fā)和標(biāo)準(zhǔn)不一。ModelEvo 希望將分散的專家經(jīng)驗(yàn)轉(zhuǎn)化為標(biāo)準(zhǔn)化、可執(zhí)行、可追蹤的建模能力。

先評(píng)估、后建設(shè)，讓模型資產(chǎn)持續(xù)復(fù)用

在用戶澄清需求后，ModelEvo 會(huì)優(yōu)先從模型知識(shí)庫中檢索目標(biāo)、客群或特征體系相近的歷史模型，并依據(jù) AUC、KS、分桶排序性和業(yè)務(wù)適用范圍，判斷模型能否直接復(fù)用、繼續(xù)優(yōu)化或需要重新建設(shè)。

這一機(jī)制能夠提升歷史模型和經(jīng)驗(yàn)的復(fù)用率，讓模型資產(chǎn)持續(xù)產(chǎn)生價(jià)值。

把專家經(jīng)驗(yàn)轉(zhuǎn)化為可執(zhí)行 Skills

ModelEvo 將奇富科技在真實(shí)業(yè)務(wù)中的方法和質(zhì)量要求沉淀為 Agent 可理解的規(guī)則，將建模流程拆解為可組合、可復(fù)用、可追蹤的 Skills。

系統(tǒng)能夠檢查標(biāo)簽定義、觀察窗口和表現(xiàn)窗口，提供特征篩選、模型選擇和參數(shù)優(yōu)化建議，自動(dòng)生成 AUC、KS、分桶排序性等評(píng)估結(jié)果。同時(shí)還能根據(jù)評(píng)估結(jié)果開展多輪自迭代優(yōu)化，持續(xù)推動(dòng)模型效果提升。

Agent 會(huì)記錄每次實(shí)驗(yàn)的數(shù)據(jù)、特征、參數(shù)、指標(biāo)和模型產(chǎn)物。用戶最終獲得的不只是一個(gè)模型，還包括完整實(shí)驗(yàn)記錄、模型對(duì)比結(jié)果和可復(fù)現(xiàn)、可供專業(yè)評(píng)審的建模報(bào)告。

降低建模門檻，不降低專業(yè)標(biāo)準(zhǔn)

ModelEvo 自動(dòng)化的是標(biāo)準(zhǔn)化、重復(fù)性工作，放大的是專業(yè)人員的經(jīng)驗(yàn)價(jià)值。業(yè)務(wù)人員可以參與問題定義和結(jié)果解讀，數(shù)據(jù)分析人員可以完成數(shù)據(jù)探索和基線驗(yàn)證，算法工程師則可將常規(guī)訓(xùn)練、數(shù)據(jù)檢查和報(bào)告生成交給 Agent，把更多精力投入復(fù)雜場景和技術(shù)創(chuàng)新。

相比主要聚焦算法選擇和參數(shù)搜索的傳統(tǒng) AutoML，ModelEvo 更關(guān)注業(yè)務(wù)問題理解、存量模型復(fù)用和完整流程標(biāo)準(zhǔn)化，并根據(jù)評(píng)估反饋開展多輪迭代優(yōu)化，逐步探索特征和模型的自進(jìn)化能力。

奇富科技增長算法負(fù)責(zé)人王耀宣表示：“大模型正在快速降低代碼開發(fā)和算法工具的使用門檻，但要在真實(shí)業(yè)務(wù)場景中建出有效的模型，仍然離不開對(duì)業(yè)務(wù)問題的深刻洞察、專業(yè)的建模判斷和駕馭大模型的能力。打造ModelEvo，正是希望將這三類能力及其背后的專家經(jīng)驗(yàn)，沉淀為一套經(jīng)過真實(shí)場景驗(yàn)證、可復(fù)用、可追溯并能夠持續(xù)進(jìn)化的建模方法體系。”

從工具開源到能力共建

ModelEvo v1.0 內(nèi)置基于公開數(shù)據(jù)集的完整示例，無需部署大數(shù)據(jù)集群即可在本地體驗(yàn)核心流程，企業(yè)用戶可參照 README.md 完成全流程接入。未來，項(xiàng)目還將逐步擴(kuò)展模型知識(shí)庫、特征自進(jìn)化和模型自進(jìn)化等能力，不斷完善智能建模體系。

奇富科技希望通過開源，將經(jīng)過真實(shí)業(yè)務(wù)打磨的建模經(jīng)驗(yàn)轉(zhuǎn)化為開放、可復(fù)用、可持續(xù)演進(jìn)的行業(yè)能力，推動(dòng)業(yè)務(wù)建模從依賴個(gè)人經(jīng)驗(yàn)走向流程標(biāo)準(zhǔn)化、經(jīng)驗(yàn)資產(chǎn)化和能力智能化。

目前，ModelEvo 已在 GitHub 正式開源，項(xiàng)目地址：https://github.com/QFIN-tech/model-evo