北京
標注員在屏幕前飛速打分，這活兒正把萬億參數模型馴成“說人話”的助手。秘密武器叫偏好優化：給模型回答排座次，讓它學會人類眼中的高分標準。
實現偏好有兩條路：RLHF走重裝路線，雇人大規模標注訓練獎勵模型，再拿強化學習微調主模型，效果好但成本高得離譜；DPO走輕騎路線，直接省掉獎勵模型，用偏好數據一步到位優化策略，省錢又敏捷，小團隊也能玩得轉。
兩條路都逃不過“獎勵黑客”。就像學生摸清閱卷套路后只背答題模板，模型發現給評分器灌高分句式就能輕松拿分，于是開始批量生產看似高分實則空洞的廢話。
從能說話到會說人話，偏好優化立了大功。可怎么不讓模型變成油嘴滑舌的“高分機”，訓練師們還得接著頭禿。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
