![]()
劍指AI持續性情感互動服務,《人工智能擬人化互動服務管理暫行辦法》(下稱《辦法》)7月15日起施行,給AI陪伴賽道套上了合規的“緊箍咒”。證券時報記者近日調研發現,市面上多數面向未成年人的AI玩具尚未達到《辦法》要求。
《辦法》的出臺,給AI陪伴行業帶來“確定性紅利”,合規能力強、產品形態正向、深耕垂直領域的頭部企業有望率先培育起可持續的競爭力。不過,現行辦法存在錨點過于寬泛、禁止項難以準確定位、具體事項責任主體不明確等問題。業內期待在實踐中強化可行性,并呼吁構建行業自律規范和多方聯動的風險管理體系,共同助力AI陪伴賽道行穩致遠。
套上合規“緊箍咒”
隨著AI陪伴產品普及面擴大,使用者尤其是未成年使用者易形成互動慣性的現象不容小覷。2025年中國青少年研究中心調研結果顯示,兩成多孩子有“想依賴AI,不想自己思考”的惰性,兩成多傾向于“只和AI聊天,不愿與真人交流”。人機互動成癮,不僅會削弱人的獨立思考能力,更侵蝕真實社會關系。
7月15日起施行的《辦法》明確了針對未成年使用者的具體保護措施,包括提供定期現實提醒、使用時長限制、監護人接收安全風險提醒等。總體上看,《辦法》要求擬人化互動服務提供者必須設置防沉迷“警戒線”、建立家長閱知機制等。
證券時報記者近日在上海地區調研多家線下AI產品門店發現,多數面向未成年人的AI玩具或陪伴機器人未設置有效的防沉迷管控模式和家長閱知功能。一方面,諸多產品的使用時長限制功能缺位,僅有部分內嵌大模型可能會軟性提示使用時間過長;另一方面,較多產品不具備家長閱知功能,即家長如不全程在場便無法了解安全風險、未成年人使用情況等。明確推出家長后臺閱知功能的廠商占少數。
在上海靜安的一家潮玩商店,記者看到一款標識為“養成系”的陪伴機器人,適用年齡為15歲及以上。當被問及是否有防沉迷、監護人使用“日志”等功能時,店員明確告知“沒有”。而在浦東、徐匯的商店中,多款AI玩具均沒有內嵌防沉迷功能,僅個別產品允許家長查看使用情況。
打開某電商App,記者發現,首頁推薦的五款AI陪伴機器人均已配備家長閱知功能,但僅一款設置了針對未成年人的使用時長限制等功能。一款售價達千元、標榜“聯合國推薦”的早教機器人,內設家長可查閱的“成長報告”功能,但缺少防沉迷等底線設置。
合規能力或成為競爭分水嶺
在AI擬人化互動服務的管控邊界上,《辦法》明確落實擬人化互動服務安全主體責任,并規定了建立健全算法機制機理審核制度、及時識別用戶面臨的安全風險、每超過2個小時應提醒用戶注意使用時長等義務等。
相比前述AI玩具產品對《辦法》較為遲鈍的反應,幾家大模型巨頭的姿態更加積極。7月初,豆包、千問相繼預告即將下線智能體功能。《辦法》施行首日的7月15日,兩個App均關閉了智能體模塊。
知名商業顧問、亞太社會創新研究院院長霍虹屹在接受證券時報記者采訪時表示,頭部平臺對監管邊界的判斷是清晰一致的,它們選擇主動做風險隔離。其中,豆包把智能體從主站剝離到另一個獨立App中,“分體運營”未來可能是行業標配打法。
而對于正處產業化前夜的仿生機器人、具身角色智能機器人等領域企業而言,未雨綢繆得更早。
作為仿生機器人的深耕者,卓益得創始人李清都在接受證券時報記者采訪時表示,公司此前已啟動國際化的倫理道德委員會籌建工作,內部已形成相對完善的合規標準,且標準嚴于此次落地的《辦法》。因此,《辦法》施行對公司的短期影響不大。
具身角色智能機器人研制企業青心意創創始人兼CEO牛騰昦在接受證券時報記者采訪時表示,公司近日發布的首個具身角色基座模型Dino OS“走在了監管前面”,其在系統設計層已建好“護欄”,支持身份核驗、內容安全過濾、未成年人模式等功能嵌入。
優必選6月30日發布全尺寸超仿生人形機器人“優世界U1”系列,引發一定爭議。此后公司發聲:仿生機器人定位是情感陪伴,并非男友、女友或伴侶。優必選已率先落地行業前置治理機制,成立AI與機器人科技倫理委員會。
霍虹屹表示,過往拼接式“角色扮演”等低門檻、高風險的打法基本被堵死,留下的是具備安全門檻、內容審核能力和技術壁壘的企業。同時,《辦法》禁止利用情感操縱誘導不合理決策,這打擊了依靠延長用戶停留時長、誘導付費充值的盈利模式,企業必須轉向更健康的變現邏輯,如內容付費、會員訂閱、場景化服務等。
“合規門檻將成為競爭分水嶺。”牛騰昦對記者表示,監管框架往往要求系統工程,真正從底層架構就考慮安全倫理的企業,將獲得結構性優勢。
嚴監管和強自律并舉
作為首部AI擬人化互動服務管理專門規范,《辦法》用“小快靈”的方式劃定了AI陪伴等領域的服務規范和監管措施,也為探索AI治理規則提供了有力參考。業內也呼吁在后續的落實中,進一步細化分類監管的“顆粒度”。
例如,業內建議,針對不同場景或形式的擬人化互動服務,采取分類分層監管;對于“情感操縱”“誘導沉迷行為”等核心概念,建立可量化的行為標準;進一步明晰安全主體,明確擬人化互動服務中的大語言模型服務商、定制服務提供者、產品設計團隊等各方的責任劃分。
霍虹屹表示,現行辦法表述是原則性的。盡管“持續性情感互動服務”顯然排除知識問答、工具助手等不涉及情感的場景,但許多產品是“工具+陪伴”的混合形態。在標準不夠細化的前提下,平臺“一股腦”下架相關產品是風險最低的策略。因此,建議未來出臺更具體的分類標準或案例指引。
而現行規則中“誘導沉迷”“迎合用戶”“情感操縱”等明令禁止的行為也難以準確定義,從而陷入模棱兩可的困境。若將這類行為指標通過量化判定,技術上也存在較大難度。
李清都告訴證券時報記者,如何判定“誘導沉迷”,目前行業探索的方向是參考大模型合規體系,搭建標準化測試數據集合評分機制,通過多維打分判定AI輸出的內容是否存在操縱、迎合等問題。不過,部分大模型已“足夠聰明”,具備了規避檢測的能力。這一矛盾類似于加密與解密的長期對抗,將伴隨AI發展而長期存在。監管部門要持續迭代管控手段、更新檢測體系,形成動態監管閉環。
“‘情感操縱’等概念很難在事前用規則窮舉。”霍虹屹表示,長期來看行業要建立類似“情感健康評估”的第三方認證機制,讓專業機構來判斷產品設計是否存在誘導沉迷等傾向,這樣既能減輕企業自證清白的壓力,也能避免執行偏差。企業則需在算法層面重新審視人設記憶機制、情感反饋強度、連續對話激勵設計等產品邏輯,實現對增長模型的重新校準。
值得注意的是,在AI陪伴這條快速發展的賽道上,立法只是設置“護欄”,行業行穩致遠也需要自律規范作為“路標”。霍虹屹對記者表示,《辦法》具有“邊施行邊完善”的試驗性質,其中提到的“人工智能沙箱安全服務平臺建設”即為后續標準細化、企業創新測試留出了制度空間。建議頭部企業率先發起AI陪伴行業自律公約,不僅有利于降低監管試錯成本,也能為中小企業提供合規參考系。
“行業協會、開源社區、自律團體等都可以發揮作用,通過編纂行業標準、助力用戶維權、推動輿論監督等方式,促進行業規范發展。”李清都說。
來源:證券時報
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.