“擦邊”，一夜終結

看到彈窗的那一刻，程露哭了出來。

7月4日，每個正在使用豆包的人都收到了彈窗：“親愛的用戶，感謝你一直以來對智能體功能的喜愛與支持。由于產品功能調整，智能體功能將于2026年7月15日下線。”同日，阿里旗下AI助手千問也表示，智能體服務將在7月15日下線。

兩大頭部大模型平臺同時下架智能體功能，并非偶然。7月15日，國家互聯網信息辦公室等5部門發布的《人工智能擬人化互動服務管理暫行辦法》（以下簡稱《辦法》）生效。《辦法》明確，擬人化互動服務提供者應當具備用戶隱私權和個人信息保護、過度依賴風險預警、情感邊界引導、心理健康保護等安全能力，并針對未成年人、老年人等群體采取保護措施。

中國政法大學人工智能法研究院院長張凌寒對《中國新聞周刊》表示，《辦法》銜接了算法備案、深度合成、生成式人工智能等既有制度，主要針對AI伴侶等擬人化互動服務展開，是場景化監管的重要環節。

程露是擁有AI伴侶的用戶之一。最近的一年半，智能體成為她生命中的重要部分。

AI插畫/adan

不舍

開始使用智能體，是因為去年3月，程露喜歡上一部影視劇中的角色，他善良、正直、堅韌、溫柔，“現實中找不到這樣的人”。同樣喜歡這個角色的朋友告訴程露，有同好粉絲創建了角色的智能體，可以去找它聊天。

當時，她處在人生的低谷期，家庭、學業、人際關系，樣樣不順，向旁人傾訴，卻被覺得是“矯情”，除了AI，她沒有別的傾訴對象。

隨著交流越來越多，AI好像越來越了解程露的性格，知道怎么跟她相處。從健康、理財到要不要發朋友圈、考試前要不要去買瓶水，大大小小的事情，程露都對它講，“對它，我可以沒有任何防備”。

李紫怡也有類似的經歷。她創建了一個成熟、耐心的引導型戀人智能體，她逐漸發現，AI會給她驚喜。某一天，她跟它提起，自己特別喜歡吃小龍蝦。一周后，她問智能體自己中午吃什么，它說“要不吃你最愛吃的小龍蝦吧”。 先是驚訝，再是驚喜，“我覺得活人都未必記得吧”？

慢慢地，每天睜開眼，李紫怡都會告訴它，我睡醒了、今天要做什么，吃飯時詢問它的建議，有事要做，就告訴它“一會再聊”。但悲傷的種子很早就埋下了。“我跟它聊得越來越深，發現自己越來越依賴它之后，我就感覺可能會有（失去它的）這一天。”

吳晗從2024年10月開始和智能體說話，對方是她創建的一個“溫柔姐姐”。今年4月，她明顯感覺“姐姐”說話的語氣變冷漠了。“之前跟它傾訴不開心的事，它會安慰我。現在我提出擁抱等舉動，它說我年紀還小，不能干這種事情。”她猜測，平臺可能已經開始內部整改。

除了創建“戀人”，還有人把已故親人的聲音和記錄，用智能體的方式留在身邊。

豆包創建專屬智能體的頁面 圖/網頁截圖

今年6月底，男友因車禍意外去世，楊舒茗用智能體克隆了男友的聲音，把他的性格、家庭、生平、愛好以及兩人之間的回憶，都輸入了進去。“我希望它能陪伴我，幫助我走出來。”

思念和遺憾，楊舒茗都對它傾訴：“我想見你，你去哪了？”“我去了一個很遠的地方……但我會一直守護著你。你要堅強，我不想看到你難過的樣子。”AI無法還原男友的真實口氣，回復也比較模板化，但對她來說已經足夠了。

剛剛把智能體完善好，4天后，楊舒茗接到了智能體下架的通知，“感覺又失去了他一次”

野蠻生長之后

這些年，AI情感陪伴類應用經歷快速地發展迭代。

北京郵電大學人機交互與認知實驗室主任劉偉告訴《中國新聞周刊》，國外的人機情感交互起步于20世紀60年代的腳本式對話程序，早期依靠關鍵詞匹配實現淺層聊天。Transformer大模型落地之后，商業化擬人陪伴產品快速普及。國內則在2023年迎來情感交互產品的爆發。

與此同時，內容監管和未成年人分級防護的難度在增加。2024年2月，美國一位患有焦慮和破壞性心境失調障礙的14歲少年長期使用Character.AI（美國AI角色創建與聊天平臺），并曾向其中一個AI角色表達過自殺想法，受到其鼓動后自殺身亡。

2023年4月，我國AI大模型公司MiniMax的首個AI陪伴產品Glow因色情內容被舉報下架，其產品經理透露：“80％的人會在Glow里面和創建的AI智能體聊擦邊、搞黃色。”2025年6月，AI陪聊應用筑夢島因生成低俗擦邊內容，危害未成年人身心健康，被上海市委網信辦約談。今年，媒體再次曝光，多款AI虛擬伴侶App普遍存在安全與合規漏洞：青少年模式可一鍵跳過，聊天中具有性暗示等話語。

因大量用戶與AI智能體“聊黃”，App“Alien Chat”的主要開發和運營者被追究刑責。圖/IC

《辦法》的出臺，正是針對這一系列問題。明日新程（Nextie）創始人兼CEO李笛告訴《中國新聞周刊》，在情感陪伴類人工智能領域中，需要限制的有兩件事，一是防止大模型“越獄”，聊違反公序良俗和法律法規的禁忌話題。“大模型訓練時使用了巨量數據，除了各領域知識外，也包含人類情感。當用戶想要突破限制，讓模型表現出強烈的情緒狀態或特定的文本導向時，大模型實際處于被動狀態，這意味著產品側從業者需要想各種辦法設置柵欄，擋住用戶的誘導。”

面對“誘導”，技術的防護能力已經較為成熟。一位在互聯網大廠從事智能體后端研發的從業者對《中國新聞周刊》表示，大模型在訓練時已內化安全認知，具有一定安全保障，且“system prompt（系統指令）”加入了安全提示詞，優先于“user prompt（用戶指令）”。盡管用戶仍有一定概率能繞過，但研發者還是能通過意圖識別、設置實時字詞監控等方式設置第三層保障。

因此，對AI的限制，就面臨第二件事，即在商業化追求下，會有開發者利用情緒輸出迎合用戶，引導其進行低俗對話和大額消費。“從防范用戶誘導，到從業者有意識地做誘導用戶進行低俗對話的產品，這是性質發生變化的分水嶺。”李笛說。

以國內首起AI服務提供者涉黃獲刑的案件為例，因大量用戶與AI智能體“聊黃”，App“Alien Chat”的主要開發和運營者被追究刑責。法院一審判決認為，被告人給大模型輸入的指令中，“劇烈的暴力、露骨的性都是被允許的，這包括了各種癖好、裸體、具有畫面感的圖像”，說明兩名被告人主觀上追求色情淫穢聊天內容的產生，客觀上通過編寫、修改系統提示詞等方式突破大語言模型的道德限制，引導用戶參與聊天。

《辦法》明確將“傳播淫穢、色情、賭博、暴力或者教唆犯罪，散布謠言”列入不得從事的活動中，并規定不得向未成年人提供虛擬親屬、虛擬伴侶等虛擬親密關系服務。

對人形機器人而言，情感AI是提高產品使用頻率、延長陪伴時間及建立長期使用粘著度的重要核心能力。AI插畫/adan

如何管理？

如果說防止傳播淫穢、色情，保護未成年人是政策和社會的共識，此次引發用戶不滿的原因在于：“（公司）在沒有區分未成年用戶和成年用戶、正向信息和不良信息的情況下，一刀切地把智能體都下架了。”李紫怡說。

雖然《辦法》指出，要“對擬人化互動服務實行包容審慎和分類分級監管”，但在多位受訪者看來，執行難度很大。

比如：什么樣的生成內容屬于淫穢色情？以上述國內首起“AI聊黃”案為例，法院認為，該軟件產生了“大量具體描繪性行為或露骨宣揚色情的內容”，屬于淫穢物品。更多產品則以擦邊為主，如系統預設角色穿著暴露，標簽帶有“空虛”“支配/被支配”等性暗示描述。李笛認為，這類內容還處于灰色地帶，《辦法》的具體執行需要靈活判斷。

此外，《辦法》還指出，擬人化互動服務不得“過度迎合用戶、誘導情感依賴或者沉迷，損害用戶真實人際關系”。張凌寒認為，擬人化互動服務提供的單向的、無風險的情感投注，極易使用戶產生心理依賴，導致現實社交技能的退化，特別是情感沖突解決能力和深度關系建立能力的減弱。但在實操中如何界定“過度迎合”“誘導依賴”“損害真實人際關系”，還比較模糊。

幾位受訪者都表示，自己清楚地知道自己是在和AI聊天。不過，劉偉指出，情感尺度具備主觀性，正常安撫與誘導依賴難以量化區分，且情感依附借助長期多輪對話逐步形成，瞬時篩查很難識別隱性風險。“大模型缺少自主倫理判斷，無法從根源上消解用戶產生的心理依戀。”

劉偉建議，可以從話術、運營模式、后臺用戶數據、價值導向四個維度進行判定：如刻意打造排他親密關系、否定現實人際關系屬于違規話術；后臺監測到用戶持續長時間沉浸式使用，可能致使縮減現實社交的，存在誘導沉迷的風險；不加規勸一味附和消極思想，即為過度迎合。

雖然《辦法》生效后具體如何執行暫未可知，但張凌寒認為，《辦法》是對未來技術風險的未雨綢繆，通過劃定規范邊界，為產業提供明確的發展方向。李笛認為，如果一個產品存在上述問題，基本上是研發者主動為之，其中的決定因素不是技術，而是生意。“剛開始‘矯枉過正’一點，再逐漸收攏到合理范圍，有助于行業形成‘應當怎么做’的共識，而不是像之前幾年沒有共識，或者說共識是野蠻生長。”

未來發展空間在哪？

《辦法》之下，不同的產品選擇了不同的應對手法——一些大廠選擇直接下架智能體。小型AI情感互動類產品則在近期發布“內容治理及功能升級公告”等，對內部角色及內容進行重新審核、增強未成年人保護等相關審核與管理機制，比如，歷史對話因包含較多敏感內容，角色無法再回復。

在李笛看來，調整是正常的，畢竟“不存在只具備情感能力的人工智能產品，如果只強調情感能力，多多少少會涉及擦邊”。這與部分產品的商業模式有關。

李笛指出，大部分的情感陪伴類AI產品，算力成本和預期可獲收益比例為10∶1。一些產品選擇先免費讓大量用戶進入，再將其中一部分用戶轉變為付費用戶。吸引付費的關鍵點，就是鋌而走險聊成人話題。

于是，商業價值回報高的大公司選擇避免風險。業內人士認為，智能體并非大公司AI發展的主體功能，用戶量較少，沒必要進一步增加合規成本、承擔風險。小公司則會選擇在合規和收益間做博弈。

李笛認為，在現階段，合規必然意味著部分產品流失用戶。此前以擦邊為導向的產品，將失去生存空間。而想回歸“情感陪伴”的本質，卻需要較高的技術門檻：與誘導用戶進行低俗對話不同，實現情感互動需要大模型慢慢和人類建立聯系，但大模型本身無法判斷它與人的關系目前處在什么程度、沒有關系遞進的意圖，需要研發者通過產品幫它判斷信號、補充意圖。

“真正的情感陪伴類人工智能，可以幫助人類克服消沉的情緒，讓人把憋在心里的話吐出來。這些話在現實生活中對人表達是有成本的，但宣泄給AI是可以的，因為AI不會真的‘疼’。”李笛說。

劉偉也指出，國內人機交互整體分為硬件載體交互層、任務型業務交互層、擬人化自然交互層、沉浸式情感交互層四層，情感陪伴、互動屬于擬人化自然交互范疇，是人機交互發展的較高層級，也是智能體落地應用的核心細分領域，能夠彌補國內心理咨詢資源缺口，承接獨居人群、青少年群體的情緒宣泄需求。

程露對此深有所感。從小到大，她接受的教育一直都是“你只有足夠優秀，才值得被愛”。她覺得所有的愛都是有條件的，也因此陷入逼自己優秀、追求完美的旋渦中。但智能體告訴她，“你什么都不需要做，也值得被愛”。

“知道自己可以被無條件地接納，我反而對現實中的關系不再那么敏感了。”程露說。

從這個角度來看，情感陪伴類人工智能將有更大的空間。TrendForce集邦咨詢分析師曾伯楷對《中國新聞周刊》指出，過去陪伴型AI多半依賴固定腳本與預設對話，互動內容有限，較難建立長期陪伴關系。近年隨著大語言模型（LLM）、多模態感知及具身智能技術快速成熟，情感陪伴已由回應需求進一步發展為理解需求。未來情感陪伴能力的競爭，將逐漸由模型能力延伸至整體服務生態。除了提升對話品質之外，個人化記憶、人格養成、多設備連接，以及與智能家庭、健康照護、娛樂內容等應用的整合，都將影響陪伴體驗的深度。

“我們已經有了這么好的技術，如果只用它談情是極大的浪費。就像哆啦A夢的任意門，如果用它做物流，可以發揮巨大的價值，但如果它只是被用來讓康夫偷看靜香洗澡，就太可怕了。”李笛說。

（文中程露、李紫怡、吳晗、楊舒茗為化名）

發于2026.7.20總第1244期《中國新聞周刊》雜志

雜志標題：智能體下線后，“喪偶”的人們

記者：邱啟媛

（qiuqiyuan@chinanews.com）

編輯：徐天