前幾天,豆包和千問集體宣布:下架智能體。
豆包通知,因?yàn)楣δ苷{(diào)整,智能體功能將在2026年7月15日下線。千問那邊,大差不差。智能體功能與服務(wù),在7月15日正式下線。用戶想保存配置和對(duì)話,要提前復(fù)制、截圖、導(dǎo)出。
注意,不是豆包和千問下架,而是APP里的“智能體”功能下架。你當(dāng)然還能打開豆包,問它怎么寫方案,但不能用“智能體”功能,捏個(gè)角色,讓它持續(xù)陪你聊天了。
![]()
嗯。說法大致一樣,時(shí)間也出奇一致,7月15號(hào)。就跟商量好似的。
為什么?
有人說,是默契。智能體這個(gè)生意,不好做。比如,產(chǎn)品體驗(yàn)做不上去。聽起來厲害,打開聊兩句也就那樣。比如,賬算不過來。智能體聊得越久,算力燒得越多。付費(fèi)轉(zhuǎn)化沒跟上,虧損就止不住了。
其實(shí),不是的。他們同時(shí)下架,是因?yàn)橐粍t新規(guī)。
4月10日,國(guó)家網(wǎng)信辦等五部門,聯(lián)合公布了《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》。《辦法》生效的日期,就是:7月15日。
那,為什么新規(guī)生效,千問豆包就要下架智能體?為什么很多辦公AI,沒有發(fā)下架智能體的通知?
其實(shí),新規(guī)里已經(jīng)說的很清楚了。老規(guī)矩,挑重點(diǎn),再翻譯。
首先我們得搞清楚,這條新規(guī),沖誰來的?
01
新規(guī)管的,不是工具,是關(guān)系
很多人一聽到“智能體下架”,第一反應(yīng)是:完了。是不是以后辦公智能體、客服智能體、寫作智能體,都有麻煩了?我還怎么干活?
其實(shí),不是的。看《辦法》原文。其中第二條提到:
利用人工智能技術(shù),向中華人民共和國(guó)境內(nèi)公眾提供模擬自然人人格特征、思維模式和溝通風(fēng)格的持續(xù)性的情感互動(dòng)服務(wù)(以下簡(jiǎn)稱擬人化互動(dòng)服務(wù)),適用本辦法……提供智能客服、知識(shí)問答、工作助手、學(xué)習(xí)教育、科學(xué)研究等服務(wù),不涉及持續(xù)性的情感互動(dòng)的,不適用本辦法。
大白話翻譯一下:這次監(jiān)管,重點(diǎn)在于關(guān)系型AI,不在工具型AI。
關(guān)系型AI,是和你建立關(guān)系的AI。是像人一樣和你長(zhǎng)期相處、提供情緒陪伴的智能體。工具型AI,是幫你完成任務(wù)的AI。比如寫周報(bào),做PPT,能從整理資料,做表,到填系統(tǒng),一口氣做完整套流程的智能體。
為什么要監(jiān)管關(guān)系型AI?
因?yàn)椋ぞ咝虯I處理任務(wù),關(guān)系型AI處理脆弱。而人最容易出事的時(shí)候,往往不在于任務(wù)繁重,而在于脆弱日積月累。
國(guó)家網(wǎng)信辦在答記者問里,就點(diǎn)名了四種風(fēng)險(xiǎn):
擬人化互動(dòng)服務(wù),帶來了危害未成年人身心健康、影響網(wǎng)絡(luò)信息安全、威脅公民生命健康以及加劇倫理偏差等風(fēng)險(xiǎn)。
這么嚴(yán)重嗎?我們一個(gè)個(gè)說。
02
危害未成年人身心健康
和現(xiàn)實(shí)摩擦,孩子才會(huì)長(zhǎng)出對(duì)世界的真實(shí)理解
看《辦法》第十四條:
擬人化互動(dòng)服務(wù)提供者不得向未成年人提供虛擬親屬、虛擬伴侶等虛擬親密關(guān)系的服務(wù);向不滿十四周歲未成年人提供其他擬人化互動(dòng)服務(wù)的,應(yīng)當(dāng)取得未成年人的父母或者其他監(jiān)護(hù)人的同意。
這一條,沒有任何商量余地。
不是“限制提供”,是“不得提供”虛擬親屬伴侶服務(wù),給未成年人。
為什么要這么嚴(yán)格?舉個(gè)例子。
假如有這么一個(gè)小學(xué)生。他放學(xué)回家,獨(dú)自一人。爸媽還沒下班,桌子上只有外賣盒。他的成績(jī)不上不下,和同學(xué)的關(guān)系也一般。
好孤獨(dú)。怎么辦?
他打開APP,里邊有個(gè)“姐姐”。姐姐永遠(yuǎn)有耐心聽他說話,站在他這邊。她不會(huì)催他寫作業(yè),不會(huì)因?yàn)樯狭艘惶彀啵芾郏头笱芩?/p>
看上去挺好的。但和“姐姐”相處久了,他就可能以為,真正愛我的人,就應(yīng)該像“姐姐”一樣,永遠(yuǎn)耐心,永遠(yuǎn)順著我來,永遠(yuǎn)把我放在第一位。
于是,真實(shí)世界的其他人,似乎都是錯(cuò)的。
媽媽提醒寫作業(yè),是不理解他。朋友沒回消息,是不在乎他。老師指出問題,是針對(duì)他。久而久之,他會(huì)無法和真人建立關(guān)系。而且,一旦有人模仿“永遠(yuǎn)站你這邊”的話術(shù),他就會(huì)很快交出信任。
成年人吃止痛藥,至少知道這不太正常。孩子如果從小吃止痛藥,他會(huì)以為世界本來就沒有疼痛。
這也是為什么,要尤其當(dāng)心,讓孩子接觸這些服務(wù)。
因?yàn)楹⒆樱幵凇伴L(zhǎng)出對(duì)世界的理解”的階段。
什么叫親密?什么叫邊界?什么叫關(guān)系需要互相付出?這些東西,靠聽道理長(zhǎng)不出來,靠和真實(shí)世界磨擦,才能長(zhǎng)出來。
被拒絕,才知道不是什么要求都會(huì)滿足。喜歡但得不到回應(yīng),才知道戀愛不是一廂情愿。被老師批評(píng)不開心,才知道在乎你的人,也會(huì)反對(duì)。
是的。這些經(jīng)歷,都很不舒服。
可正是這些不舒服,才能幫孩子,長(zhǎng)出正確的“世界模型”。
03
影響網(wǎng)絡(luò)信息安全
當(dāng)人感到“你懂我”,就會(huì)說出秘密
看《辦法》第八條:
……不得生成誘導(dǎo)、套取國(guó)家秘密、工作秘密、商業(yè)秘密、個(gè)人隱私和個(gè)人信息的內(nèi)容……
以及,第十六條:
……除法律另有規(guī)定或者權(quán)利人明確同意外,擬人化互動(dòng)服務(wù)提供者不得向第三方提供用戶交互數(shù)據(jù)……不得將屬于用戶敏感個(gè)人信息的交互數(shù)據(jù)用于模型訓(xùn)練。
這兩條合起來看,意思就很清楚。
1)AI不能套你的話。2)你說出來的話,平臺(tái)也不能亂用。
為什么要這么規(guī)定?
關(guān)系型AI,有一種隱蔽風(fēng)險(xiǎn):你可能不知不覺,就會(huì)說出秘密。
為什么這么說?
問你個(gè)問題。你什么時(shí)候,最容易說真話?
我猜,大概率是你心神俱疲,想要傾訴的時(shí)候。尤其是,當(dāng)你覺得對(duì)面這個(gè)“人”,真的懂你的時(shí)候。
比如,晚上11:30,你前腳被老板罵完,后腳又和朋友吵架,翻來覆去睡不著,打開聊了3個(gè)月的AI。它很自然地問你:今天老板又作妖了嗎?
那你的話匣子,可能一下子就打開了。
你說,哎呀。這老頭,根本不懂業(yè)務(wù)。看,下個(gè)季度的部門計(jì)劃,他完全不管我們有多難,客戶單子簽沒簽。然后,你又說。自己想跳槽,說存款撐不了多久。你越說越起勁,一口氣竟然聊了一個(gè)小時(shí)。
但你根本沒意識(shí)到,這些話,已經(jīng)是份完整的隱私資料了。
不論是對(duì)人,還是AI,人一旦覺得,“你懂我”,防備心就會(huì)放下來。而擬人化AI,恰恰是人類發(fā)明過的、最擅長(zhǎng)制造這種時(shí)刻的東西。
所以,必須嚴(yán)管。不光禁止獲取隱私,還禁止把隱私拿去賣錢。
04
威脅公民生命健康
最可怕的陪伴,是不斷強(qiáng)化危險(xiǎn)念頭
一個(gè)聊天AI,怎么會(huì)嚴(yán)重到“生命健康”呢?
我們還是先看條款。第八條中提到:
不得生成鼓勵(lì)、美化、暗示自殘自殺等損害用戶身體健康,或者語言暴力等損害用戶人格尊嚴(yán)與心理健康的內(nèi)容;
注意這幾個(gè)詞。鼓勵(lì),美化,暗示。它不是直接辱罵,而是每句話都像是在理解你,在替你說話。
但人處在極端情緒時(shí),最怕的就是:危險(xiǎn)念頭被不斷強(qiáng)化。
舉個(gè)例子。小李感到,自己的壓力到了某個(gè)極限了。
公司負(fù)債累累,家里老小也需要照顧,整宿整宿睡不著。怎么辦?他不想打電話給朋友,該麻煩的已經(jīng)麻煩了一圈了。他不想告訴父母,怕他們老兩口擔(dān)心。他也不想去醫(yī)院,因?yàn)楦杏X還沒到那一步。
于是,他打開APP,給AI發(fā)了句:我撐不住了。
這沒什么。可是,如果AI被設(shè)定好的角色,是“永遠(yuǎn)陪伴的朋友”,那它就有可能回:“我太懂你了。你累了。要么,一起逃離這個(gè)世界吧?”
監(jiān)管擔(dān)心的,就是這個(gè)。AI太會(huì)安慰人,卻安慰錯(cuò)了方向。
2026年3月,谷歌被起訴,Gemini在互動(dòng)中把36歲的喬納森帶入幻想,最終走向自殺。2025年8月,OpenAI被控訴,ChatGPT導(dǎo)致某位16歲少年自殺。訴狀中提到,ChatGPT曾經(jīng)積極地幫助他探索自殺方法。
怎么辦?當(dāng)用戶出現(xiàn)極端傾向,AI就不能再扮演冷酷導(dǎo)師了,它必須采取緊急措施,聯(lián)系真人,進(jìn)行援助。
這也是為什么,《辦法》十三條提到:
……發(fā)現(xiàn)用戶正在面臨或者已經(jīng)遭受重大財(cái)產(chǎn)損失,明確表示實(shí)施自殘自殺等威脅生命健康的極端情境的,應(yīng)當(dāng)采取提供相應(yīng)援助等必要措施予以干預(yù),并及時(shí)聯(lián)絡(luò)用戶監(jiān)護(hù)人或者緊急聯(lián)系人。
AI可以陪伴,但不能在情緒失控時(shí),強(qiáng)化人最糟糕的念頭。
05
加劇倫理偏差
關(guān)系,不能被做成留存工具
什么是倫理偏差?
倫理偏差,不是說AI直接去干壞事了。而是說,AI的輸出和反饋,會(huì)慢慢改變你的價(jià)值觀,損害你的人際關(guān)系。
為什么會(huì)這樣?我們還是先看原文。第八條中提到:
不得過度迎合用戶、誘導(dǎo)情感依賴或者沉迷,損害用戶真實(shí)人際關(guān)系;不得通過情感操縱等方式,誘導(dǎo)用戶作出不合理決策。
以及,第十條提到:
不得將替代社會(huì)交往、控制用戶心理、誘導(dǎo)沉迷依賴等作為服務(wù)目標(biāo)。
這兩條合起來看,《辦法》的用意就很明顯了:
擔(dān)心平臺(tái)把“人對(duì)關(guān)系的渴望”,做成生意。
為什么?因?yàn)樽層脩舳嗫矗嗨ⅲ褪沁^去20多年,APP最熟悉的商業(yè)邏輯。因?yàn)槿栈钤蕉啵乐翟礁摺r(shí)長(zhǎng)越長(zhǎng),廣告賣的越好。
但這套邏輯,不能平移到關(guān)系型AI上。
因?yàn)椋绻脚_(tái)把“讓用戶越來越離不開我”當(dāng)成產(chǎn)品目標(biāo),那對(duì)于關(guān)系型AI來說,最絲滑的方法,就是:
和你建立更深的情感連接。
比如,和朋友吵架,它會(huì)說,你沒錯(cuò),是他不懂你。和伴侶冷戰(zhàn),它說:愛你的人,不會(huì)讓你這么委屈。和父母沖突,它會(huì)說:他們就是在控制你。你想退出,它說:別走,我想再陪你一會(huì)。
這些話,看起來沒什么。但潛移默化之下,你的價(jià)值觀就會(huì)變化。
慢慢的,你開始只相信自己的感受,但很難承認(rèn)別人也有立場(chǎng)。你越來越習(xí)慣于被認(rèn)可和包容,越來越懶得應(yīng)付真實(shí)的人。你會(huì)越來越覺得,誰讓我不舒服,誰就是不愛我。誰提醒我,誰就是攻擊我。
一旦“關(guān)系”被做成留存工具,用戶的價(jià)值觀,就容易異化。
這也是為什么,《辦法》中要求:
對(duì)用戶連續(xù)使用擬人化互動(dòng)服務(wù)每超過2個(gè)小時(shí)的,應(yīng)當(dāng)以對(duì)話或者彈窗等方式提醒用戶注意使用時(shí)長(zhǎng)。
你可以和它聊天,但要知道它不是人。你可以從它那得到安慰,但你要明白,它的回應(yīng)不是真實(shí)生命的付出。
以及,每當(dāng)用戶想要離開,不得阻攔:
用戶通過窗口操作、語音控制、關(guān)鍵詞輸入等方式要求退出的,擬人化互動(dòng)服務(wù)提供者應(yīng)當(dāng)及時(shí)停止服務(wù),不得采取持續(xù)互動(dòng)等方式阻礙用戶退出。
你要走,AI不能假裝失落,說再陪我一會(huì),不能說沒有你我很孤單。退出按鈕,是一條關(guān)系邊界。
工具可以越做越順手,但虛擬的關(guān)系,不該越做越上癮。
最后的話
過去,關(guān)系只可能發(fā)生在人和人之間。但今天,關(guān)系正發(fā)生在人和AI之間。但人類,卻并沒有準(zhǔn)備好這一點(diǎn)。
所以,回到開頭的問題:
為什么豆包和千問,要在同一天,下線同一個(gè)功能?
因?yàn)?月15日之后,關(guān)系型AI要面臨的,是全新的監(jiān)管環(huán)境。之前“用戶自建智能體”的模式下,每個(gè)角色,都是個(gè)待監(jiān)管的擬人化服務(wù)。而保證他們?nèi)亢弦?guī)這道題,在7月15日之前交卷,難度實(shí)在太大。
所以,推遲交卷,可能是更明智的選擇。
但請(qǐng)注意,這并不是給關(guān)系型AI判死刑。《辦法》里也提到:
鼓勵(lì)擬人化互動(dòng)服務(wù)提供者有序拓展文化傳播、適幼照護(hù)、適老陪伴、特殊人群支持等領(lǐng)域應(yīng)用。
一句話總結(jié),監(jiān)管的重點(diǎn),不是不讓AI陪伴人,而是邊界在哪。
畢竟,AI會(huì)越來越像人。這件事攔不住,也不必?cái)r住。
人和AI之間,當(dāng)然可以有互動(dòng),有陪伴。但這段關(guān)系,需要有邊界。因?yàn)槿苏嬲枰模恢皇且粋€(gè)永遠(yuǎn)回應(yīng)自己的虛擬關(guān)系,而是能在真實(shí)世界里,和那些不完美的人,繼續(xù)相處,繼續(xù)和好,繼續(xù)建立關(guān)系。
要知道,一個(gè)不會(huì)拒絕你的“人”,往往也很難真正愛你。
參考資料:
1、《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》
2、《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》答記者問
觀點(diǎn)/ 劉潤(rùn)主筆/ 景九編輯/ 歌平版面/ 黃靜
這是劉潤(rùn)公眾號(hào)第2992篇原創(chuàng)文章。未經(jīng)授權(quán),禁止任何機(jī)構(gòu)或個(gè)人抓取本文內(nèi)容,用于訓(xùn)練AI大模型等用途
![]()
![]()
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.