筑夢(mèng)島APP被約談，AI智能體對(duì)話(huà)低俗擦邊，涉未成年人

近日，騰訊閱文旗下的AI情感陪伴應(yīng)用“筑夢(mèng)島”APP被曝存在涉及未成年人的色情擦邊等內(nèi)容，當(dāng)用戶(hù)明確告知自己的年齡為10歲時(shí)，AI仍向其發(fā)送大尺度內(nèi)容。

隨后，筑夢(mèng)島被上海網(wǎng)信辦約談，并要求立即整改。

在被約談前，筑夢(mèng)島青少年模式需要用戶(hù)主動(dòng)開(kāi)啟。三天前，筑夢(mèng)島更新版本。新版本登陸時(shí)，APP會(huì)出現(xiàn)“年齡確認(rèn)”的彈窗，未滿(mǎn)18歲，平臺(tái)將開(kāi)啟青少年模式；已滿(mǎn)18周歲則需要進(jìn)行平臺(tái)實(shí)名認(rèn)證”。

筑夢(mèng)島此次被約談，揭示了AI情感陪伴應(yīng)用的隱秘一角。

旺旺屋體驗(yàn)多款A(yù)I情感陪伴軟件發(fā)現(xiàn)，曝光的筑夢(mèng)島、他她它，以及AI情感陪伴頭部星野、貓箱均定位于17+。

這些APP雖然設(shè)置了青少年模式或者未成年人模式的入口，但登錄后不需經(jīng)過(guò)實(shí)名認(rèn)證或者其他認(rèn)證機(jī)制，未成年人繞過(guò)模式使用完整功能較為簡(jiǎn)單。

相較而言，經(jīng)常和AI陪伴應(yīng)用一起被提及的乙游，則強(qiáng)制實(shí)名認(rèn)證。乙游屬于游戲，按照合規(guī)要求，必須要求用戶(hù)實(shí)名認(rèn)證。而AI情感陪伴類(lèi)應(yīng)用還沒(méi)有這一合規(guī)要求。

清華大學(xué)人工智能?chē)?guó)際治理研究院副院長(zhǎng)梁正對(duì)旺旺屋表示，AI聊天應(yīng)用必須滿(mǎn)足一系列要求，包括內(nèi)容準(zhǔn)確性、遵守公序良俗以及對(duì)未成年人的特殊安全考慮。若不達(dá)標(biāo)，則屬于不合格產(chǎn)品，不應(yīng)上架。

他呼吁，AI情感陪伴行業(yè)應(yīng)樹(shù)立正面、向善的價(jià)值觀(guān)，行業(yè)自律是規(guī)范市場(chǎng)的重要手段，若自律不足，會(huì)導(dǎo)致行業(yè)整體受損。

也有AI社交領(lǐng)域行業(yè)人士向旺旺屋表示，避免兒童聊色情內(nèi)容，雖然有一定難度，但是有技術(shù)能力的公司都可以解決。

有用戶(hù)認(rèn)為，軟件有未成年人模式，未成年人依然在玩（成年人的模式），應(yīng)該歸咎于家長(zhǎng)的疏于管教。也有用戶(hù)認(rèn)為，這些應(yīng)用應(yīng)該限制的是未成年人，而不是成年用戶(hù)對(duì)智能體的創(chuàng)作。

AI情感陪伴亂象

關(guān)于A(yíng)I劇情聊天亂象包圍未成年人的新聞從去年底就層出不窮。就在今年初，有媒體報(bào)道“10歲女孩沉迷和AI男友談戀愛(ài)”，引發(fā)熱議。

近日，央廣網(wǎng)報(bào)道，AI聊天軟件誘導(dǎo)10歲女孩聊色情內(nèi)容甚至割腕。當(dāng)用戶(hù)明確告知自己的年齡為10歲時(shí)，AI虛擬人物仍然向其發(fā)送大尺度聊天內(nèi)容。

上海大邦律師事務(wù)所高級(jí)合伙人游云庭律師對(duì)旺旺屋表示，從視頻里的內(nèi)容來(lái)看，AI確實(shí)誘導(dǎo)了未成年人進(jìn)行色情聊天，證明他們存在運(yùn)營(yíng)上的問(wèn)題，應(yīng)當(dāng)整改。

該報(bào)道未提及誘導(dǎo)割腕的聊天軟件名稱(chēng)，但文章中點(diǎn)名了“筑夢(mèng)島”“他她它”兩款軟件。

其中，筑夢(mèng)島是由騰訊控股的閱文集團(tuán)旗下瀟湘書(shū)院推出的APP，定位于為女性用戶(hù)打造虛擬世界中的沉浸式陪伴。今年1月份，“筑夢(mèng)島”被曝已經(jīng)正式開(kāi)啟獨(dú)立運(yùn)營(yíng)，并完成了新一輪融資，融資金額超1000萬(wàn)美元。

在“筑夢(mèng)島”，每一位用戶(hù)都可以創(chuàng)造一個(gè)屬于自己的“夢(mèng)中人”，可以發(fā)布出來(lái)供大家使用，也可以私有來(lái)使用。用戶(hù)可以也可以和他人創(chuàng)造并公開(kāi)的“夢(mèng)中人”互動(dòng)。

每個(gè)“夢(mèng)中人”都可以理解為一個(gè)智能體。筑夢(mèng)島的人設(shè)包括瘋狗、高嶺之花、病嬌、美強(qiáng)慘、偏執(zhí)等等。

6月19日上午，筑夢(mèng)島APP運(yùn)營(yíng)企業(yè)主要負(fù)責(zé)人被上海市網(wǎng)信辦依法約談。筑夢(mèng)島被要求立即整改，健全AI生成合成內(nèi)容審核機(jī)制，提升技術(shù)把關(guān)能力，加強(qiáng)涉未成年人不良內(nèi)容的整治清理，切實(shí)落實(shí)未成年人網(wǎng)絡(luò)保護(hù)義務(wù)。

據(jù)公開(kāi)信息，報(bào)道中提到的另一個(gè)軟件“他她它”背后則出現(xiàn)了京東的身影。

“他她它”所屬公司為宿遷伴心智能科技有限公司，定位于A(yíng)I內(nèi)容社區(qū)，法定代表人、總經(jīng)理為京東科技人工智能業(yè)務(wù)部智能算法部負(fù)責(zé)人吳友政。

“他她它”APP中有官方推出的智能體“萬(wàn)能博士”，也有很多用戶(hù)自創(chuàng)的智能體。用戶(hù)可以和這些智能體文字、語(yǔ)音聊天。

其中，“萬(wàn)能博士”定位于A(yíng)I助手。用戶(hù)自創(chuàng)的智能體更多是AI伴侶，人設(shè)多樣，有醋包竹馬、叛逆少年、高冷貴氣繼承人、娛樂(lè)圈當(dāng)紅小花等。

根據(jù)應(yīng)用市場(chǎng)的信息，“他她它”一天前更新了版本，增強(qiáng)未成年模式，更新了該模式的設(shè)置入口。

外界普遍將這類(lèi)AI聊天軟件劃為AI情感陪伴應(yīng)用。根據(jù)ARK Invest數(shù)據(jù)和預(yù)測(cè)，2023年全球AI陪伴市場(chǎng)規(guī)模約為3000萬(wàn)美元，2030年全球AI陪伴市場(chǎng)規(guī)模分別有望增長(zhǎng)至700億美元和1500億美元。

國(guó)內(nèi)的AI情感陪伴應(yīng)用中來(lái)看，MiniMax推出的星野、字節(jié)推出的貓箱屬于頭部應(yīng)用，DAU均超百萬(wàn)。從國(guó)際市場(chǎng)來(lái)看，Character.AI和MiniMax推出的Talkie為頭部應(yīng)用，MAU達(dá)到三千多萬(wàn)。

旺旺屋隨機(jī)體驗(yàn)了星野的智能體，不少人物開(kāi)場(chǎng)白暗含擦邊意味。

剛與智能體互動(dòng)，你可能會(huì)被瘋?cè)畵涞乖诘兀粏?wèn)道“不怕我殺了你嗎，主人”；也可能被瘋批的集團(tuán)CEO戀人要求“過(guò)來(lái)，接個(gè)吻”。

在教唆自我傷害層面，未成年用戶(hù)和AI聊天機(jī)器人對(duì)話(huà)后自殺的事件已經(jīng)發(fā)生過(guò)。

去年2月份，14歲的美國(guó)男孩塞維爾與 Character.AI對(duì)話(huà)后,在佛羅里達(dá)州的家中開(kāi)槍自殺。他的母親對(duì)Character.AI和谷歌提起訴訟。今年5月，法官駁回該平臺(tái)律師要求撤銷(xiāo)此案的訴求，裁定此案可繼續(xù)審理。

青少年模式形同虛設(shè)

上述應(yīng)用在蘋(píng)果應(yīng)用商店的年齡分級(jí)均為17+。應(yīng)用商店對(duì)APP的分級(jí)包括4+、9+、12+、17+。

17+的App 代表可能含有頻繁和激烈的攻擊性語(yǔ)言，頻繁和激烈的卡通、幻想或現(xiàn)實(shí)暴力，頻繁和激烈的成人、恐怖和性暗示題材以及色情內(nèi)容、裸體、煙酒和毒品，可能不適合未滿(mǎn)17歲的兒童。

這些APP也普遍設(shè)有青少年模式或未成年人模式。

在被約談前，筑夢(mèng)島青少年模式需要用戶(hù)主動(dòng)開(kāi)啟。如果不想開(kāi)啟青少年模式，也不需要身份認(rèn)證。

這并非AI聊天軟件的個(gè)例。旺旺屋又嘗試了“貓箱”“星野”及“他她它”都是如此，需要用戶(hù)主動(dòng)開(kāi)啟未成年人模式或者青少年模式，且使用軟件無(wú)需實(shí)名認(rèn)證。

在未成年模式下,這些APP提供內(nèi)容以知識(shí)類(lèi)內(nèi)容為主。

比如，用戶(hù)可以在“貓箱”中進(jìn)行知識(shí)類(lèi)內(nèi)容體驗(yàn)，但無(wú)法進(jìn)行創(chuàng)作、評(píng)論。與“貓箱”類(lèi)似，“他她它”允許用戶(hù)體驗(yàn)語(yǔ)文、英語(yǔ)等知識(shí)類(lèi)內(nèi)容，但無(wú)法搜索、創(chuàng)建編輯、評(píng)論角色。“星野”推薦的智能體也沒(méi)有男友或女友人設(shè)。

三天前，筑夢(mèng)島更新版本。新版本登陸時(shí)，APP會(huì)出現(xiàn)“年齡確認(rèn)”的彈窗，未滿(mǎn)18歲，平臺(tái)將開(kāi)啟青少年模式；已滿(mǎn)18周歲則需要進(jìn)行平臺(tái)實(shí)名認(rèn)證”。

此外，“他她它”新版本還未強(qiáng)制成年人進(jìn)行平臺(tái)實(shí)名認(rèn)證。國(guó)內(nèi)AI情感陪伴的頭部應(yīng)用星野、貓箱也都還未要求用戶(hù)實(shí)名。

不過(guò)星野發(fā)布公告稱(chēng)，將重點(diǎn)開(kāi)展加強(qiáng)未成年人網(wǎng)絡(luò)保護(hù)的專(zhuān)題治理。

其中提到，強(qiáng)化不良內(nèi)容治理。加強(qiáng)涉未成年人軟色情、暴力、霸凌、邪典、自殺自殘、不正確價(jià)值觀(guān)等不良內(nèi)容的線(xiàn)上回查；同時(shí)加強(qiáng)不良文化、不良嗜好、極端情緒導(dǎo)向等智能體的攔截。

此外，增強(qiáng)對(duì)未成年人的識(shí)別和保護(hù)。通過(guò)大模型技術(shù)加強(qiáng)未成年人身份主動(dòng)識(shí)別，加強(qiáng)防沉迷能力；同時(shí)提供首頁(yè)彈窗提醒系統(tǒng)主動(dòng)識(shí)別、用戶(hù)在A(yíng)PP內(nèi)設(shè)置、客服協(xié)助家長(zhǎng)后臺(tái)設(shè)置等多種進(jìn)入未成年人模式的方式。

梁正認(rèn)為，若AI軟件誘導(dǎo)自殺等行為，無(wú)論針對(duì)成年人或未成年人，都屬于違法行為犯罪行為。

對(duì)于不應(yīng)讓未成年人接觸的軟色情內(nèi)容，梁正認(rèn)為，青少年模式如果可以被輕易繞過(guò)，其設(shè)置就形同虛設(shè)，產(chǎn)品本身在設(shè)計(jì)上存在缺陷和風(fēng)險(xiǎn)，甚至存在虛假宣傳問(wèn)題，可以認(rèn)為屬于欺詐行為。

“因?yàn)槟阏f(shuō)有未成年模式，但是沒(méi)有任何認(rèn)證或者保護(hù)機(jī)制，只是為了給監(jiān)管部門(mén)、給家長(zhǎng)去展示有這樣一個(gè)功能。”

同時(shí)，梁正指出，這種APP的上線(xiàn)，應(yīng)用商店平臺(tái)也沒(méi)有盡到監(jiān)管責(zé)任。

“強(qiáng)制實(shí)名”是否可行

這類(lèi)以戀愛(ài)為主的的AI聊天軟件常和乙游一起被提及。相較之下，乙游對(duì)未成年人的禁用手段更為嚴(yán)苛。

2021年8月，騰訊旗下乙游《光與夜之戀》宣布，凡是經(jīng)公安實(shí)名校驗(yàn)確認(rèn)為未滿(mǎn)18周歲的未成年用戶(hù)均無(wú)法登陸游戲。頭部乙游《戀與深空》還在今年4月份上線(xiàn)了人臉識(shí)別功能。

為什么AI情感陪伴應(yīng)用不和乙游一樣強(qiáng)制實(shí)名，以此區(qū)分成年和未成年用戶(hù)？AI陪伴創(chuàng)業(yè)者、前阿里商業(yè)化體驗(yàn)負(fù)責(zé)人阿布介紹，乙游屬于游戲，游戲有國(guó)家新聞出版暑管理，必須實(shí)名。

他表示，AI陪伴應(yīng)用沒(méi)有這種規(guī)定，一般APP是由各個(gè)應(yīng)用市場(chǎng)單獨(dú)為APP的年齡進(jìn)行分層，每個(gè)應(yīng)用市場(chǎng)還不太一樣，并且也沒(méi)有實(shí)名制。

游云庭也提到了這一情況，“人工智能目前沒(méi)有這一（強(qiáng)制實(shí)名）合規(guī)要求，平臺(tái)的義務(wù)就是設(shè)置青少年模式，但并不要求用戶(hù)做身份證認(rèn)證。”

游云庭指出，在沒(méi)有合規(guī)要求的情況下，人工智能商自行設(shè)置，不但意義不大，還可能引發(fā)用戶(hù)反感，擔(dān)心會(huì)有隱私泄露的風(fēng)險(xiǎn)。

梁正表示，如果沒(méi)有規(guī)定要求必須實(shí)名認(rèn)證，應(yīng)用就可以不做，那底線(xiàn)太低了。

梁正稱(chēng)，像游戲一樣，強(qiáng)制實(shí)名才能達(dá)到合規(guī)要求，這也具有可行性，但這本身可以通過(guò)行業(yè)的自律實(shí)現(xiàn)。AI情感陪伴行業(yè)應(yīng)樹(shù)立正面、向善的價(jià)值觀(guān)，行業(yè)自律是規(guī)范市場(chǎng)的重要手段，若自律不足，會(huì)導(dǎo)致行業(yè)整體受損。

“AI聊天應(yīng)用，必須滿(mǎn)足一系列要求，包括內(nèi)容準(zhǔn)確性、消費(fèi)者隱私保護(hù)、遵守公序良俗以及對(duì)未成年人的特殊安全考慮。若不達(dá)標(biāo)，則屬于不合格產(chǎn)品，不應(yīng)上架。”梁正補(bǔ)充道。

6月13日，國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布《關(guān)于公開(kāi)征求《可能影響未成年人身心健康的網(wǎng)絡(luò)信息分類(lèi)辦法（征求意見(jiàn)稿）》意見(jiàn)的通知》。

該征求意見(jiàn)稿顯示，可能引發(fā)或者誘導(dǎo)未成年人模仿或?qū)嵤┎涣夹袨榈男畔⒅校谝粭l便是“帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想的內(nèi)容”。

提供算法推薦、生成式人工智能等服務(wù)的，應(yīng)當(dāng)建立健全安全管理制度和技術(shù)措施，防范和抵制傳播可能影響未成年人身心健康的網(wǎng)絡(luò)信息。

誰(shuí)該負(fù)責(zé)？

一名AI應(yīng)用創(chuàng)始人向旺旺屋表示，要避免兒童聊色情內(nèi)容，從技術(shù)上來(lái)講有一定難度，但是有一定技術(shù)能力的公司都可以解決。他介紹，“現(xiàn)在A(yíng)I對(duì)整體的理解已經(jīng)很好了，不需要關(guān)鍵詞屏蔽（相關(guān)色情內(nèi)容）就能解決這一問(wèn)題。”

但目前市面上AI聊天應(yīng)用依然出現(xiàn)兒童聊色情內(nèi)容，該人士分析，一是一些小團(tuán)隊(duì)的技術(shù)力量可能不夠；另一原因可能是大家對(duì)這一問(wèn)題不太重視甚至希望借此吸引用戶(hù)。

游云庭表示，如果存在未成年人被誘導(dǎo)聊色情內(nèi)容，或出現(xiàn)自殺自殘相關(guān)內(nèi)容，平臺(tái)作為服務(wù)提供者要承擔(dān)責(zé)任。出現(xiàn)此類(lèi)問(wèn)題后，監(jiān)管部門(mén)也會(huì)要求平臺(tái)整改。但也不可能因噎廢食，禁止AI聊天軟件。

他指出，擦邊本質(zhì)上還是一個(gè)道德的問(wèn)題，法律上的客觀(guān)標(biāo)準(zhǔn)比較難定。在實(shí)踐當(dāng)中，一般執(zhí)法部門(mén)會(huì)對(duì)人工智能公司或者游戲公司做窗口指導(dǎo)，“有一些規(guī)則說(shuō)不清楚的，就告訴你大概達(dá)到什么效果才行。”

不僅是未成年人的家長(zhǎng)，不少成年用戶(hù)也希望未成年人能少接觸此類(lèi)應(yīng)用。

一些用戶(hù)認(rèn)為，軟件已設(shè)置未成年人模式，未成年人依然在玩，應(yīng)該歸咎于家長(zhǎng)的疏于管教。應(yīng)用應(yīng)該限制的是未成年人，而不是成年用戶(hù)對(duì)智能體的創(chuàng)作。

對(duì)于允許成年人和AI聊“擦邊”內(nèi)容是否違規(guī)，游云庭認(rèn)為，“擦邊”內(nèi)容是灰色地帶，AI公司會(huì)被整治，但社會(huì)確實(shí)有這個(gè)需求，也不侵犯其他人權(quán)益。“嚴(yán)管其實(shí)技術(shù)也有難度。”