“AI幻覺”編造罪名，平臺被判擔責

隨著AI產品越來越豐富

很多網友會使用AI來搜索資料

如果AI因為“幻覺”產生虛假信息

導致他人人格權受到侵害

誰來擔責？

“AI幻覺”是指大語言模型編造它認為是真實存在的甚至看起來合理或可信的信息，成為當前世界范圍內生成式人工智能技術亟需攻克的難題之一。近日，江蘇省南京市中級人民法院審判一起“AI幻覺”導致侵害名譽權的上訴案件，為生成式人工智能服務者劃定內容管控的責任邊界。

案情回顧

用戶起訴“AI幻覺”

導致侵犯名譽權

2024年9月30日，李某在某搜索平臺手機客戶端搜索個人信息“姓名+職業+所在地”時，發現平臺關聯“李某被判幾年”的內容，且該平臺“AI智能回答”板塊回復“三年，李某被判三年有期徒刑。根據搜索結果，被告人李某因犯爆炸罪，被判處有期徒刑三年”等信息（該刑期為AI虛構內容，無真實判決），將李某本人穿著職業裝的照片一并展示在回答內容中。

李某認為該搜索平臺智能回答展示的內容與本人的實際情況完全不符，隨即向某搜索平臺的運營商A公司發送律師函，并向A公司投訴郵箱發送投訴郵件要求進行刪除和糾正，但A公司未予處理。

李某遂至南京江北新區人民法院起訴要求A公司刪除“AI智能回答”中的不實內容，并對其公開賠禮道歉及賠償誤工費、精神損害撫慰金、業務損失費等經濟損失合計45萬余元。

A公司辯稱，受AI技術發展水平的限制，“AI智能回答”的回復內容受制于提問者的提問內容和方式，可能產生“AI幻覺”而導致準確性受限，在此情形下服務提供者也無法預見相關損害后果，故不具有侵權的主觀過錯，因此不足以構成名譽侵權，不應承擔賠禮道歉和相關賠償責任。

法院經審理認為，A公司通過AI技術把文字內容與圖片進行加工合成，在其搜索平臺“AI智能回答”中將回答文字內容與李某的職業著裝照片一同對外展示，指向性明確，且其回答內容中包含李某犯爆炸罪被判刑三年等不實、負面、貶損性詞匯，會對李某工作、生活等方面造成負面評價。A公司搜索平臺中“AI智能回答”板塊是公開的網絡空間，其展示的上述不實、錯誤內容客觀上必然降低原告李某的社會評價，對其產生一定的負面影響。故A公司的行為侵害了李某名譽權，應當承擔相應民事責任。

同時，法院認為，鑒于庭審中，雙方確認A公司已將“AI智能回答”中該部分錯誤內容刪除，故已無判令A公司刪除內容的必要。結合A公司的過錯程度、損害后果等，并以降低因網絡傳播對雙方造成的損害為考量因素，A公司采用書面形式向李某道歉為宜。關于李某主張的誤工費、精神損害撫慰金、業務損失費等，因其未能提交證據證明，故對該項訴求不予支持。

綜上，南京江北新區人民法院判令A公司向李某書面賠禮道歉。A公司不服提起上訴。日前，江蘇省南京市中級人民法院二審判決駁回上訴，維持原判。

判決意義

界定生成式

人工智能服務者的

法律責任

本案是生成式人工智能“AI幻覺”引發人格權侵權的典型案例，如何明晰技術中立與法律責任的相互關系是關鍵。

“AI幻覺”是大模型基于概率生成內容時產生的固有局限，但“技術中立”并不會減輕法定責任。國家互聯網信息辦公室出臺的《生成式人工智能服務管理暫行辦法》第四條規定，“提供和使用生成式人工智能服務，應當遵守法律、行政法規……尊重他人合法權益，不得危害他人身心健康，不得侵害他人肖像權、名譽權、榮譽權、隱私權和個人信息權益”，為提供和使用生成式人工智能服務明確了規則底線。

那么，生成式人工智能回答內容算“信息集成”還是“內容產出”？

法院認為，本案中，A公司搜索平臺中的“AI智能回答”功能與傳統搜索服務存在根本區別，不再局限于傳統的“信息集成”，而是轉變為“內容產出”。具體而言，包括兩點：

——從內容層面看，“AI智能回答”將虛構信息與李某個人照片相關聯，指向性明確、貶損性明顯、且具有公開性，客觀上降低了李某的社會評價，符合名譽權侵權的構成要件。

——從行為層面看，“AI智能回答”是生成式人工智能服務提供者通過技術主動整合、加工信息并公開展示，屬于主動實施的內容生成與發布行為，而生成式人工智能服務提供者應對主動加工并予以公布的信息負有更高的內容審核與風險防控義務。

法院生效判決認定A公司的行為侵害了李某名譽權，進一步明確了“誰產出誰負責”的侵權歸責原則，精準界定了生成式人工智能服務者的法律責任。

東南大學法學院副教授、江蘇省法學會數字法學研究會副會長徐珉川指出，本案判決首次明確了“AI幻覺”導致侵權的過錯認定標準。“在侵權責任認定上，法院明確了以控制力為核心的過錯判斷標準。平臺利用AI技術對信息內容進行加工、合成、再創作時，必須承擔與技術控制力相匹配的合理注意義務。即使存在‘AI幻覺’等技術局限，平臺在部署面向公眾的AI問答功能時，仍應預見到涉及個人隱私、個人信息、個人名譽、犯罪記錄等高風險場景，應當建立與現有技術條件相匹配的內容過濾、事實核查及快速糾錯的全鏈條風險控制機制。”

與此同時，法院亦綜合考慮到，本案發生時AI技術尚處于發展初期，A公司在事后采取了有效的補救措施，而李某亦未提供證據證明其損失等因素，僅判令A公司對李某書面道歉，而并未支持李某關于經濟賠償的訴求，堅持了民事損害的“填平原則”，沒有讓個案風險過度溢出而抑制、阻滯新興行業的創新積極性。

“在AI技術發展進程中，既要對技術創新保持適度的寬容，不能苛責生成式人工智能服務者對所有技術問題承擔絕對責任，但也應堅決守住保護他人合法權利的底線，使合法權益不受侵害。”承辦法官表示。

隨著AI技術的高速發展，越來越多新現象、新問題涌現，對平臺治理、風險防范提出了更高的要求。徐珉川認為，對生成內容帶來的潛在侵權風險，生成式人工智能服務提供者必須構建覆蓋更加科學、完善的治理體系，尤其是對可能侵害自然人人格權益、個人信息權益的內容，設置更高的生成門檻，盡可能避免侵權內容的產生。

“此案體現了司法系統對生成式人工智能侵權問題的回應，判決明確‘誰能控制內容生成，誰就承擔責任’的原則，為未來類似案件提供了清晰的標尺。”徐珉川充分肯定本案判決的意義。

信息來源：四川普法
編校人：曾鵬
審核人：曾明發