【作者】張磊(武漢大學國際法研究所博士研究生)
【來源】北大法寶法學期刊庫《武大國際法評論》2026年第2期(文末附本期期刊目錄)。因篇幅較長,已略去原文注釋。
![]()
內容提要:風險預防原則是平衡人工智能發展與安全的重要制度工具,但該原則如何適用于人工智能全球治理仍然存在不確定性。歐洲委員會《人工智能框架公約》確立了風險預防原則的適用方式,其經驗具有重要參考價值。在內涵方面,風險預防原則保障的法益范圍從生命權、健康權向普遍人權擴張,其構成要素包括風險、科學不確定性、預防措施和證明機制四項內容。在外延方面,風險預防原則正逐漸發展為一項具有義務屬性的習慣國際法規則,其實體性義務應包括人工智能測試與審查的注意義務、人類控制與監督義務、透明度義務和救濟義務;程序性義務應包括風險準備、風險評估、風險管理和風險通報義務。中國應積極促進風險預防原則適用于人工智能全球治理。具體包括:在國內法層面,完善人工智能相關法律法規中的國際合作條款;在國際法層面,主張風險預防原則涵蓋“風險”和“危險”預防,并提出相應的實體性和程序性義務。
關鍵詞:風險預防原則;人工智能框架公約;人工智能全球治理;人工智能國際法
目次 一、引言 二、風險預防原則在《人工智能框架公約》中的確立 三、風險預防原則適用于人工智能全球治理的內涵澄清 四、風險預防原則在人工智能國際法上的性質與義務內容 五、促進風險預防原則適用于人工智能全球治理的中國對策 六、結論
一
引言
人工智能的故障風險、濫用風險和系統性風險有擴散為跨境風險的可能,但全球層面暫無針對性和具有法律約束力的國際法規則能有效應對此類風險。歐洲委員會2024年5月通過的《人工智能與人權、民主和法治框架公約》(以下稱《人工智能框架公約》)是首部指導人工智能開發、部署與應用活動的區域性條約,對人工智能全球治理規則的構建具有重要的參考意義。該公約融合了“基于權利”的治理路徑和“基于風險”的治理路徑兩種治理路徑,以保障人工智能全生命周期的人權、促進民主和法治等基本價值觀為宗旨。《人工智能框架公約》總體上貫徹了歐洲素來堅持的風險預防原則(Precautionary Principle),確立了對與人工智能相關的人權、民主和法治風險的事前預防、事中管理和事后救濟。
風險預防原則最早在1941年特雷爾冶煉廠仲裁案中作為一項國際法律原則被提出。此后,風險預防原則逐漸發展為國際環境法領域的一項基本原則。它在歐盟法中具有一般法律原則的地位,但在全球層面目前難以得出其已構成一項具有普遍適用性的一般法律原則或習慣國際法規則的結論。近年來,風險預防原則在全球治理中的地位和作用日益提升,擴展至國際和平與安全、氣候變化、海洋、公共衛生、新興科技等諸多領域。有學者認為,在技術發展和治理的早期階段納入風險預防原則,可有效管理與新興技術和不可預測技術有關的風險。歐盟《人工智能法》、歐洲委員會《人工智能框架公約》雖未在案文中明確提出風險預防原則,但其風險評估、風險管理、風險通報等措施均體現了風險預防原則。
正如風險預防原則為自然環境提供保護一樣,其也應當成為人工智能等新興技術領域的一項基本原則,為人類的數字環境提供保護。從風險預防原則適用的一般條件看,人工智能的開發、部署和應用滿足存在“風險”和“科學不確定性”兩項核心要素。從法律回應技術的視角看:首先,在人工智能技術發展早期,人工智能特殊的安全風險超出了現行規則的調整范圍,這一時期的國際造法應以安全風險預防為導向;其次,目前的風險控制方法不適用于新興高風險技術領域,需要建立一種靈活的、主動的預防性治理模式,與技術同步發展;再次,人工智能具有典型的不可預測性、快速迭代性,還存在超出人類經驗范圍和想象力的“未知的未知”,最佳策略仍然是預防損害的發生,通過制度安排為技術發展的未知前景預留彈性空間,保證規則的前瞻性。現階段人工智能技術發展方興未艾,為平衡技術創新與安全監管,實現人工智能高質量發展與高水平安全的目標,風險預防原則應成為協調兩種需求的主要原則。
新興技術的規制思路通常遵循法律回應技術的一般立場,以過程風險預防為核心,重新解釋現有規則的基本概念和適用方式。當前,風險預防原則如何適用于人工智能全球治理仍然存在不確定性。本文在系統梳理風險預防原則如何在《人工智能框架公約》中確立的基礎上,澄清風險預防原則在人工智能國際法上的內涵、性質和義務內容,并建議中國采取積極舉措促進風險預防原則適用于人工智能全球治理。
二
風險預防原則在《人工智能框架公約》中的確立
《人工智能框架公約》雖然并未在第三章“與人工智能系統生命周期內的活動有關的原則”部分直接闡明風險預防原則,但第一章“總則”、第四章“救濟措施”以及第五章“評估和減輕風險與不利影響”等章節均體現了風險預防原則的適用。
(一)風險預防原則的概括性規定
風險預防原則的法律表達通常包括價值性的原則規定、概括性規定和具體性規定三類。《人工智能框架公約》主要涉及概括性規定和具體性規定兩類。概括性規定對法律的適用和發展具有普遍指導意義和直接適用性,通過目的解釋等法律解釋方法可以發揮此種功能。
《人工智能框架公約》第一章第1條“目標和宗旨”對風險預防原則做出了概括性規定:“各締約方應采取或保持適當的立法、行政或其他措施……鑒于在人工智能系統全生命周期內對人權、民主和法治產生不利影響的嚴重程度和發生的可能性,這些措施應視需要分等級和分類別。”該條強調了人工智能可能對人權、民主和法治產生風險以及采取預防措施的要求。“不利影響的嚴重程度和發生的可能性”這一表述借鑒了歐盟《人工智能法》第3條第2款對“風險”的定義——“發生損害的可能性和該損害嚴重程度的組合”,延續了國際標準化組織2019年發布的ISO14971《醫療器械的風險管理標準》中關于“風險”的界定。該條采取措施降低損害的可能性與嚴重程度本身暗含著“預防”的意思。根據風險社會理論的代表人物尼克拉斯·盧曼(Niklas Luhmann)的觀點,“預防”一詞通常被理解為對不確定的未來損害所做的準備,包括降低損害發生的可能性或者降低損失的程度。不論在危險還是風險的情況下,都可以展開預防措施。
(二)風險預防原則的具體性規定
風險預防原則的具體性規定主要體現在《人工智能框架公約》第五章“評估和減輕風險與不利影響”部分。第16條呼應了第一章中的目的條款:“各締約方應采取或保持各種措施,通過考慮對人權、民主和法治的實際和潛在影響,識別、評估、預防和減輕人工智能系統帶來的風險”,這一條款首次明確提出了“預防”(Prevention)概念,實質上肯定了風險預防原則作為本章節基本原則的地位。但該條款將風險評估、風險預防和風險管理并列,也極易混淆風險預防原則的階段劃分。風險預防原則主要包括風險評估(Risk Assessment)、風險管理(Risk Management)和風險通報(Risk Communication)三個階段。該三段式劃分偏重識別風險并采取風險管理措施,忽視了常態化的風險準備(Risk Preparation)。就人工智能全生命周期的治理而言,人工智能提供者對算法、模型、產品和服務進行嚴格測試與審查、保持人類有意義的控制和監督以及價值對齊等風險準備工作具有防微杜漸意義,風險準備環節前置更能有效應對風險的不確定性。因而,風險預防原則適用于人工智能全球治理應當包括風險準備、風險評估、風險管理和風險通報四個階段,《人工智能框架公約》亦按照四個階段闡釋相關規定。
在風險準備階段,各國需要在人工智能系統首次投入使用前以及重大修改時進行測試,確保可能對人權產生重大影響的信息和使用情況被記錄在案;同時,促進各類人員掌握識別、評估、預防和減輕人工智能風險的專業技能。通過嚴格測試、備案制度和民眾數字能力建設,將風險因素阻遏在萌芽階段。
在風險評估階段,各國需要對人工智能系統進行風險識別、評估和分級對待。《人工智能框架公約》第16(2)條列出了4項風險分級的參考要素,包括場景和預期用途、潛在影響的嚴重性和概率、多利益攸關方的觀點和是否存在反復應用,但并未明確具體級別,僅在第14(2)(a)條提及對有重大影響(Significantly Affect)的人工智能系統予以備案,或可認為《人工智能框架公約》將人工智能系統分為“重大影響的人工智能”與“非重大影響的人工智能”兩級。
在風險管理階段,各國需要對人工智能系統進行持續監測和備案,在人工智能不符合人權、民主和法治要求的情況下可采取暫停或禁止措施。《人工智能框架公約》實質上采取了“強”預防措施,即在存在科學不確定性的情況下采取諸如全面禁止、暫停、使用限制等對嚴重風險的默認反應。“弱”預防措施允許在采取措施時考慮比例原則、成本收益等,相比之下,“強”預防措施對風險采取的立場更為保守,措施更為嚴格。
在風險通報階段,各國需要通過締約方大會或雙多邊渠道履行報告義務和國際合作義務,說明該公約落實情況、關于人工智能的重大影響信息等。
《人工智能框架公約》通過概括性規定和具體性規定確立了風險預防原則的適用方式,雖然并未在第三章“與人工智能系統生命周期內的活動有關的原則”部分明確表述風險預防原則,但通過第一章目的條款、第五章涉及風險和不利影響的專章確立了其基本原則的地位。從某種程度上講,風險預防原則在《人工智能框架公約》中屬于一項統領性原則,第三章提及的人的尊嚴與自主原則、透明度與監督原則等七項原則處于從屬地位。統領性原則是從屬性原則得以保障和實現的基礎。
三
風險預防原則適用于人工智能全球治理的內涵澄清
《人工智能框架公約》未對風險預防原則的內涵做出清晰闡述,這不僅是由于國際社會對風險預防原則是否適用于人工智能全球治理尚未達成普遍共識,也與對風險預防原則的內涵本身缺乏統一認知存在關聯。鑒于風險預防原則在人工智能風險治理中發揮的重要價值,從風險預防原則保障的法益范圍、基本要素兩個方面澄清其在人工智能國際法上的內涵,有利于促進學界對風險預防原則是否以及如何適用于人工智能全球治理的討論。
(一)風險預防原則保障法益范圍的擴張
風險預防原則常見于環境法、食品安全法等領域,主要保障人類的生命權、健康權等基本權利。若要突破傳統的適用領域和場景,風險預防原則保障的法益范圍也應有所擴張。考慮到人工智能等新興技術給人權帶來的系統性風險與挑戰,相關法益保障訴求已超出生命權、健康權的有限承載力,風險預防原則在人工智能國際法上保障的法益范圍應以人權為原點,以人身人格權,政治權利以及經濟、社會和文化權利為三維坐標軸,進行立體的空間拓展。2005年聯合國教科文組織發布的《風險預防原則》報告(The Precautionary Principle)對風險預防原則做出定義:“……對人類或環境的損害威脅到人類生命或健康,或嚴重和實際上不可逆轉,或對今世后代不公平,或在沒有充分考慮受影響者人權的情況下施加”。該定義肯定了風險預防原則保障人類生命權和健康權的初衷,同時也提及后代的可持續發展權問題,最后以人權為該定義未充分考慮到的情形進行兜底。該定義是在理論層面拓展風險預防原則保障法益范圍的首次嘗試。如今,《人工智能框架公約》以人權保障為核心,從法律實踐上對風險預防原則保障的法益范圍進行擴張,推動風險預防原則在國際法上的進一步發展。
具體而言,風險預防原則在人工智能國際法上保障的人權從內容上可劃分為人身人格權利,政治權利以及經濟、社會和文化權利三類。人身人格權利包括生命權、健康權、隱私權等。例如,人工智能自動駕駛、致命性自主武器、醫療人工智能等應用可能威脅人類的生命權、生存權和健康權。政治權利包括自由權、平等權等。《人工智能框架公約》要求保護民主進程、言論自由、確保尊重平等,都體現了對自由權、平等權的保障與維護。經濟、社會和文化權利包括工作權、財產權等。例如,人工智能可能導致勞動者大規模失業,對人類的勞動權構成挑戰;人工智能未經同意收集并利用個人數據涉嫌侵犯數據財產權。風險預防原則能夠在上述人權保障中發揮重要作用。
(二)風險預防原則基本要素的厘定
學界對風險預防原則的基本要素構成仍存在學術爭鳴。一些學者主張風險預防原則具有“風險”“科學不確定性”和“預防措施”三項基本要素,但也有學者強調“證明機制”的重要性。“證明機制”是監管機構、風險制造者、風險受害者、第三方機構等多元主體對危害預期和不確定狀況進行舉證的機制。本文主要聚焦舉證責任倒置,即風險制造者通過合法方式證明危害不存在或概率較低而請求取消或降低預防措施強度。舉證責任倒置表面上看增加了企業的舉證義務,但在信息不對稱的背景下,這一機制實質上是一種確保執法公平和企業“自證清白”的雙向保障措施。鑒于此,本文采用“四要素說”,即從風險、科學不確定性、預防措施以及證明機制四個方面探究風險預防原則如何適用于人工智能全球治理。
“風險”是人工智能造成損害可能性與嚴重性的組合。《人工智能框架公約》、歐盟《人工智能法》均采納了這一界定。人工智能的風險不僅在于損害是否會發生,更關鍵的是后果有多嚴重、影響范圍有多廣。即使某類人工智能風險發生的概率較低(如“失控”),但如果后果足夠嚴重,整體風險依然極高。是否存在風險需要根據人工智能造成損害的概率及其嚴重程度做出綜合判斷,也就必然要求對風險進行分級分類。分級分類有利于風險預防的理性化,以明確目標為前提,根據風險級別和類型合理地配置資源。
“不確定性”是在有限認識范圍內對人工智能風險進行科學評估的結果。2002年,歐洲初審法院在輝瑞公司案中明確將風險預防原則與“科學不確定性”聯結,指出“當風險存在或在程度上具有科學不確定性時,歐共體機構可以根據風險預防原則采取保護性措施,無須等到風險現實存在和嚴重性顯露無遺”。對人工智能風險具有“不確定性”的認定需要基于專業、科學的客觀評估,而非主觀判斷。這種評估是在有限認識范圍內(基于可獲得的知識和信息)做出的,因而不可能完全準確無誤。
以“弱”預防措施因應人工智能風險并容許剩余風險。預防措施存在“強”“弱”兩種類型。“弱”預防措施一般較為溫和;“強”預防措施允許直接采取限制、暫停、禁止等措施,更為強硬、反對冒險。《人工智能框架公約》即采用了“強”預防措施。然而,“強”預防措施可能抑制創新、阻礙人工智能技術的快速發展。現階段,“不發展就是最大的不安全”,以“弱”預防措施靈活、彈性地因應人工智能風險更有利于技術的創新與發展。除此之外,采取預防措施并不能實現人工智能技術應用“零風險”,國際法應允許“剩余風險”存在,各國對此具有一定程度的忍受義務。
證明機制是人工智能風險預防中不可或缺的救濟機制。人工智能風險預防一般以人工智能企業(開發者、部署者)為風險規制的相對方,主要傾向于維護應用者的合法權益,而證明機制(舉證責任倒置)兼顧了對人工智能企業權益的保障,有利于充分實現平衡人工智能安全和發展的總體目標。“誰主張誰舉證”屬于證明責任的基本規則。然而,無論是采取“強”預防措施還是“弱”預防措施,都存在類似的舉證責任倒置,即在一定條件下由認為相關活動不會造成嚴重或不可逆后果的主體對自身主張加以證明,請求監管主體取消或降低預防措施的力度。《人工智能框架公約》第14(2)(c)條保障了“相關人員”(主要指人工智能企業等風險制造者)進行“申訴”(Complaint)的權利,有助于維護人工智能企業的權益。
綜上,風險預防原則在人工智能國際法上的內涵可總結為:為保障人類的人身人格權利,政治權利以及經濟、社會和文化權利,對于可能發生的具有科學不確定性的人工智能重大跨境風險,各國以及人工智能企業等主要行為體應采取有效的預防措施消除或降低風險,并提供適當的救濟機制。
四
風險預防原則在人工智能國際法上的性質與義務內容
風險預防原則是否構成一項具有普遍適用性的一般法律原則或習慣國際法規則仍存在爭議。筆者認為,至少在人工智能領域,風險預防原則目前是一項“發展中”的習慣國際法規則,不過本文主張,風險預防原則應當成為人工智能國際法的一項基本原則。
(一)風險預防原則是一項“發展中”的習慣國際法規則
1.風險預防原則適用于人工智能全球治理的法律確信和國家實踐
首先,風險預防原則適用于人工智能全球治理已形成高度法律確信。例如,目前人工智能全球治理領域最具影響力的共識性文件——聯合國教科文組織193個會員國集體通過的《人工智能倫理問題建議書》明確要求會員國評估、預防、緩解和監測人工智能風險。聯合國大會(以下稱“聯大”)《工智能可持續發展決議》也要求各國對人工智能風險進行識別、分類、預防和緩解。這些國際軟法文件充分證明了各國對風險預防原則規范價值的認同。
其次,風險預防原則適用于人工智能全球治理已具有一定范圍的國家實踐。例如,歐洲委員會《人工智能框架公約》、歐盟《人工智能法》等區域條約或法案以及多國的人工智能專門立法、風險管理框架、指南等都確立了“基于風險”的治理路徑。但鑒于頒布相關法律法規或政策文件的國家數量總體較少,風險預防原則暫不具有廣泛的國家實踐。隨著相關國家實踐的增多以及新興技術領域存在較高的“國際造法”需求,在不考慮持續時間等輔助因素的情況下,風險預防原則有望快速發展為人工智能領域的一項“速成習慣國際法”規則。
2.風險預防原則與危險預防原則的融合趨勢
危險預防原則是一項習慣國際法規則。國際法委員會在《預防危險活動的跨境損害條款草案》第1條評注中指出,預防(Prevention)是一種程序或義務,涉及可能實際發生重大損害前的階段,要求國家采取預防措施。該草案作為習慣國際法的編纂,確認了各國對國際法不加禁止的危險活動可能造成重大跨境損害負有一般性的預防義務。在與國家安全、公共安全密切相關的領域或場景跨境部署和應用人工智能本身未被國際法明確禁止,但因其具有潛在高風險性,可能對他國領土或管轄區造成嚴重損害(如人員傷亡、財產損失等),構成國際法不加禁止的危險活動,危險預防原則對其具有適用性。
危險預防原則(Prevention Principle)與風險預防原則(Precautionary Principle)存在區別。危險預防原則適用于已明確行為與損害之間因果關系的情形,用于處理確定的危險,在國際法上適用于可能造成重大跨境損害的危險活動。風險預防原則將預防行動的范圍擴大到因果關系不甚明確的情形,用于處理不確定的風險。危險預防原則構成一項習慣國際法規則,目前對風險預防原則暫無法得出構成一項一般法律原則或習慣國際法規則的結論。
然而,在理論和實踐層面,危險預防原則與風險預防原則呈現融合趨勢。例如,國際法委員會對《預防危險活動的跨境損害條款草案》的評注指出,即使沒有充分的科學確定性,也要謹慎地采取措施,避免或防止嚴重或不可逆轉的損害。可見,國際法委員會承認兩種預防原則的區別,但為了避免對危險活動采取措施過于遲緩,有意淡化“充分的科學確定性”的重要性,降低采取預防措施的門檻,實質上通過法律解釋模糊了兩種預防原則的區別。除此之外,《人工智能框架公約》第16條和第20條強調預防風險,使用了“Prevention”一詞而沒有使用“Precaution”或“Precautionary”,也體現出這種融合趨勢。在某種程度上,這種融合趨勢有利于風險預防原則快速發展為人工智能領域的一項習慣國際法規則。
(二)風險預防義務包含的實體性內容
風險預防原則不僅是一項指導原則,而且正在發展為一項具有義務屬性的習慣國際法規則。風險預防義務不是單個的義務形式,而是表現為一組義務群。國際法院在烏拉圭河紙漿廠案中指出,風險預防義務包含實體性和程序性兩方面內容。風險預防義務包含的實體性內容體現在采用風險預防方法和提供救濟措施方面,具體而言,適用于人工智能全球治理時主要包括測試與審查的注意義務、人類控制與監督義務、透明度義務和救濟義務。
1.測試與審查的注意義務
在人工智能的算法開發、模型訓練、部署與應用等過程中加強測試與審查已成為一項國際共識。例如,《人工智能框架公約》要求為開發、試驗和測試人工智能建立受控環境。世界經濟論壇《負責任的生成式人工智能建議書》要求采取嚴格的基準測試、紅隊測試、沙盒測試等。美國《負責任軍事使用人工智能與自主技術的政治宣言》要求進行法律審查。通過嚴格的測試與審查發現模型漏洞、評估性能與安全性,建立“合格評定制度”,有利于遏制人工智能風險的產生及擴散。
測試與審查的注意義務要求人工智能提供者(人工智能企業及其管轄國)以謹慎“理性人”的標準預見人工智能的跨境風險,通過嚴格測試與審查的方式消除或降低跨境損害發生的可能性。“理性人”標準是一種客觀化或類型化的過失標準,即相關行為體應當具備人工智能行業、人工智能領域監管者通常所具備的注意能力。現階段,人工智能技術正處于發展初期,不應對人工智能提供者課以較高的測試與審查的注意義務,不應采取結果主義,要求完全消除所有風險,而應容許國際社會接受范圍內的“剩余風險”,只要測試與審查符合人工智能行業一般標準即可。
2.人類控制與監督義務
國際社會已充分認識到對人工智能保持人類控制與監督的重要性。歐盟委員會主席馮德萊恩曾表示:“‘人類控制’是應對人工智能挑戰的首要原則”。多份國際文件明確載入相關內容,例如,《全球數字契約》要求促進人工智能強有力的人類監督;聯大《人工智能可持續發展決議》要求促進人類監督;聯大《軍事領域的人工智能決議》要求確保人類判斷的監督和控制武力使用;等等。上述文件雖然不具有法律約束力,但作為國家間共識,將深刻影響人工智能領域國際條約的制定和習慣國際法的形成。
20世紀90年代,美國國家航空航天局(National Aeronautics and Space Administration, NASA)提出的“以人為中心的自動化原則”可以為人類控制與監督義務的設置提供重要參考。該原則要求飛行員和空中交通管制員必須積極參與、必須充分知情、必須能夠監測并協助飛機自動化、自動化系統必須是可預測的、自動化系統必須監測人類操作員,以及每個智能系統(Intelligent System)元素必須理解其他智能系統元素的意圖。這六項要求有三點特征:第一,雖然涉及自動化,但自動化與人工智能存在本質區別。自動化是人工智能的物理基礎,人工智能是自動化的智能升級,二者具有相互促進和融合的關系,在規制原理上是辯證統一的。第二,第六項關于“智能系統元素”的要求已經充分體現出NASA對飛機自動化及其人工智能發展前景的預判。第三,六項要求中不僅包括人類對自動化系統的控制和監督,還涉及自動化系統對人類的“雙向”監督,能有效避免雙方的固有局限性。
考慮到人類對飛機自動化和人工智能進行控制與監督的相似性,人工智能開發者、部署者和應用者至少應滿足如下要求:(1)必須積極參與人工智能全生命周期;(2)對人工智能的重要決策必須充分知情;(3)持續監測人工智能系統(如通過技術日志、模型卡、備案審查等方式);(4)確保人工智能是可預測的(如通過高質量的數據訓練等方式);以及(5)必須及時有效干預人工智能的意外情況。關于人工智能與人類的“雙向”監督以及人工智能組成元素間可理解性的問題,業界和學界討論仍不多見,應留待技術與理論的進一步發展。
3.透明度義務
透明度是人工智能風險治理的一項基本要求,亦是人工智能治理的核心要素之一,決定著人工智能的有效監管。確保人工智能的透明度已成為一項國際共識,例如,《全球數字契約》要求促進人工智能的透明度;聯合國教科文組織《人工智能倫理問題建議書》也呼吁確保算法完全透明,遵循透明度等原則。
透明度義務的現實基礎是人工智能開發、部署、應用和治理的信息不對稱對國際社會利益和秩序可能產生的侵害風險。這種信息不對稱體現在人工智能企業和國家兩個層面:在人工智能企業層面,人工智能系統的決策過程對用戶而言不可見;企業的開發、運營、治理等細節并不對外披露,無法得到行業和社會監督。在國家層面,國內人工智能相關法律和政策的執行、系統漏洞和風險、技術研發進展等由于缺乏政治互信或存在技術競爭,往往不會向他國通報或進行信息交流。
《人工智能框架公約》確立的透明度義務涉及企業和國家兩個層面。在企業層面,公約要求存在重大影響的人工智能信息應告知有關人員、在人機交互中應告知人工智能身份信息。在國家層面,該公約通過公眾咨詢、多利益攸關方磋商、國際合作三方面規定確立了國家在監管人工智能開發、部署和應用過程中的透明度義務。
總體而言,人工智能企業層面的透明度義務包括:產品說明義務、人工智能身份的披露義務、披露內容系人工智能生成的義務、公布風險治理情況的義務等。國家層面的透明度義務包括:制定人工智能監管法律和政策的磋商義務、監管法律和政策執行情況的披露義務、人工智能系統的質量和安全檢測情況的披露義務、人工智能系統風險及其治理情況的披露義務、人工智能國際能力建設援助與國際合作情況的披露義務等。這種國家層面的信息披露既可以通過單邊渠道公開,也可以通過雙多邊合作機制或國際組織進行披露或報告。經濟合作與發展組織發布的《人工智能事件報告共同框架》提供了一個人工智能事件報告的通用框架和全球基準,有助于加強各司法管轄區和多利益攸關方的規則一致性和互操作性。
4.救濟義務
人工智能的應用致損難以完全避免,建立事后救濟機制是必要的。聯合國教科文組織《人工智能倫理問題建議書》強調,應確保出現損害時的救濟機制和賠償。《人工智能框架公約》第四章專章規定了受影響者提出異議、人工智能提供者進行申訴等救濟措施。權利救濟有助于實現法律治理的事后反饋,加強制度工具間的協同,促進人工智能企業及其管轄國在事前、事中階段加強風險控制。
人工智能的國際救濟義務主要包括三個方面:一是保障人工智能受影響者提出異議的權利。例如,人工智能生成內容有時含歧視與偏見、色情、誘導、煽動信息等,人工智能系統的受影響者有權向人工智能系統的提供者及其管轄國提出異議。二是保障人工智能受影響者要求賠償的權利。若人工智能系統導致受影響者的隱私和數據泄露、國家信息基礎設施遭受攻擊等個人和國家利益遭受重大損害,受影響者有權要求賠償。就跨境損害的賠償方式而言,或可建立一種基于保險的風險分散機制。該機制通過建立保險機制來分散由不可預測的人工智能應用結果所引發的損害風險。國際保險基金可由主權國家、人工智能企業共同出資,確保在發生不可預見的損害事件時,能夠為受害者提供及時的經濟賠償。三是保障人工智能提供者進行申訴的權利。在人工智能系統因具有不確定性的風險而面臨限制、暫停、禁止等風險管理措施時,人工智能提供者擁有申訴、反向舉證的權利。如果通過科學證據證明人工智能系統的風險程度較低,在國際社會容忍的“剩余風險”范圍內,相關風險管理措施應得到解除或降低強度。
(三)風險預防義務包含的程序性內容
風險預防義務包含的程序性內容是“采取一切適當措施”的具體程序體現,與其階段組成密不可分。風險預防義務通常包括風險評估、風險管理和風險通報三個階段。然而,這種階段劃分默認或假設風險實際存在,直接從風險評估切入,屬于一種“以過程為中心”的治理邏輯。考慮到人工智能、互聯網等新興技術開發和部署環節產生風險的概率并不低于應用環節,各國對人工智能風險的治理應該側重防微杜漸,將風險預防原則的啟動程序前置,增加“風險準備”階段,遵循“零信任”的風險治理思路,在技術開發和部署的初期最大程度降低風險。
1.風險準備
本文語境中,“風險準備”系指為預防人工智能開發、部署和應用活動中可能產生的風險,在進行風險評估前,以“零信任”的態度積極消除可能產生風險的因素。例如,美國《負責任軍事使用人工智能與自主技術的政治宣言》要求減少意外偏差、加強人員培訓和嚴格測試等;歐盟與七國集團聯合發布的《先進人工智能系統組織的廣島進程國際行為準則》要求實施安全控制措施、部署驗證機制、保障數據輸入等。
在風險準備階段,人工智能提供者有義務通過嚴格測試與審查、加強操作人員培訓、完善網絡和數據安全保障機制、進行民眾數字能力建設等舉措從前端遏制風險。
2.風險評估
人工智能提供者在風險評估階段有義務對人工智能風險進行科學評估并分級對待。風險評估通常是指基于科學程序進行風險識別、風險特征描述、暴露評估等。獲取科學證據時,須遵循獨立、客觀和透明等原則。關于風險分級,《人工智能框架公約》重點關注“有重大影響的人工智能”,隱性劃分了另一級“無重大影響的人工智能”。而歐盟《人工智能法》將風險分為“不可接受”“高風險”“有限風險”和“低風險”四級,這種分類具體詳細,有利于國內企業合規和監管執行,但不利于技術能力和法治水平多樣化的國際社會達成共識。
本文主張區分“關鍵人工智能”與“非關鍵人工智能”。關鍵人工智能是指在與國家安全和公共安全緊密相關的基礎設施中或在可能對人類的基本權利構成嚴重影響的場景中部署的人工智能。在其他場景中應用的人工智能屬于非關鍵人工智能。這種“兩分法”更適合人工智能全球治理,原因在于:第一,相比于歐盟的“四分法”,“兩分法”較為簡潔;“關鍵人工智能”的概念內涵更具有包容性,可涵蓋各國在風險評估中對應用場景、功能和影響等因素的不同關切。第二,在網絡空間全球治理領域亦有區分“關鍵信息基礎設施”與“非關鍵信息基礎設施”的先例,將這種成熟的數字治理經驗“移植”到人工智能全球治理領域,已具有深厚的政治和法律基礎,易于在國際社會達成共識。第三,有助于規避歐盟規則的“先發陷阱”,提升中國敘事的向心力與國際話語權。
3.風險管理
人工智能提供者在風險管理階段有義務對人工智能風險采取具體控制措施,在風險發生前降低造成損害的可能性,在風險發生后將損害的程度抑制到最低。風險管理通常需要與多利益攸關方磋商,權衡不同的政策選擇,在必要的時機采取適當的控制措施。《人工智能框架公約》《負責任軍事使用人工智能與自主技術的政治宣言》等都采取了“硬”預防措施,主要包括限制、暫停、禁止等。這類預防措施對技術風險采取“一刀切”做法,信奉“猛藥去疴”,但從長遠來看,并不利于技術的創新和發展。如前文所述,筆者主張對人工智能風險采取“弱”預防措施,靈活、彈性地采取諸如加強企業自律審查、行業自律審查、整改、限制等層層遞進的風險控制措施,保障人工智能的可持續發展。
4.風險通報
人工智能提供者在風險通報階段有義務與多利益攸關方就人工智能風險和相關因素交換信息和意見,包括就前期風險準備、風險評估的結果以及風險管理的決定等進行解釋。風險通報可分為政府間風險通報與非政府間風險通報兩類。政府間風險通報是指國家政府通過公約締約方大會、雙多邊平臺等正式通報人工智能相關風險和措施;非政府間風險通報是指非國家行為體(如人工智能企業、研究機構、社會組織等)與國家政府雙向通報以及非國家行為體之間通報人工智能風險和措施的行為。風險通報兼具約束性和自愿性特征,如《人工智能框架公約》規定向締約國大會作報告屬于有約束力的義務,但公約鼓勵國家與多利益攸關方共享信息便屬于自愿性、不具有約束力的規則。風險通報義務旨在保障多利益攸關方在風險防控中的知情權,在國家間通報風險也是履行國際合作義務的體現。
五
促進風險預防原則適用于人工智能全球治理的中國對策
《人工智能框架公約》多是原則性條款、缺乏具體執行措施,難以延續歐洲委員會《布達佩斯網絡犯罪公約》強勁的規范向心力。就人工智能國際規則博弈而言,《人工智能框架公約》對中國的影響力有限,但其具體制度設計(如風險預防原則的確立)對中國參與人工智能全球治理仍具有一定參考意義。
(一)風險預防原則適用于人工智能全球治理的中國基本立場
中國并未明確提出風險預防原則適用于人工智能全球治理,但多項立場文件、倡議、規范性文件暗含這一主張。例如,《人工智能安全治理框架2.0》總結了潛在的人工智能安全風險,并提出了預防和應對措施;《全球人工智能治理倡議》呼吁做好人工智能風險防范,推動建立風險等級測試評估體系等;正在征求意見的《人工智能擬人化互動服務管理暫行辦法》也有多項條款涉及風險防范。全面梳理相關文件可知,中國主張在人工智能領域加強風險防范,建立有效的預警機制以及風險測試和評估體系,合作提升風險管控和處置能力。這些主張與風險預防原則的內涵是一致的。
中國在人工智能全球治理中適用風險預防原則具有重要意義。從政治角度講,人工智能是大國科技競爭的戰略制高點,其技術失控可能危及國家政治穩定和國家主權,風險預防原則是確保人工智能始終服務于人民利益和國家安全的保障。從經濟角度講,人工智能是新質生產力的核心引擎,其技術發展可能衍生大規模就業替代、市場壟斷等諸多經濟風險,風險預防原則有利于在技術創新與市場秩序間建立平衡,促進新質生產力健康發展。從法律角度講,現有法律體系難以應對人工智能的快速迭代,風險預防原則為立法提供了前瞻性、適應性的思維,促進人工智能治理從“事后追責”向“全生命周期預防”轉變,有助于填補法律規則滯后的空白。
(二)風險預防原則適用于人工智能全球治理的國內立法完善
中國關于人工智能治理的部門規章、統一立法的學者建議稿缺乏涉外風險通報與風險管理合作相關條款。例如,《生成式人工智能服務管理暫行辦法》《人工智能擬人化互動服務管理暫行辦法(征求意見稿)》僅規定了國內人工智能風險防范要求;《人工智能法(學者建議稿)2.0》《人工智能示范法4.0》等學者立法研究雖然涵蓋了國際合作條款,但僅籠統提及參與人工智能全球治理和國際規則制定、執法合作等規定。考慮到中國人工智能產品和服務的海外市場逐步拓展,加強相關涉外立法具有合理性與必要性。
本文建議關于人工智能治理的部門規章、籌備中的人工智能領域統一立法應完善國際合作條款:一是明確人工智能國家間風險通報義務。人工智能提供者在風險評估階段發現的算法、模型、產品和服務的重大風險因素應及時向可能受影響的國家通報,確保相關國家的知情權。二是明確人工智能風險管理合作義務。一些人工智能跨境風險的產生可能涉及人工智能應用者的濫用、誤用,人工智能提供者忽視數據安全與隱私保護、算法具有偏見和歧視等,這就需要應用者與提供者合作進行風險管理。面對這類人工智能跨境風險,提供者有義務保障技術支持、信息交流及展開行政與執法合作等。
(三)風險預防原則適用于人工智能全球治理的國際法主張
2026年3月13日,《中華人民共和國國民經濟和社會發展第十五個五年規劃綱要》強調“推動建立人工智能全生命周期風險管理制度,健全覆蓋安全監測風險預警、應急響應的風險防控體系”以及“積極提出人工智能等新興領域國際規則的中國方案”。在這一背景下,中國應積極塑造風險預防原則等人工智能全球治理規則,具體而言,首先,統籌協調發展與治理需求,如此既不阻礙技術創新、有利于人工智能行業發展,也能加強風險規制、避免人工智能走向無序和失控;其次,率先提出具有普適性、易于達成共識的國際法主張,有利于增強人工智能國際規則制定的話語權。
1.主張風險預防原則適用于人工智能全球治理且逐漸形成一項習慣國際法規則
首先,人工智能滿足風險預防原則適用的一般條件。人工智能的推理和決策難以解釋和預測,存在不確定性風險,符合風險預防原則的“風險”和“科學不確定性”兩項核心要素。其次,我國雖未明確提出風險預防原則適用于人工智能全球治理,但在與人工智能全球治理相關的單邊立場文件、倡議、規范性文件中已經事實上采用了風險預防原則。再次,當前人工智能領域缺乏具有普遍約束力的全球治理規則,而風險預防原則是平衡發展和安全需求的有效制度工具,在一定程度上可以填補全球性硬法的“規則真空”。最后,從《人工智能倫理問題建議書》、聯大決議等多邊文件以及各國人工智能專門立法、指南等法律和政策看,風險預防原則適用于人工智能全球治理已經形成高度的法律確信和一定范圍內的國家實踐。鑒于此,中國可以積極推動風險預防原則適用于人工智能全球治理,并支持其逐漸發展為一項習慣國際法規則。
2.主張廣義上的風險預防原則應涵蓋“風險預防”和“危險預防”
《預防危險活動的跨境損害條款草案》評注以及《人工智能框架公約》有意模糊“風險預防原則”(Precautionary Principle)和“危險預防原則”(Prevention Principle)兩個概念的區別,使“風險預防原則”與“危險預防原則”呈現融合趨勢。有學者認為,為避免因缺乏確定的科學證據而導致采取預防措施過于遲緩,造成情形惡化,可以將風險預防原則作廣義理解,涵蓋風險預防和危險預防。本文贊成這一觀點。在此基礎上,為了避免一些國家因概念分歧、是否具有科學確定性等問題拒絕采取風險預防措施或者在造成人工智能重大跨境損害后以此作為抗辯的理由,中國可以主張,廣義上的風險預防原則應涵蓋“風險預防”和“危險預防”。面對人工智能重大跨境風險和危險,無論具有科學確定性抑或不確定性,各國都應當及時采取預防措施。
3.主張風險預防義務包含四項實體性內容
風險預防義務包含的實體性內容是采取風險預防方法和救濟措施的體現,具體而言,包括人工智能開發、部署和應用全生命周期的四項義務:人工智能測試與審查的注意義務、人類控制與監督義務、透明度義務以及救濟義務。這些實體性義務在與人工智能相關的多邊文件、各國立法、指南中已經形成廣泛共識。中國可以主張風險預防義務應包括上述實體性內容,促進其由虛轉實,從一項指導原則轉變為具體的、有針對性的實踐規則,使風險預防原則適用于人工智能全球治理。
4.主張風險預防義務包含四項程序性內容
風險預防義務包含的程序性內容是“采取一切措施”的程序體現。從風險預防義務的階段劃分看,包括風險準備、風險評估、風險管理和風險通報義務。規范風險預防義務包含的程序性內容有利于嚴格規范人工智能風險預防流程,減少事實認定錯誤,確保風險預防原則的準確適用。同時,這有利于維護相關國家對人工智能重大跨境風險的知情權,提升風險預防原則適用的公正性和透明性。中國可以主張風險預防義務應包括上述程序性內容。就風險評估而言,可以建立一種“第三方測評制度”(國際組織或其他遴選專家),確保風險評估的準確性、可靠性。就風險管理與風險通報而言,實質上也涉及國家間的合作義務。中國可以主張,各國應在尊重主權平等、不干涉內政等原則的基礎上履行風險管理與風險通報義務。
六
結論
風險預防原則是平衡人工智能技術創新與風險管控兩種需求、保障高質量發展與高水平安全的重要制度工具。在人工智能技術方興未艾的階段,風險預防原則應成為人工智能全球治理的主要原則。人工智能領域唯一一部區域性國際條約——歐洲委員會《人工智能框架公約》通過概括性規定和具體性規定確立了風險預防原則的適用方式,為風險預防原則如何適用于人工智能全球治理提供了重要參考。
風險預防原則的內涵可從保障法益的范圍和基本要素兩方面做出澄清。風險預防原則保障法益的范圍呈現出從生命權、健康權向整體人權擴張的趨勢。風險預防原則的基本要素可厘定為風險、科學不確定性、預防措施和證明機制四項要素。總體而言,風險預防原則的內涵可歸納為:為保障人類的人身人格權利,政治權利以及經濟、社會和文化權利,對于可能發生的具有科學不確定性的人工智能重大跨境風險,各國以及人工智能企業等主要行為體應采取有效的預防措施消除或降低風險,并提供適當的救濟機制。
本文認為,風險預防原則在人工智能領域構成一項“發展中”的習慣國際法規則。它不僅是一項指導原則,而且應當成為一項具有義務屬性的習慣國際法規則。風險預防義務的實體性內容至少應該包括人工智能測試與審查的注意義務、人類控制與監督義務、透明度義務以及救濟義務。風險預防義務的程序性內容包括風險準備、風險評估、風險管理和風險通報義務。
中國應當積極促進風險預防原則適用于人工智能全球治理。在國內法層面,完善人工智能相關統一立法、部門規章的國際合作條款,強化涉外風險通報、風險管理合作。在國際法層面,中國可以積極主張風險預防原則適用于人工智能全球治理并支持其逐漸發展為一項習慣國際法規則;還可主張廣義上的風險預防原則應涵蓋“風險預防”和“危險預防”,避免各國采取預防措施過于遲緩;最后,可以主張風險預防義務包含的實體性內容和程序性內容,使其從一項指導原則轉變為具有操作性的實踐規則。
質言之,在當前缺乏具有普遍約束力的人工智能全球治理規則的階段,風險預防原則可以在平衡人工智能發展與安全需求、填補全球性規則“真空”方面發揮重要價值。
-向上滑動,查看完整目錄-
《武大國際法評論》2026年第2期目錄
【涉外法治研究】
1.論《對外關系法》實施視角下我國地方政府的對外關系職權
韓永紅、王振杰(1)
2.《民法典》外資合同法律適用條款之反思
董金鑫(20)
【數字時代的國際法】
3.我國數據出境安全評估的制度困境與紓解路徑
張曉京(34)
4.人工智能與當事人意思自治
——國際私法上的權利能力與法律選擇能力
[德]斯特凡·阿諾爾德著 鄒國勇、牟釵譯(51)
5.論風險預防原則在人工智能全球治理中的適用
張磊(67)
6.人工智能時代國際刑法中指揮官責任的挑戰與應對路徑
褚家瑋(85)
【專論】
7.超越“充分賠償”:氣候正義視角下的國際投資仲裁損害賠償限制
李文卿(104)
8.競爭法視角下歐盟反補貼公共機構認定標準問題研究
賀子怡(123)
9.跨境投資補貼的政府間歸因問題:基于DS616案的反思
馬琳(140)
《武大國際法評論》是武漢大學主辦,國家高端智庫、教育部人文社會科學重點研究基地——武漢大學國際法研究所編輯的國際法學理論期刊。《武大國際法評論》以集刊形式創始于2003年,2017年起改以雙月刊出版發行,是我國少數專注國際法領域的連續出版物之一。2008年入選“中文社會科學引文索引”(CSSCI)來源集刊,2019年入選CSSCI擴展版來源期刊(2019-2020)。
點擊進入下方小程序
獲取專屬解決方案~
責任編輯 | 王睿
審核人員 | 張文碩 王曉慧
本文聲明 | 本文章僅限學習交流使用,如遇侵權,我們會及時刪除。本文章不代表北大法律信息網(北大法寶)和北京北大英華科技有限公司的法律意見或對相關法規/案件/事件等的解讀。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.