【學習園地】十部門聯合印發《人工智能科技倫理審查與服務辦法（試行）》

近日，工業和信息化部、國家發展改革委、教育部、科技部、農業農村部、國家衛生健康委、中國人民銀行、國家網信辦、中國科學院、中國科協等十部門聯合印發《人工智能科技倫理審查與服務辦法（試行）》（以下簡稱《辦法》），為我國人工智能科技倫理審查與服務工作提供了明確指引。《辦法》對人工智能科技倫理審查的適用范圍、服務促進、實施主體、工作程序、監督管理等作出規定，并結合人工智能科技活動特點，明確了申請與受理、一般程序、簡易程序、專家復核程序、應急程序等不同程序要求，有效規范人工智能科技活動倫理治理。為推進人工智能科技倫理服務體系建設，《辦法》從標準建設、服務體系、鼓勵創新、宣傳教育、人才培養五個方面制定支持舉措，幫助企業切實提升科技倫理風險防控能力。

《辦法》堅持促進創新與防范風險相統一，通過制定人工智能科技倫理審查規則，提升人工智能倫理治理能力，確保人工智能負責任創新，為我國人工智能產業高質量發展提供有力支撐。

人工智能科技倫理審查與服務辦法（試行）

第一章總則

第一條為規范人工智能科技活動倫理治理，促進公平、公正、和諧、安全和負責任創新，推動人工智能產業健康發展，依據《中華人民共和國科學技術進步法》《關于加強科技倫理治理的意見》《科技倫理審查辦法（試行）》（以下簡稱《倫理辦法》）等法律法規和相關規定，制定本辦法。

第二條本辦法所適用的人工智能科技活動是在中華人民共和國境內開展的，可能在人的尊嚴、公共秩序、生命健康、生態環境、可持續發展等方面帶來科技倫理風險挑戰的人工智能科學研究、技術開發等活動，以及依據法律、行政法規和國家有關規定需進行人工智能科技倫理審查的其他科技活動。

第三條開展人工智能科技活動應將科技倫理要求貫穿全過程，遵循增進人類福祉、尊重生命權利、堅持公平公正、合理控制風險、保持公開透明、保護隱私安全、確保可控可信的人工智能科技倫理原則，遵守我國憲法、法律法規和有關規定。

第二章服務與促進

第四條建立和完善人工智能科技倫理標準體系，推動制定相關國際標準、國家標準、行業標準、團體標準，支持搭建國際標準化交流合作平臺。

鼓勵高等學校、科研機構、醫療衛生機構、企業和科技類社會團體等參與人工智能科技倫理標準的制定、驗證與推廣。

第五條推進人工智能科技倫理服務體系建設，強化人工智能科技倫理風險監測預警、檢測評估、認證、咨詢等服務供給，提升企業技術研發和人工智能科技倫理風險防范能力，加大對中小微企業人工智能科技倫理審查的支持和服務力度，推進人工智能科技倫理國際交流合作。

第六條鼓勵高等學校、科研機構、醫療衛生機構、企業和科技類社會團體等開展人工智能科技倫理審查研究，支持人工智能科技倫理審查技術創新，強化以技術手段防范人工智能科技倫理風險；促進人工智能科技倫理審查高質量數據集有序開源開放，加強通用性風險管理、評估審計工具研發，探索基于應用場景的科技倫理風險評估評測；推廣符合科技倫理的人工智能產品和服務，保護科技倫理審查技術知識產權。

第七條開展人工智能科技倫理宣傳教育，發揮科技類社會團體在人工智能科技倫理宣傳教育方面的作用，鼓勵公眾參與，促進實踐示范，提升公眾倫理意識和素養。引導大眾傳播媒介有針對性地進行人工智能科技倫理宣傳教育。

第八條支持高等學校、科研機構、醫療衛生機構、企業和科技類社會團體等開展人工智能科技倫理相關教育與培訓，推動職業體系和課程體系建設，采取多種方式培養人工智能科技倫理人才，促進人才交流。

第三章實施主體

第九條從事人工智能科技活動的高等學校、科研機構、醫療衛生機構、企業等是本單位人工智能科技倫理審查管理的責任主體，應按照《倫理辦法》第四條有關要求，設立人工智能科技倫理委員會（以下簡稱委員會）。委員會應配備必要的工作人員、辦公場所和經費等條件，采取有效措施保障委員會獨立開展工作。鼓勵有資質的相關單位開展人工智能科技倫理管理體系相關認證。

第十條委員會章程、組成和委員職責、義務應依照《倫理辦法》第五條至第八條進行。委員會組成應包括人工智能技術、應用、倫理、法律等相應專業背景的專家。

第十一條地方、相關主管部門可結合實際情況依托相關單位建立專業性人工智能科技倫理審查與服務中心（以下簡稱服務中心）。服務中心接受其他單位委托，提供人工智能科技活動倫理審查、復核、培訓、咨詢等服務。服務中心不得對同一人工智能科技活動同時提供審查和復核服務。服務中心應建立規范的管理制度和程序，配備具有人工智能科技倫理審查與服務能力的專職人員，接受地方或相關主管部門監督。

第四章工作程序

第一節申請與受理

第十二條對屬于本辦法第二條所列范圍人工智能科技活動的，人工智能科技活動負責人應向本單位委員會申請，單位未設立委員會或委員會無法勝任科技倫理審查工作要求，向本單位委托的服務中心申請開展科技倫理審查，無單位人員應委托符合要求的服務中心開展科技倫理審查。人工智能科技活動負責人應依照規定向委員會或服務中心提交申請材料。申請材料主要包括：

（一）人工智能科技活動方案，包括研究背景、目的和計劃，所涉及相關機構的合法資質材料、人員情況、經費來源，擬采用的算法機制機理，數據來源與獲取方式、測試評估方法，擬形成的軟硬件產品，預期應用領域及適用人群等；

（二）人工智能科技活動科技倫理風險評估情況、防控及應急處理預案，包括人工智能技術預期應用帶來的潛在科技倫理風險評估，對科技倫理風險的監測預警措施，對可能產生科技倫理風險的防控計劃等；

（三）遵守人工智能科技倫理和科研誠信等要求的承諾書。

第十三條委員會或服務中心應根據申請材料決定是否受理申請并通知申請人，決定受理的，應根據科技倫理風險發生的可能性和程度、緊急情況等明確適用的一般、簡易或應急程序，根據不同程序要求采取線下、線上等形式開展科技倫理審查，材料不齊全的應一次性完整告知需補充的材料。

第二節一般程序與簡易程序

第十四條人工智能科技倫理審查會議由委員會主任委員或其指定的副主任委員主持，到會委員應不少于5人，且應包括本辦法第十條所列的不同類別的委員。服務中心可參考委員會的規定組織實施工作。

根據審查需要，可邀請相關領域不存在直接利益關系的顧問專家等提供咨詢意見。顧問專家不參與會議表決。

第十五條委員會或服務中心開展人工智能科技倫理審查，重點關注以下方面：

（一）在人類福祉方面，人工智能科技活動是否具有科學價值、社會價值；研究目標對增進人類福祉、實現社會可持續發展等是否具有積極作用；人工智能科技活動的風險是否受益合理。

（二）在公平公正方面，訓練數據的選擇標準，算法、模型、系統的設計是否合理；是否采取措施防止偏見歧視、算法壓榨，保障資源分配、機會獲取、決策過程的客觀性與包容性。

（三）在可控可信方面，是否能夠保障模型、系統的魯棒性，以應對開放環境、極端情況和干擾性因素；是否能夠保障使用者控制、指導和干預模型、系統的基本操作；是否制定持續監測方案、突發狀況處理預案。

（四）在透明可解釋方面，是否合理披露算法、模型、系統的用途、運行邏輯、交互方式說明、潛在風險等信息；是否采用有效技術手段提升算法、模型和系統的可解釋性。

（五）在責任可追溯方面，是否具有日志管理等措施清楚記錄數據、算法、模型、系統各個環節的充分信息，保障全鏈路可追蹤和管理；科技人員資質是否符合相關要求。

（六）在隱私保護方面，數據的收集、存儲、加工、使用等處理活動以及研究開發數據新技術等，是否采取充分措施確保隱私數據得到有效保護。

第十六條委員會或服務中心應在申請受理后的30日內作出批準、修改后再審或不予批準等決定。情況復雜或需要補充、更正材料等特殊情況可適當延長并明確延長時限。

對于需要修改或不予批準的，委員會或服務中心應提出修改建議或說明理由。申請人有異議的，應在自決定送達之日起3個工作日內向委員會或服務中心提出申訴。申訴理由充分的，委員會或服務中心應在7個工作日內重新作出決定。

第十七條人工智能科技活動負責人應及時識別科技倫理風險變化，并將相關變化情況向委員會或服務中心報告。委員會或服務中心依照《倫理辦法》第十九條規定對審查批準的人工智能科技活動開展跟蹤審查，及時掌握科技倫理風險變化情況，必要時可作出暫停或終止相關科技活動等決定。跟蹤審查間隔一般不超過12個月。

第十八條多個單位合作開展人工智能科技活動，可根據實際情況開展單位間人工智能科技倫理審查結果互認。

第十九條有下列情形之一的可以適用簡易程序：

（一）人工智能科技活動倫理風險發生的可能性和程度不高于日常生活中遇到的常規風險；

（二）對已批準的人工智能科技活動方案作較小修改且不增大風險受益比；

（三）前期無重大調整的人工智能科技活動的跟蹤審查。

第二十條委員會或服務中心應制定適用簡易程序審查的工作規程和跟蹤頻度。簡易程序審查由委員會主任委員指定兩名或兩名以上的委員承擔。服務中心可參考委員會的規定組織實施工作。

簡易程序審查過程中出現審查結果為否定性意見、對審查內容有疑義、委員間意見不一致等情形的，應調整適用一般程序。

第三節專家復核程序

第二十一條工業和信息化部、科技部會同有關部門制定發布“需要開展科技倫理專家復核的人工智能科技活動清單”（以下簡稱復核清單），根據工作需要進行動態調整。

第二十二條開展納入復核清單的人工智能科技活動，通過委員會或服務中心的初步審查后，由本單位申請開展專家復核。多個單位參與的，由牽頭單位負責申請。中央企業，中央和國家機關直屬高等學校、科研機構、醫療衛生機構等直接報請相關主管部門組織開展專家復核。其他單位報請地方開展專家復核。

第二十三條人工智能科技活動承擔單位應依照《倫理辦法》第二十七條規定提交專家復核材料。

地方或相關主管部門應依照《倫理辦法》第二十八條至第三十條規定組織成立復核專家組，對初步審查意見的合規性、合理性等內容開展復核，在收到復核申請后30日內向申請單位反饋復核意見。

地方或相關主管部門可委托服務中心具體實施復核工作。

第二十四條委員會或服務中心應根據專家復核意見作出科技倫理審查決定。

第二十五條委員會或服務中心對納入復核清單的人工智能科技活動加強跟蹤審查，跟蹤審查間隔一般不超過6個月。

科技倫理風險發生重大變化的，應依照《倫理辦法》第二十條規定重新開展相關科技倫理審查并申請專家復核。

第二十六條人工智能科技活動在深度合成、算法推薦、生成式人工智能服務管理等方面實行登記、備案、行政審批等監管措施且將符合科技倫理要求作為審批條件、監管內容的，可不再開展專家復核。

第四節應急程序

第二十七條委員會或服務中心應制定人工智能科技倫理應急審查制度，明確突發公共事件等緊急狀態下的應急審查流程和標準操作規程。應急審查一般在72小時內完成。對于適用專家復核程序的人工智能科技活動，專家復核前的審查一般在36小時內完成。

第二十八條委員會或服務中心應保證科技倫理應急審查的質量與時效，加強跟蹤工作和過程監督。必要時，可邀請相關領域顧問專家參會，提供咨詢意見。

第五章監督管理

第二十九條科技部負責統籌指導全國科技倫理監管工作，工業和信息化部會同有關部門負責人工智能科技倫理治理工作，加強應急倫理審查的協調指導。各部門依照職責權限負責本行業、本系統人工智能科技倫理審查的監督管理工作，各地方依照職責權限負責本地區人工智能科技倫理審查的監督管理工作。

第三十條單位應依照《倫理辦法》第四十三條至第四十五條規定，將委員會相關情況、納入復核清單的人工智能科技活動通過國家科技倫理管理信息登記平臺進行登記，并提交上一年度委員會工作報告、納入復核清單的人工智能科技活動實施情況報告等相關材料。服務中心應依照上述規定登記并提交上一年度工作報告。

科技部與相關主管部門對人工智能科技倫理相關登記信息同步共享。

第三十一條地方、相關主管部門、從事人工智能科技活動的單位應結合本行業、本系統、本單位的實際情況，暢通能夠反映人工智能科技倫理違法違規問題的渠道，并按照相關規定處理。

第三十二條在人工智能科技活動或開展人工智能科技倫理相關工作的過程中，違反本辦法規定的，依照《中華人民共和國網絡安全法》《中華人民共和國數據安全法》《中華人民共和國個人信息保護法》《中華人民共和國科學技術進步法》等法律法規和相關規定，進行調查處理，給予相應處罰。

第六章附則

第三十三條本辦法涉及期限的規定，未標注為工作日的，均為自然日。

本辦法所稱“地方”是指省級人民政府確定的負責人工智能領域科技倫理審查和管理工作的省級管理部門，“相關主管部門”是指國務院相關主管部門。

第三十四條地方、相關主管部門可依照本辦法規定，結合實際情況制定或修訂本地方、本行業、本系統的人工智能科技倫理的審查與服務辦法、細則等制度規范。科技類社會團體可制定本領域的人工智能科技倫理審查與服務具體規范和指南。

第三十五條相關主管部門對本行業、本系統人工智能科技倫理審查與服務有特殊規定且符合本辦法精神的，從其規定。本辦法未作規定的，依照《倫理辦法》及相關法律法規的規定執行。

第三十六條本辦法由工業和信息化部會同有關部門負責解釋。

第三十七條本辦法自印發之日起施行。

附件：需要開展科技倫理專家復核的人工智能科技活動清單

附件：

需要開展科技倫理專家復核的人工智能科技活動清單

一、對人類主觀行為、心理情緒和生命健康等具有較強影響的人機融合系統的研發。

二、具有輿論社會動員能力和社會意識引導能力的算法模型、應用程序及系統的研發。

三、面向存在安全、人身健康風險等場景的具有高度自主能力的自動化決策系統的研發。

本清單將根據工作需要動態調整。

來源：工信微報