7月4日，2024世界人工智能大會暨人工智能全球治理高級別會議在上海開幕。人工智能技術在治理上將遇到哪些挑戰、實際運用的情況如何，是各界專家學者關心的話題。

在“人工智能前沿技術的治理挑戰與應對措施”主題論壇上，圖靈獎獲得者、中國科學院院士姚期智，聯合國副秘書長、聯合國大學校長Tshilidzi Marwala，香港科技大學首席副校長郭毅可等就人工智能安全治理的話題發表了主旨演講。

姚期智作主旨演講 主辦方供圖

其中，姚期智分享的內容為《人工智能安全治理的研究走向》。他首先介紹了前沿大模型帶來的信息、物理、生物智能風險與生存風險，引申出AI系統安全與如何確保人的利益等問題，提出從技術和路徑的維度進行分類治理。以大模型時代的數據安全研究舉例，他指出大模型會記住隱私數據，而保護用戶隱私的研究尚處在較原始階段，重要方向是為大模型數據安全開發出一組核心技術。

在談及前沿大模型帶來的風險時，姚期智表示，“大家關心AI安全治理的很大一部分原因是ChatGPT帶來的大模型的問題。信息安全有風險，大模型幻覺產生的錯誤信息可以誤導人類。同時，AI控制更多基礎設施已成為一個不可改變的趨勢，不安全的AI所帶來的危險，會真正變成生存的危機。那么我們該如何管控它？”

姚期智表示，從長遠看，AI安全治理不是縫縫補補，他分享了兩個研究思路：一是讓AI和人類利益對齊的有益的通用人工智能（Beneficial AGI），在設計時要有數學規律，讓機器人的一切決定都以人為本，并且機器人要和人保持交流、能夠和人對話，了解人的需求到底是什么。另一個思路是設計數學上絕對安全的通用人工智能（Provably Safe AGI），即人類不直接和大模型接觸，只和可證明安全的白盒子交流。

此外，姚期智也談及中國在AI安全治理方面具有的優勢：“我們有完善的實名制身份驗證系統，減少了計算機網絡分布式系統的問題。中國有很多管控新科技風險的成功經驗，同時，數字化轉型、數據要素化、數據資產入表等都做得很好。”

結合中國的優勢，姚期智表示可以建立符合中國國情的AI治理框架、簡化中國AI治理。包括建立AI大模型的分級體系；建立ID的實體映射，所有智能機器都有可以實名找到的ID；實現全產業鏈監控AI。

“AI智能作為新的潮流，除了帶來益處，它的安全治理也變得越來越重要，超大型大模型的治理需要盡快研發出規范。其次，從學術角度來講，安全治理正成為學術交叉的新領域，涉及AI、密碼學、政治、法律、企業、經濟等，多領域需要合作。第三，構建AI安全系統的基礎研究是AI安全治理非常重要的前沿方向。”姚期智說道。