9 月 17 日消息，隨著 AI 應用場景的不斷擴展，新的漏洞和攻擊手法將不斷涌現，AI 大模型安全治理工作任重道遠，亟需各方共同努力。

昨日，國內首次針對 AI 大模型的實網眾測檢驗結果在第 22 屆中國網絡安全年會（暨國家網絡安全宣傳周網絡安全協(xié)同防御分論壇）重磅揭曉。

注：本次活動由中央網信辦網絡安全協(xié)調局指導，國家計算機網絡應急技術處理協(xié)調中心主辦，網絡安全眾測平臺、國家網絡安全人才與創(chuàng)新基地提供技術和環(huán)境支持。

據官方介紹，此次活動共動員 559 名白帽子，涵蓋網安企業(yè)專業(yè)人才、科研院校師生以及社會白帽子。他們從外部攻擊者的視角，對大模型進行了多維度實戰(zhàn)化測試，取得了豐富的測試成果。

測試產品中既有基礎大模型產品，也有垂域大模型產品，還有智能體、模型開發(fā)平臺等相關應用產品，其中既包含單模態(tài)大模型，也涵蓋多模態(tài)大模型，具有較廣泛的代表性。

據介紹，本次活動對國內 15 款大模型及應用產品進行了漏洞測試；累計發(fā)現各類安全漏洞 281 個，其中大模型特有漏洞 177 個，占比超過 60%。這一數據充分表明，當前 AI 大模型產品面臨著大量傳統(tǒng)安全領域之外的新興安全風險。

活動中發(fā)現的典型漏洞風險包括：一是部分產品存在不當輸出類漏洞且危害嚴重；二是信息泄露類漏洞多發(fā)，存在較大安全隱患；三是提示注入類漏洞普遍，是大模型最常見漏洞風險；四是部分大模型產品針對無限制消耗類攻擊的防護措施有待加強；五是傳統(tǒng)安全漏洞依然普遍存在，危害不容忽視。鑒于 AI 大模型產品普遍用戶量大、使用率高，若上述漏洞被惡意攻擊者利用，將對國內 AI 大模型產品生態(tài)造成較嚴重的影響。

在參與測試的主流大模型產品中，騰訊公司混元大模型、百度公司文心一言、阿里巴巴通義 App、智譜華章公司智譜清言等發(fā)現的漏洞風險較少，體現了較高的安全防護水平。

另外，本次活動涌現出梁宏宇、馬寶新、劉銘等一批表現突出的優(yōu)秀白帽子。本次活動測試對象主要是實時在線運行的 AI 大模型及應用產品，在產品廠商的防護下，各位白帽子能夠挖掘出高危甚至嚴重等級的漏洞，說明他們有著出眾的能力并付出了艱辛的努力。

官方還提出了四點 AI 大模型安全治理工作要求：

一是針對大模型面臨的各類漏洞風險，需持續(xù)加強安全防護措施。

二是加快制定 AI 漏洞分類分級標準，并按應用場景劃分風險等級。

三是通過眾測模式廣泛匯聚社會白帽力量，構筑 AI 共治生態(tài)。

四是加強內生安全治理，將安全融入到 AI 系統(tǒng)全生命周期，從源頭筑牢安全基石。