11月25日，360數(shù)字安全集團(tuán)漏洞研究院發(fā)布了全球首份一份《大模型安全漏洞報(bào)告》，揭示了當(dāng)前以大模型為核心的大量技術(shù)應(yīng)用在計(jì)算機(jī)安全領(lǐng)域帶來的諸多新風(fēng)險(xiǎn)和挑戰(zhàn)。據(jù)報(bào)告統(tǒng)計(jì)，360安全團(tuán)隊(duì)在近期的研究中挖掘了近40個(gè)大模型相關(guān)的安全漏洞，覆蓋模型層、框架層、應(yīng)用層三大層面，甚至其中很多漏洞可以被攻擊者輕易利用，僅需花費(fèi)60美金就能毒害大模型數(shù)據(jù)集！

　　報(bào)告中指出，大模型作為人工智能(AI)中的重要一環(huán)，其能力隨著平臺(tái)算力的提升、訓(xùn)練數(shù)據(jù)量的積累以及深度學(xué)習(xí)算法的突破，得到了進(jìn)一步的提升。然而，與此同時(shí)，大模型也帶來了新的安全問題。攻擊者可以通過對(duì)模型訓(xùn)練、驗(yàn)證等環(huán)節(jié)施加影響，使得模型無法正常完成推理預(yù)測(cè)，甚至操控模型執(zhí)行未經(jīng)授權(quán)的行為或生成不當(dāng)內(nèi)容。

　　在模型層安全方面，報(bào)告特別提到了數(shù)據(jù)投毒攻擊。這種攻擊方式通過惡意注入虛假或誤導(dǎo)性的數(shù)據(jù)來污染模型的訓(xùn)練數(shù)據(jù)集，從而影響模型在訓(xùn)練時(shí)期的參數(shù)調(diào)整，最終破壞模型的性能或使其生成有害的結(jié)果。值得注意的是，數(shù)據(jù)投毒并非僅僅是理論上的攻擊方式，而是已被證明會(huì)帶來實(shí)際的風(fēng)險(xiǎn)。攻擊者可以通過兩種方式實(shí)施數(shù)據(jù)投毒：一是利用未經(jīng)過有效清洗的開源第三方數(shù)據(jù)集或互聯(lián)網(wǎng)內(nèi)容形成的數(shù)據(jù)集；二是在模型周期性使用新數(shù)據(jù)進(jìn)行重新訓(xùn)練的過程中進(jìn)行投毒。有研究表明，僅需花費(fèi)60美元，攻擊者就能毒害0.01%的LAION-400M或COYO-700M數(shù)據(jù)集，而引入少至100個(gè)中毒樣本就可能導(dǎo)致大模型在各種任務(wù)中生成惡意輸出。這表明在可接受的經(jīng)濟(jì)成本范圍內(nèi)，攻擊者已經(jīng)可以有針對(duì)性的向開源數(shù)據(jù)集發(fā)起投毒。

　　除了數(shù)據(jù)投毒外，報(bào)告還揭示了其他多種模型層安全攻擊方式，包括后門植入、對(duì)抗攻擊和數(shù)據(jù)泄露等。后門植入攻擊通過在模型中策略性地植入特定的“后門”，以便在特定條件下控制或操控模型的輸出。這種攻擊方式具有隱蔽性高、影響范圍廣等特點(diǎn)，并且可以通過數(shù)據(jù)投毒或修改存儲(chǔ)在云平臺(tái)中的模型文件等方式實(shí)施。對(duì)抗攻擊則是對(duì)模型輸入數(shù)據(jù)進(jìn)行小幅度但有針對(duì)性的修改，從而使得模型產(chǎn)生錯(cuò)誤預(yù)測(cè)或決策。在圖像處理模型和大語言模型上，這種攻擊方式都已被證明是有效的。數(shù)據(jù)泄露則是指模型在訓(xùn)練過程中可能接觸到未經(jīng)良好脫敏的隱私數(shù)據(jù)，并在特定誘導(dǎo)下泄露敏感內(nèi)容，造成直接危害。

　　除了上述提到的模型層安全方面，在框架層、應(yīng)用層安全方面都存在不少安全問題。針對(duì)這些威脅隱患，報(bào)告建議從多個(gè)方面加強(qiáng)大模型的安全性。首先，在模型層方面，需要加強(qiáng)對(duì)訓(xùn)練數(shù)據(jù)的清洗和驗(yàn)證，防止數(shù)據(jù)投毒和后門植入等攻擊。其次，在框架層方面，需要加強(qiáng)對(duì)框架的安全審計(jì)和漏洞修復(fù)，提高框架的安全性和穩(wěn)定性。最后，在應(yīng)用層方面，需要加強(qiáng)對(duì)AI應(yīng)用程序的安全開發(fā)和測(cè)試，確保應(yīng)用程序的安全性和可靠性。

　　360漏洞研究院的這份報(bào)告揭示了當(dāng)前大模型面臨的安全挑戰(zhàn)和漏洞風(fēng)險(xiǎn)，為構(gòu)建更加安全、健康的AI數(shù)字環(huán)境提供了有益的參考。同時(shí)，也提醒了業(yè)界和廣大用戶在使用大模型技術(shù)時(shí)需要注意安全問題，加強(qiáng)安全防護(hù)措施。

責(zé)編：chinassq　

〖免責(zé)申明〗本文僅代表作者個(gè)人觀點(diǎn)，其圖片及內(nèi)容版權(quán)僅歸原所有者所有。如對(duì)該內(nèi)容主張權(quán)益請(qǐng)來函或郵件告之，本網(wǎng)將迅速采取措施，否則與之相關(guān)的糾紛本網(wǎng)不承擔(dān)任何責(zé)任。