DiffAttack: Evasion Attacks Against Diffusion-Based Adversarial Purification

作者: Mintong Kang; Dawn Song; Bo Li
鏈接: http://arxiv.org/pdf/2311.16124v1
備注: Accepted to NeurIPS 2023
摘要:
基于擴(kuò)散的凈化防御利用擴(kuò)散模型去除對抗樣本的精心設(shè)計(jì)的擾動，從而實(shí)現(xiàn)最先進(jìn)的魯棒性。最近的研究顯示，即使是高級的攻擊也無法有效地破壞這種防御，因?yàn)閮艋^程會導(dǎo)致計(jì)算圖極其深層，這帶來了梯度混淆、高內(nèi)存成本和不受限的隨機(jī)性的潛在問題。在本文中，我們提出了一個(gè)統(tǒng)一的框架DiffAttack，用于對基于擴(kuò)散的凈化防御進(jìn)行有效和高效的攻擊，包括DDPM和基于分?jǐn)?shù)的方法。特別地，我們在中間擴(kuò)散步驟提出了一種偏差重建損失，以引發(fā)不準(zhǔn)確的密度梯度估計(jì)，以解決梯度消失/爆炸的問題。我們還提供了一種分段正向反向傳播算法，可以實(shí)現(xiàn)高效的梯度反向傳播。我們在CIFAR-10和ImageNet上驗(yàn)證了DiffAttack相對于現(xiàn)有的自適應(yīng)攻擊的攻擊有效性。我們發(fā)現(xiàn)，相比于SOTA攻擊，DiffAttack在CIFAR-10上降低了模型的魯棒準(zhǔn)確率超過20%（${?}_{\infty }$攻擊，$?=8/255$），在ImageNet上降低了超過10%（${?}_{\infty }$攻擊，$?=4/255$）。我們進(jìn)行了一系列的剔除研究，發(fā)現(xiàn)：1）在均勻采樣的時(shí)間步驟上添加偏差重建損失的DiffAttack比僅在初始/結(jié)束步驟上添加更有效；2）使用適度的擴(kuò)散長度的基于擴(kuò)散的凈化在DiffAttack下更加魯棒。

Identifying and Mitigating Vulnerabilities in LLM-Integrated Applications

作者: Fengqing Jiang; Zhangchen Xu; Luyao Niu; Boxin Wang; Jinyuan Jia; Bo Li; Radha Poovendran
鏈接: http://arxiv.org/pdf/2311.16153v1
備注: None
摘要:
大型語言模型（LLMs）越來越多地作為LLM集成應(yīng)用程序的服務(wù)后端部署，例如代碼完成和AI驅(qū)動的搜索。LLM集成應(yīng)用程序作為中間件，利用領(lǐng)域特定知識對用戶的查詢進(jìn)行細(xì)化，以更好地通知LLMs并增強(qiáng)響應(yīng)。盡管存在眾多機(jī)會和益處，但LLM集成應(yīng)用程序也引入了新的攻擊面。理解、減少和消除這些新興攻擊面是一個(gè)新的研究領(lǐng)域。在這項(xiàng)工作中，我們考慮了用戶和LLM通過LLM集成應(yīng)用程序進(jìn)行交互的設(shè)置。我們著重關(guān)注從用戶查詢開始到LLM集成應(yīng)用程序返回查詢結(jié)果的通信輪次，由服務(wù)后端的LLMs提供支持。對于這種查詢-響應(yīng)協(xié)議，我們識別出潛在的漏洞可能來自惡意應(yīng)用程序開發(fā)者或能夠控制數(shù)據(jù)庫訪問、操縱和毒害對用戶具有高風(fēng)險(xiǎn)的數(shù)據(jù)的外部威脅發(fā)起者。成功利用這些已識別的漏洞將導(dǎo)致用戶接收到與威脅發(fā)起者意圖相符的響應(yīng)。我們評估了針對由OpenAI GPT-3.5和GPT-4支持的LLM集成應(yīng)用程序的這種威脅。我們的實(shí)證結(jié)果顯示，這些威脅可以有效地繞過OpenAI的限制和審查政策，導(dǎo)致用戶收到包含偏見、有害內(nèi)容、隱私風(fēng)險(xiǎn)和虛假信息的響應(yīng)。為了緩解這些威脅，我們確定并定義了四個(gè)關(guān)鍵屬性，即完整性、來源識別、攻擊可檢測性和實(shí)用性保留，這些屬性需要一個(gè)安全的LLM集成應(yīng)用程序滿足?；谶@些屬性，我們開發(fā)了一種輕量級、威脅無關(guān)的防御方法，可以緩解內(nèi)部和外部威脅。