Redeem Myself: Purifying Backdoors in Deep Learning Models using Self Attention Distillation

后门 计算机科学 深度学习 人工智能 过程(计算) 机器学习 修剪 人工神经网络 脆弱性(计算) 计算机安全 农学 生物 操作系统
作者
Xueluan Gong,Yanjiao Chen,Yang Wang,Qian Wang,Yuzhe Gu,Huayang Huang,Chao Shen
标识
DOI:10.1109/sp46215.2023.10179375
摘要

Recent works have revealed the vulnerability of deep neural networks to backdoor attacks, where a backdoored model orchestrates targeted or untargeted misclassification when activated by a trigger. A line of purification methods (e.g., fine-pruning, neural attention transfer, MCR [69]) have been proposed to remove the backdoor in a model. However, they either fail to reduce the attack success rate of more advanced backdoor attacks or largely degrade the prediction capacity of the model for clean samples. In this paper, we put forward a new purification defense framework, dubbed SAGE, which utilizes self-attention distillation to purge models of backdoors. Unlike traditional attention transfer mechanisms that require a teacher model to supervise the distillation process, SAGE can realize self-purification with a small number of clean samples. To enhance the defense performance, we further propose a dynamic learning rate adjustment strategy that carefully tracks the prediction accuracy of clean samples to guide the learning rate adjustment. We compare the defense performance of SAGE with 6 state-of-the-art defense approaches against 8 backdoor attacks on 4 datasets. It is shown that SAGE can reduce the attack success rate by as much as 90% with less than 3% decrease in prediction accuracy for clean samples. We will open-source our codes upon publication.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
PDF的下载单位、IP信息已删除 (2025-6-4)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
坤坤完成签到,获得积分10
刚刚
1秒前
STUSSY完成签到,获得积分10
1秒前
wuhuofeng发布了新的文献求助10
2秒前
3秒前
4秒前
4秒前
coco完成签到,获得积分10
5秒前
lshao完成签到 ,获得积分10
6秒前
6秒前
zhou发布了新的文献求助30
7秒前
跋扈完成签到,获得积分10
9秒前
温柔翰发布了新的文献求助10
9秒前
9秒前
Jj发布了新的文献求助10
10秒前
ficus_min发布了新的文献求助10
10秒前
木子发布了新的文献求助10
11秒前
Galato发布了新的文献求助10
11秒前
寒冷哈密瓜完成签到 ,获得积分0
11秒前
大模型应助shen采纳,获得10
12秒前
123566完成签到,获得积分10
12秒前
hohn完成签到,获得积分10
12秒前
科研通AI2S应助bsn采纳,获得10
14秒前
LL发布了新的文献求助10
14秒前
张西西完成签到 ,获得积分10
15秒前
研友_ZAxj7n完成签到,获得积分20
17秒前
海上钢琴家完成签到,获得积分10
17秒前
日富一日完成签到,获得积分10
17秒前
大妙妙完成签到 ,获得积分10
17秒前
1111完成签到 ,获得积分10
18秒前
zhong完成签到,获得积分10
18秒前
Zsx完成签到,获得积分10
19秒前
20秒前
无辜念文完成签到,获得积分10
21秒前
Xx完成签到,获得积分10
22秒前
arcremnant完成签到,获得积分10
22秒前
星辰完成签到,获得积分10
22秒前
量子星尘发布了新的文献求助10
23秒前
allenice完成签到,获得积分10
23秒前
24秒前
高分求助中
【提示信息,请勿应助】关于scihub 10000
Les Mantodea de Guyane: Insecta, Polyneoptera [The Mantids of French Guiana] 3000
徐淮辽南地区新元古代叠层石及生物地层 3000
The Mother of All Tableaux: Order, Equivalence, and Geometry in the Large-scale Structure of Optimality Theory 3000
Global Eyelash Assessment scale (GEA) 1000
Picture Books with Same-sex Parented Families: Unintentional Censorship 550
Research on Disturbance Rejection Control Algorithm for Aerial Operation Robots 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 冶金 细胞生物学 免疫学
热门帖子
关注 科研通微信公众号,转发送积分 4038524
求助须知:如何正确求助?哪些是违规求助? 3576221
关于积分的说明 11374737
捐赠科研通 3305912
什么是DOI,文献DOI怎么找? 1819354
邀请新用户注册赠送积分活动 892688
科研通“疑难数据库(出版商)”最低求助积分说明 815048