复旦大学提出首个基于扩散模型的视频非限制性对抗攻击框架，主流CNN和ViT架构都防不住它
机器之心报道
近年来，深度神经网络（DNNs）在计算机视觉以及多媒体分析任务上取得了巨大的成功，并广泛应用于实际生产生活中。然而，对抗样本的出现对 DNNs 的鲁棒性带来了挑战。尤其是，对抗样本的可迁移性使得黑箱攻击成为可能，从而为深度模型在诸如人脸验证和监控视频分析等安全攸关的场景中的部署带来了安全威胁。
目前，大多数基于迁移的对抗攻击尝试通过限制扰动的 Lp – 范数来保证「细微扰动」。然而，在 Lp – 范数约束下生成的对抗样本仍具有可察觉的扰动噪声，从而使其更容易被检测到。因此，非限制性对抗攻击开始出现。与之前的方法不同，非限制性攻击通过添加非限制性的自然扰动（如纹理、风格、颜色等）实现。相比于传统添加限制性对抗噪声的攻击，上述非限制性攻击优化得到的对抗样本更加自然。
目前，针对非限制性对抗攻击的研究主要针对图像模型，针对视频模型的研究，尤其是视频模型非限制对抗攻击可迁移性的研究仍较少。基于此，复旦大学视觉与学习实验室的研究者们深入探索了非限制对抗攻击在视频模型上的迁移性，并提出了一种基于扩散模型的非限制视频迁移攻击方法。
基于扩散模型的非限制视频迁移攻击的挑战
来自复旦大学的研究团队指出，基于扩散模型的非限制视频迁移攻击面临着三大挑战：
- 高内存开销: 对抗视频生成涉及整个去噪过程的梯度计算，导致高内存开销。
- 对抗帧失真: 扩散模型通常在早期去噪步骤中添加粗略语义信息进行引导，然而在生成对抗视频中，过早对隐变量进行扰动会导致生成对抗帧显著失真，且逐帧生成对抗帧后将导致最终对抗视频时序一致性差。
- 对抗迁移性弱: 由于时间维度的引入，逐帧的单独对抗扰动会引入单调梯度，缺少视频帧之间的信息交互，使得对抗帧的迁移性较弱。
ReToMe-VA: 基于扩散模型的视频非限制性对抗攻击框架
为了解决上述挑战，研究团队提出了第一个基于扩散模型的视频非限制性对抗攻击框架 ReToMe-VA，旨在生成具有更高可迁移性的视频对抗样本。
ReToMe-VA 攻击框架的核心思想是：
- 逐时间步对抗隐变量优化策略: 通过 DDIM 反转将良性帧映射到隐空间，并在每个去噪步骤中优化扩散模型隐空间的扰动，从而实现生成对抗样本的空间不可感知性。
- 递归 token 合并机制:引入递归 token 合并机制来对齐和压缩跨帧的时间冗余 token，通过在自注意力模块中使用共享 token，优化逐帧优化中细节的不对齐信息，从而生成时间上一致的对抗性视频。
ReToMe-VA 的优势
ReToMe-VA 框架具有以下优势：
- 高迁移性: 跨视频帧合并 token 促进了帧间交互，使当前帧的梯度融合来自关联帧的信息，生成稳健且多样化的梯度更新方向，从而提高对抗迁移性。
- 时间一致性:递归 token 合并机制有效地解决了对抗帧时序一致性问题，生成更自然、更真实的对抗视频。
- 空间不可感知性: 逐时间步对抗隐变量优化策略确保了对抗样本的空间不可感知性，使得攻击更加隐蔽。
研究成果的意义
ReToMe-VA 的提出为视频模型的对抗攻击研究开辟了新的方向，为保障视频模型在安全攸关场景中的应用提供了重要的理论基础和技术支撑。
论文链接: http://arxiv.org/abs/2408.05479
代码链接: https://github.com/Gao-zy26/ReToMe-VA
作者简介
本文第一作者高子怡为复旦大学研二硕士，主要研究方向为 AIGC 和 AI 安全。本文通讯作者是复旦大学的陈静静副教授。
机器之心AIxiv专栏
机器之心AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
投稿邮箱: liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
【source】https://www.jiqizhixin.com/articles/2024-08-27-4
Views: 2