复旦攻破视频模型防御：扩散模型攻击无处可逃

复旦大学提出首个基于扩散模型的视频非限制性对抗攻击框架，主流CNN和ViT架构都防不住它

机器之心报道

近年来，深度神经网络（DNNs）在计算机视觉以及多媒体分析任务上取得了巨大的成功，并广泛应用于实际生产生活中。然而，对抗样本的出现对 DNNs 的鲁棒性带来了挑战。尤其是，对抗样本的可迁移性使得黑箱攻击成为可能，从而为深度模型在诸如人脸验证和监控视频分析等安全攸关的场景中的部署带来了安全威胁。

目前，大多数基于迁移的对抗攻击尝试通过限制扰动的 Lp – 范数来保证「细微扰动」。然而，在 Lp – 范数约束下生成的对抗样本仍具有可察觉的扰动噪声，从而使其更容易被检测到。因此，非限制性对抗攻击开始出现。与之前的方法不同，非限制性攻击通过添加非限制性的自然扰动（如纹理、风格、颜色等）实现。相比于传统添加限制性对抗噪声的攻击，上述非限制性攻击优化得到的对抗样本更加自然。

目前，针对非限制性对抗攻击的研究主要针对图像模型，针对视频模型的研究，尤其是视频模型非限制对抗攻击可迁移性的研究仍较少。基于此，复旦大学视觉与学习实验室的研究者们深入探索了非限制对抗攻击在视频模型上的迁移性，并提出了一种基于扩散模型的非限制视频迁移攻击方法。

基于扩散模型的非限制视频迁移攻击的挑战

来自复旦大学的研究团队指出，基于扩散模型的非限制视频迁移攻击面临着三大挑战：

高内存开销: 对抗视频生成涉及整个去噪过程的梯度计算，导致高内存开销。
对抗帧失真: 扩散模型通常在早期去噪步骤中添加粗略语义信息进行引导，然而在生成对抗视频中，过早对隐变量进行扰动会导致生成对抗帧显著失真，且逐帧生成对抗帧后将导致最终对抗视频时序一致性差。
对抗迁移性弱: 由于时间维度的引入，逐帧的单独对抗扰动会引入单调梯度，缺少视频帧之间的信息交互，使得对抗帧的迁移性较弱。

ReToMe-VA: 基于扩散模型的视频非限制性对抗攻击框架

为了解决上述挑战，研究团队提出了第一个基于扩散模型的视频非限制性对抗攻击框架 ReToMe-VA，旨在生成具有更高可迁移性的视频对抗样本。

ReToMe-VA 攻击框架的核心思想是：

逐时间步对抗隐变量优化策略: 通过 DDIM 反转将良性帧映射到隐空间，并在每个去噪步骤中优化扩散模型隐空间的扰动，从而实现生成对抗样本的空间不可感知性。
递归 token 合并机制:引入递归 token 合并机制来对齐和压缩跨帧的时间冗余 token，通过在自注意力模块中使用共享 token，优化逐帧优化中细节的不对齐信息，从而生成时间上一致的对抗性视频。

ReToMe-VA 的优势

ReToMe-VA 框架具有以下优势：