AAAI 2025：稀疏视觉Transformer引爆IML，代码开源

引言：

在数字图像编辑技术日新月异的今天，图像的真实性正面临前所未有的挑战。从简单的修图到复杂的深度伪造，图像篡改手段层出不穷，给社会带来了信任危机。为了应对这一挑战，全球顶尖的人工智能研究者们正不断探索更先进的图像篡改检测（Image Manipulation Localization，IML）技术。近日，来自四川大学和澳门大学的研究团队在这一领域取得了重大突破，他们提出的稀疏视觉Transformer（SparseViT）架构，为图像篡改检测带来了全新的视角。

主体：

长期以来，图像篡改检测模型依赖于“语义分割主干网络”与“手工制作的非语义特征提取”相结合的设计。这种方法虽然在一定程度上有效，但其对未知场景的泛化能力有限。究其原因，传统的模型过度关注图像的语义信息，而忽略了图像篡改后留下的非语义伪影，这些伪影往往在局部和全局之间保持一致性，且在图像不同区域表现出更大的独立性。

为了解决这一问题，四川大学吕建成团队与澳门大学潘治文教授团队合作，提出了SparseViT。该架构的核心在于采用稀疏自注意力机制，取代了传统视觉Transformer（ViT）的全局自注意力机制。这一创新性的设计，使得模型能够自适应地提取图像篡改检测中的非语义特征，从而更有效地识别图像篡改的痕迹。

SparseViT 的核心创新点：

稀疏自注意力机制（Sparse Self-Attention）： 传统的自注意力机制对图像的每个像素都进行全局计算，导致模型对语义信息过度拟合，而忽略了非语义信息在受到篡改后表现出的局部不一致性。Sparse Self-Attention 通过对输入特征图施加稀疏性约束，将特征图分解为多个不重叠的张量块，并在这些张量块上进行自注意力计算。这种局部化的计算方式，使得模型能够专注于非语义特征的提取，提升了对图像篡改伪影的捕捉能力。同时，该机制还大幅降低了计算量，最高减少了80%的FLOPs。
可学习特征融合模块（Learnable Feature Fusion，LFF）： 为了提高模型的泛化能力和对复杂场景的适应性，SparseViT引入了LFF模块。与传统的固定规则特征融合方法不同，LFF模块通过可学习参数，动态调整不同尺度特征的重要性，从而增强了模型对图像篡改伪影的敏感度。LFF模块能够从稀疏自注意力模块输出的多尺度特征中学习特定的融合权重，优先强化与篡改相关的低频特征，同时保留语义信息较强的高频特征。

研究成果与意义：

研究团队在统一的评估协议下，复现并对比了多个现有的最先进方法，系统验证了SparseViT的优越性。实验结果表明，SparseViT在不依赖手工特征提取器的情况下，依然能够保持参数效率和卓越的性能。此外，SparseViT的模块化设计，使得用户可以灵活定制或扩展模型的核心模块，并通过可学习的多尺度监督机制增强模型对多种场景的泛化能力。

这项研究的主要贡献在于：

揭示了篡改图像的语义特征需要连续的局部交互来构建全局语义，而非语义特征由于其局部独立性，可以通过稀疏编码实现全局交互。
基于语义和非语义特征的不同行为，提出了使用稀疏自注意机制自适应地从图像中提取非语义特征。
引入了一种可学习的多尺度监督机制，解决了传统多尺度融合方法的不可学习性。
提出的SparseViT在不依赖手工特征提取器的情况下保持了参数效率。

结论：

SparseViT的问世，不仅为图像篡改检测领域带来了新的技术突破，也为后续研究奠定了基础。该研究表明，通过深入理解图像篡改的本质，并结合创新的模型设计，我们可以在不依赖手工特征提取器的情况下，实现高效且准确的图像篡改检测。SparseViT的开源代码（https://github.com/scu-zjz/SparseViT）将为该领域的研究者提供宝贵的资源，加速相关技术的发展。

随着数字图像的广泛应用，图像篡改检测技术的重要性日益凸显。SparseViT的出现，无疑为我们应对这一挑战提供了新的希望。未来，我们期待看到更多基于SparseViT的研究成果，共同维护数字世界的真实性。

参考文献：