北大发布“照妖镜” AI识破图像伪造

图像伪造照妖镜：北大发布多模态 LLM图像篡改检测定位框架 FakeShield

随着生成式人工智能（AIGC）的飞速发展，图像编辑与合成技术日益成熟，图像伪造检测面临着前所未有的挑战。 如今，用户可以通过 Photoshop、DeepFake、AIGC 等工具对图像进行高质量编辑，且往往不留任何痕迹。为了应对这一挑战，北京大学的研究人员开发了一种新型多模态框架 FakeShield，能够检测图像伪造、定位篡改区域，并提供基于像素和图像语义错误的合理解释，可以提高图像伪造检测的可解释性和泛化能力。

FakeShield 的核心优势在于其多模态大语言模型 (LLM) 的应用，将视觉和语言理解能力相结合，实现图像真实性检测、篡改区域定位以及提供详细解释。 这不仅解决了现有图像篡改检测与定位 (IFDL) 算法的黑箱问题，还增强了检测定位过程的透明性与泛化性。

FakeShield 的主要贡献包括：

首个多模态大模型框架用于图像篡改检测与定位： FakeShield 利用LLM 的能力，将检测与定位过程解耦，并提供合理的判断依据，解决了现有方法的黑箱问题。
构建多模态篡改描述数据集 (MMTD-Set)： 研究人员利用 GPT-4o 丰富现有的 IFDL 数据集，构建了 MMTD-Set，通过关注不同篡改特征，生成「图像-掩膜-描述」三元组，提高了模型的分析能力。
设计基于领域标签引导的解释性篡改检测模块 (DTE-FDM)： DTE-FDM 在单一模型中检测多种篡改类型，缓解了数据域冲突问题。同时，通过多模态篡改定位模块 (MFLM)，对齐视觉和语言特征，实现精准的篡改区域定位。

FakeShield 的创新之处在于其对多模态信息的有效利用，通过结合视觉和语言信息，实现了更准确、更可解释的图像伪造检测与定位。

MMTD-Set 数据集的构建过程是 FakeShield 的关键环节之一。 研究人员根据篡改方法，将篡改图片分为 PhotoShop、DeepFake、AIGC-Editing 三个数据域。基于现有的 IFDL 数据集，他们利用 GPT-4o 生成对于篡改图像的分析与描述，构建「图像-掩膜-描述」三元组，以支持模型的多模态训练。

在 MMTD-Set 的构建过程中，prompt 设计至关重要，旨在确保 GPT-4o 能准确生成与篡改图像相关的高质量描述。 prompt 设计围绕两个主要方面展开：篡改区域的定位和可见细节的捕捉。

FakeShield 框架包括两个关键部分：

Domain Tag-guided Explainable Forgery Detection Module (DTE-FDM)： DTE-FDM 模块负责图像伪造检测与检测结果的分析，通过生成数据域标签 (domain tag) 来缓解不同伪造类型数据之间的数据域冲突。这些标签引导多模态大语言模型 (LLM) 聚焦于各类型篡改的特征，实现针对性检测与解释。
Multi-modal Forgery Localization Module (MFLM)： MFLM 模块负责精准定位图像中的篡改区域，通过多模态特征对齐的方式将文本和视觉信息融合，从而生成准确的篡改掩膜。

FakeShield 的设计理念是将多模态信息融合，实现更准确、更可解释的图像伪造检测与定位。 这种创新性的框架为图像伪造检测领域提供了一种全面而高效的解决方案，为未来图像内容安全领域的发展提供了新的方向。

参考文献：