香港，[日期] – 香港大学与Adobe Research近日联合发布了一款名为ObjectMover的创新图像编辑模型，旨在解决图像中物体移动、插入和移除时长期存在的光照、阴影不协调以及物体失真等问题。该模型一经发布，便引起了图像处理和人工智能领域的广泛关注，被誉为图像编辑领域的一项重大突破。
ObjectMover的核心理念是将物体移动视为两帧视频之间的特殊过渡，巧妙地利用预训练视频生成模型在跨帧一致性学习方面的强大能力。通过对模型进行微调，研究人员成功地将其迁移到图像编辑任务中，实现了对图像中物体进行精确的光影同步和身份特征保持。
ObjectMover的主要功能包括：
- 物体移动： 将图像中的物体移动到指定位置，并自动调整相关的物理效果，如光照、阴影、反射等，同时保持物体的身份特征。
- 物体删除： 真实地填充被移除物体的背景，避免生成不相干的新物体，并准确地移除与物体相关的光影。
- 物体插入： 精准地保持被插入物体的身份特征，并自动生成与环境一致的光影效果。
技术原理：视频先验迁移与序列到序列建模
ObjectMover的技术核心在于视频先验迁移和序列到序列建模。通过将物体移动任务视为视频帧之间的过渡，ObjectMover能够充分利用预训练视频生成模型（如扩散模型）所学习到的物理规律和物体对应关系，从而在图像编辑任务中实现精确的光影同步与身份特征保持。
此外，该模型将物体移动任务重构为序列预测问题。输入包括原始图像、目标物体图像和指令图（标注移动位置与方向），输出为物体移动后的合成图像。这种序列到序列的建模方式使模型能够更好地理解和处理物体在不同位置下的光影变化和遮挡关系。
合成数据集构建与多任务学习策略
由于缺乏大规模物体移动的真实数据，研究团队创造性地使用现代游戏引擎（如虚幻引擎）生成高质量的合成数据对，用于模型训练。这些数据涵盖了复杂的光照、材质和遮挡场景，显著增强了模型训练的多样性和泛化能力。
此外，ObjectMover采用了多任务学习策略，结合了物体移动、移除、插入及视频数据插入四个子任务，通过统一框架在合成数据与真实视频数据上进行训练。这进一步提升了模型对真实场景的泛化能力，使其在处理不同图像编辑任务时表现出更高的适应性和鲁棒性。
广泛的应用场景
ObjectMover的应用前景十分广阔，涵盖了特效制作、虚拟场景编辑、游戏关卡设计、产品展示以及空间规划等多个领域。
- 特效制作： 在电影和电视制作中，ObjectMover可以用于实现复杂的特效场景，如物体的消失或出现，同时保持场景的真实感。
- 虚拟场景编辑： 在虚拟现实和游戏开发中，ObjectMover可以用来移动场景中的物体，如将一个道具从一个位置移动到另一个位置，同时保持物体的光照和阴影与环境一致。
- 游戏关卡设计： 开发者可以使用ObjectMover快速调整关卡中的物体布局，提高关卡设计的效率。
- 产品展示： 对于产品广告，ObjectMover可以将产品放置在不同的场景中，展示产品的不同使用场景。
- 空间规划： 在建筑和室内设计中，ObjectMover可以将家具或装饰品移动到不同的位置，评估不同的设计方案。
项目地址与未来展望
感兴趣的读者可以通过以下链接了解更多关于ObjectMover的信息：
- 项目官网： https://xinyu-andy.github.io/ObjMover/
- arXiv技术论文： https://arxiv.org/pdf/2503.08037 (请注意，此链接可能需要更新为实际链接)
ObjectMover的发布标志着图像编辑技术进入了一个新的阶段。其强大的光影同步和身份保持能力，以及广泛的应用前景，预示着它将在未来的图像处理和人工智能领域发挥重要作用。
参考文献
- Xinyu, A., et al. (2024). ObjectMover: Moving Objects in Images with Video Priors. arXiv preprint arXiv:2503.08037. (请注意，此引用需要根据实际发表情况进行更新)
关键词： ObjectMover, 图像编辑, 香港大学, Adobe Research, 人工智能, 视频先验迁移, 序列到序列建模, 光影同步, 身份保持.
Views: 0