东京大学联手Adobe，AI图像编辑新突破

引言：

想象一下，仅仅通过简单的文字指令，就能让照片中的人物改变姿势，调整表情，甚至改变拍摄视角，这不再是科幻电影中的场景。近日，东京大学与 Adobe 公司联合发布了名为 InstructMove 的全新图像编辑模型，它利用多模态大型语言模型和深度学习技术，实现了基于指令的图像编辑，为图像处理领域带来了革命性的突破。

主体：

InstructMove 的核心在于其能够理解并执行复杂的编辑指令，这得益于其独特的技术架构和训练方法。

非刚性编辑的突破： 传统的图像编辑工具往往局限于对图像进行简单的裁剪、色彩调整等操作，而 InstructMove 则能够对图像中的主体进行非刚性编辑，例如调整人物的姿势、改变面部表情，甚至让静态图像中的物体呈现动态效果。这种能力为影视后期制作、广告创意设计等领域带来了无限可能。
视角调整的创新： InstructMove 不仅能改变图像中物体的形态，还能调整图像的拍摄视角。用户可以通过简单的指令，例如“将相机视角向左移动”，就能改变图像的构图和视觉效果，这为摄影爱好者和专业人士提供了更灵活的创作空间。
元素重排的灵活性： InstructMove 还能对图像中的元素进行重新排列或移动。例如，用户可以指令模型“将玩具的腿放在一起”，或者“让鸟的尾巴可见”，这为图像编辑带来了前所未有的灵活性。
精确局部编辑： InstructMove 支持与掩码等控制机制的集成，用户可以精确地选择图像的特定区域进行编辑，这使得局部修改更加精细和可控。

技术原理：

InstructMove 的强大能力源于其精心设计的数据集和训练方法：

真实视频帧作为数据源： InstructMove 使用互联网视频中的真实帧对作为训练数据，确保了编辑过程中的内容自然性和真实性。这种方法克服了合成数据集在复杂编辑任务上的局限性。
多模态大型语言模型生成指令： InstructMove 利用多模态大型语言模型（MLLMs），如 GPT-4o 或 Pixtral-12B，分析视频帧对之间的差异，并生成准确的编辑指令。这使得模型能够理解用户指令的意图，并将其转化为实际的图像编辑操作。
预训练模型微调： InstructMove 在构建的数据集上微调预训练的文本到图像（T2I）模型，如 Stable Diffusion。这种方法利用了预训练模型的强大能力，加速了模型的训练过程，并提高了模型的性能。
空间条件策略： InstructMove 引入了空间条件策略，将参考图像与噪声输入沿空间维度进行拼接，而不是传统的通道拼接。这种方法能够更好地保留图像的空间信息，从而提高编辑的准确性。
控制机制集成： InstructMove 支持与掩码等控制机制的集成，实现了精确的局部编辑。此外，它还可以与 ControlNet 等可控扩散模型集成，接受用户提供的额外视觉线索，如草图或骨架关键点，实现更复杂和精确的图像编辑操作。

应用场景：

InstructMove 的应用场景非常广泛，以下是一些示例：

影视后期制作： 特效师可以利用 InstructMove 调整科幻电影中外星生物角色的表情，使其更符合剧情要求。
广告创意设计： 设计师可以利用 InstructMove 为汽车广告调整赛车视角和背景元素，突出新车型的速度与激情特点。
室内设计： 室内设计师可以利用 InstructMove 调整卧室床头柜位置和窗帘样式，满足客户对美观和实用性的需求。
艺术教育： 老师可以在绘画课上利用 InstructMove 调整人物动作，帮助学生理解动作与情感的关系。
个人照片编辑： 用户可以利用 InstructMove 调整聚会照片中的表情，使其更自然轻松。

结论：

InstructMove 的发布标志着图像编辑技术进入了一个新的时代。它不仅能够理解用户的指令，还能以惊人的准确性和灵活性执行复杂的编辑任务。这项技术的出现，将极大地提高图像处理的效率，并为创意产业带来无限的可能性。InstructMove 的未来发展值得期待，我们有理由相信，它将会在图像编辑领域掀起一场新的革命。

参考文献：