微软等开源AI图像分层处理编辑框架DesignEdit：赋予图像编辑前所未有的自由度
北京，2024年4月1日 – 近日，由微软亚洲研究院和北京大学的研究人员共同开发的AI图像编辑框架DesignEdit正式开源，该框架引入了设计领域的图层概念，采用多层潜在分解和融合的技术，实现了无需额外训练即可进行精确的空间感知图像编辑和处理。
DesignEdit的出现为图像编辑领域带来了革命性的变化，它突破了传统图像编辑软件的局限性，赋予用户前所未有的自由度和创造力。
DesignEdit的核心优势：
- 精确的空间感知： DesignEdit能够识别图像中的不同对象，并针对每个对象进行独立的编辑操作，例如移动、调整大小、移除等，同时保证编辑结果的自然和真实。
- 无需额外训练： DesignEdit无需针对特定编辑任务进行额外训练，用户可以根据自身需求直接进行编辑操作，简化了使用流程。
- 灵活的编辑功能： DesignEdit支持多种编辑功能，包括对象移除、对象移动、对象调整大小和翻转、相机平移和缩放、跨图像组合以及设计图像编辑等。
- 设计图像编辑的特殊支持： DesignEdit针对设计图像/海报的特殊需求，能够处理文本、装饰和其他设计元素的编辑任务，提供更加精细的编辑控制。
DesignEdit的工作原理：
DesignEdit的工作原理基于两个核心子任务的结合：多层潜在分解（Multi-Layered Latent Decomposition）和多层潜在融合（Multi-Layered Latent Fusion）。
- 多层潜在分解： DesignEdit将源图像的潜在表示（latent representation）分割成多个层次，每个层次代表图像中的不同对象或背景部分。通过关键掩码自注意力机制，模型能够在不破坏图像其他区域的情况下编辑特定区域，并利用自注意力机制中的内在修复能力来填补背景中的空白区域。
- 多层潜在融合： 在分解步骤之后，DesignEdit根据用户的编辑指令，将编辑后的多个潜在表示层融合到一个新的画布上。这个过程是按照特定的图层顺序和用户指定的布局安排进行的。为了提高编辑质量，DesignEdit在潜在空间中引入了伪影抑制方案，减少编辑过程中可能出现的视觉瑕疵。
DesignEdit的应用场景：
DesignEdit拥有广泛的应用场景，包括：
- 图像编辑： 移除图像中的不需要的元素，移动或调整图像中的对象，改变图像的构图等。
- 设计： 创建新的图像，组合来自不同图像的元素，编辑设计图像/海报等。
- 艺术创作： 利用DesignEdit的强大功能，艺术家可以创作出更加精妙的艺术作品。
开源的价值：
DesignEdit的开源为图像编辑领域带来了巨大的价值，它不仅为开发者提供了强大的工具，也为用户提供了更便捷、更强大的图像编辑体验。相信随着DesignEdit的不断发展，它将为图像编辑领域带来更多创新和变革。
获取DesignEdit：
用户可以通过以下链接获取DesignEdit的官方项目主页、研究论文、源码库和Hugging Face Demo：
- 官方项目主页：https://design-edit.github.io/
- arXiv研究论文：https://arxiv.org/abs/2403.14487
- GitHub源码库：https://github.com/design-edit/DesignEdit
- Hugging Face Demo：https://huggingface.co/spaces/YuhuiYuan/DesignEdit
结语：
DesignEdit的出现标志着AI图像编辑技术迈入了新的发展阶段，它将为图像编辑领域带来更加便捷、高效、智能的体验，并为用户提供更加强大的创造力。相信在未来，DesignEdit将与其他AI技术相结合，为我们带来更多令人惊叹的应用。
【source】https://ai-bot.cn/designedit/
Views: 0