0
北京讯 – 阿里巴巴通义实验室近日正式推出其升级版图像生成与编辑模型 ACE++，该模型通过指令化和上下文感知的内容填充技术，旨在为用户提供高质量的图像创作和编辑能力。这一创新成果不仅提升了图像处理的效率，也为虚拟试穿、品牌标志设计、照片修复等多元应用场景带来了新的可能性。
ACE++ 并非简单的迭代，而是在技术架构和训练策略上进行了全面升级。其核心在于提出的 LCU++（改进的长上下文条件单元）输入范式。传统方法通常采用序列拼接的方式处理输入图像、掩码和噪声，而 LCU++ 则将这些信息在通道维度上进行拼接，形成条件单元（CU）特征图。这种改进显著减少了上下文感知框架的干扰，降低了模型适应成本，并能更好地支持无参考图像（0-ref）和多参考图像（N-ref）任务。
在训练方面，ACE++ 采用了两阶段训练方案。第一阶段，模型基于文本到图像模型进行预训练，专注于 0-ref 任务，利用基础模型的生成能力快速适应条件输入。第二阶段，模型在所有数据上进行微调，支持通用指令，同时优化模型对输入参考图像的重建能力和目标图像的生成能力。这种分阶段的训练策略，有效提升了模型的生成质量和泛化能力。
ACE++ 的主要功能包括：
- 人物肖像生成 (ACE++ Portrait): 根据用户指令生成高质量的人物肖像，保持面部特征和风格的一致性。
- 主题生成 (ACE++ Subject): 在不同场景中生成具有特定主题的图像，例如将某个标志或物体放置在不同的背景中。
- 局部编辑 (ACE++ LocalEditing): 对图像的特定区域进行重新绘制或修改，同时保留原有图像的结构和风格。
- 风格化编辑: 通过指令对图像进行风格化处理，例如将普通照片转换为艺术风格或特定的视觉效果。
- 上下文感知内容填充: 根据图像的上下文信息，智能地填充缺失或需要修改的部分，确保生成的图像在视觉上自然且一致。
ACE++ 的应用场景广泛，包括：
- 虚拟试穿: 用户可以将服装或配饰放置在不同的人物模型上，实现虚拟试穿效果。
- 品牌标志粘贴: 将品牌标志或设计元素嵌入到不同的背景或物品上，适用于产品设计和广告制作。
- 照片编辑: 对现有照片进行多种编辑操作，包括风格转换、元素添加或删除、背景替换等。
- 电影海报编辑: 对电影海报中的人物肖像进行风格化处理或修改。
- 艺术创作与设计: 艺术家和设计师可以利用 ACE++ 快速实现创意构想，提升创作效率。
阿里巴巴通义实验室表示，ACE++ 的推出是其在人工智能领域持续投入和创新的又一重要成果。未来，他们将继续优化模型性能，拓展应用场景，并积极与开发者社区合作，共同推动图像生成与编辑技术的进步。
相关链接：
- 项目官网：https://ali-vilab.github.io/ACE_plus
- Github仓库：https://github.com/ali-vilab/ACE_plus
- HuggingFace模型库：https://huggingface.co/ali-vilab/ACE_Plus
- arXiv技术论文：https://arxiv.org/pdf/2501.02487
（完）
Views: 0
0