北京——人工智能（AI）领域再添新星。近日，由北京邮电大学、清华大学、中国电信人工智能研究所和西北工业大学联合推出的图像生成与编辑框架——DiffBrush，正式亮相。该框架以其无需训练、手绘草图驱动的创新模式，为AI图像创作领域带来了一股清流。
DiffBrush的核心在于，它打破了传统文本到图像（T2I）模型对复杂文本提示的依赖，转而采用用户手绘草图作为图像生成与编辑的主要控制手段。用户只需在画布上简单勾勒出实例的轮廓和颜色，DiffBrush便能精准地生成符合需求的图像。这一创新性的设计，极大地降低了AI绘画的门槛，为用户提供了一种更直观、高效的创作方式。
技术原理：扩散模型与引导机制
DiffBrush的技术核心在于对预训练的T2I模型（如Stable Diffusion、SDXL等）的扩散过程进行巧妙的引导。扩散模型通过逐步去噪，将随机噪声转化为真实图像。DiffBrush通过修改扩散过程中的去噪方向，引导生成的图像向用户手绘的草图靠拢。
具体而言，DiffBrush采用了以下关键技术：
- 颜色引导： 利用扩散模型潜在空间与颜色空间的高度相似性，调整潜在空间中的特征，实现对生成图像颜色的精确控制。用户绘制的颜色信息被编码到潜在空间中，通过能量函数引导生成图像的颜色与用户需求一致。
- 实例与语义引导： 基于扩散模型中的注意力机制（如交叉注意力和自注意力），实现对实例和语义的控制。用户绘制的实例轮廓被用作注意力图的监督目标，通过调整注意力图的分布，确保生成图像中对象的位置和语义与用户需求一致。
- 潜在空间再生： 通过迭代优化初始噪声分布，使其接近用户手绘草图的目标分布，在扩散过程的早期阶段调整潜在空间，进一步优化生成图像的质量。
主要功能与应用场景
DiffBrush的功能强大且多样，主要包括：
- 用户友好的图像生成： 用户通过手绘草图控制生成图像的内容，无需复杂的文本提示或技术知识。
- 颜色控制： 根据用户绘制的颜色信息，精确控制生成图像中对应区域的颜色。
- 实例与语义控制： 绘制实例的轮廓和标注语义信息，控制生成图像中特定对象的位置和语义属性。
- 图像编辑： 在已有图像的基础上进行编辑，例如添加、修改或替换图像中的对象。
- 风格化生成： 支持与LoRA（Low-Rank Adaptation）风格调整结合，生成具有不同艺术风格的图像，如油画、国画等。
- 多模型兼容： 与多种T2I模型（如Stable Diffusion、SDXL、Flux等）兼容，具有广泛的适用性。
凭借其强大的功能，DiffBrush在多个领域都展现出巨大的应用潜力：
- 创意绘画： 艺术家和设计师可以快速将手绘创意转化为高质量图像，支持多种风格，方便实现艺术构思。
- 图像编辑： 在已有图片上添加、替换或修改内容，用简单手绘完成操作，适合普通用户和设计师。
- 教育工具： 可用于艺术和设计教学，帮助学生通过手绘理解色彩、构图和创意表达。
- 游戏设计： 快速生成游戏场景、角色或动画草图，支持风格化输出，助力创意迭代。
- 广告设计： 根据创意草图快速生成广告图像，满足客户对色彩和布局的要求，提升设计效率。
未来展望
DiffBrush的出现，无疑为AI图像生成与编辑领域注入了新的活力。它不仅降低了AI绘画的门槛，也为用户提供了更直观、高效的创作方式。随着技术的不断发展和完善，DiffBrush有望在更多领域得到应用，并推动AI图像创作的普及化和 democratisation。
项目地址与技术论文
感兴趣的读者可以通过以下链接了解更多关于DiffBrush的信息：
- arXiv技术论文： https://arxiv.org/pdf/2502.20904 (请注意，该链接为示例链接，请替换为实际链接)
DiffBrush的成功发布，标志着中国在AI图像生成领域取得了又一项重要突破。我们期待着DiffBrush在未来能够为AI图像创作带来更多惊喜。
Views: 0