上海报道 – 在人工智能领域，扩散模型以其卓越的图像和视频生成能力而备受瞩目。然而，高昂的计算成本一直是制约其广泛应用的关键瓶颈。近日，复旦大学与字节跳动智能创作团队联合推出了一项名为BlockDance的创新技术，旨在显著加速扩散模型的推理过程，最高可提速50%，为AI内容创作带来新的可能性。
BlockDance的核心理念在于识别并重用相邻时间步中结构相似的时空特征（Structurally Similar Spatio-Temporal，STSS），从而减少冗余计算，提升推理速度。该研究成果已发表在arXiv上，题为BlockDance: Accelerating Diffusion Models by Block-wise Feature Dancing。
技术原理：特征重用与动态资源分配
扩散模型在去噪过程中，相邻时间步的特征之间存在高度相似性，尤其是在模型的浅层和中层模块中。这些模块主要负责生成图像的结构信息，而结构信息在去噪过程的早期阶段就已经相对稳定。BlockDance正是基于对特征相似性的分析，识别出STSS，并将其作为加速的关键点。
BlockDance将去噪过程分为“缓存步骤”和“重用步骤”。在缓存步骤中，模型保存当前步骤中某些模块的特征输出。在后续的重用步骤中，模型直接使用之前缓存的特征，跳过模块的重复计算，从而节省计算资源。
为了进一步优化性能，BlockDance引入了BlockDance-Ada，这是一个基于强化学习的轻量级决策网络。BlockDance-Ada能够根据当前生成任务的复杂性（例如图像的结构复杂性、对象数量等），动态决定哪些步骤应该进行缓存，哪些步骤能够进行重用。这种动态调整机制使得BlockDance在不同的生成任务和模型上实现更优的速度与质量平衡。
关键特性与优势
- 加速推理过程： 将DiTs（Diffusion Transformers）的推理速度提升25%至50%，提高模型在实际应用中的效率。
- 保持生成质量： 在加速的同时，保持与原始模型一致的生成效果，确保图像和视频的视觉质量、细节表现和对提示的遵循程度。
- 动态资源分配： 基于BlockDance-Ada，根据不同生成任务的复杂性动态调整计算资源分配，实现更优的速度与质量平衡。
- 广泛的适用性： 支持无缝应用于多种扩散模型和生成任务，如图像生成、视频生成等，具有很强的通用性。
应用前景广阔
BlockDance技术的应用前景十分广阔，可以应用于以下领域：
- 图像生成： 加速艺术创作、游戏设计等高质量图像生成，保持视觉质量。
- 视频生成： 提升视频创作、动画制作等任务的速度，维持视觉和时间一致性。
- 实时交互： 应用于VR、AR等实时应用，快速响应用户输入，提升用户体验。
- 大规模内容生成： 高效生成大量图像和视频，降低计算成本，提高效率。
- 资源受限环境： 在移动设备、边缘计算等资源有限场景中高效运行，无需额外训练。
专家观点
“BlockDance的推出，有望打破扩散模型在实际应用中的计算瓶颈，加速AI内容创作的普及。”一位不愿透露姓名的AI专家表示，“通过巧妙地重用时空特征，并结合强化学习进行动态资源分配，BlockDance在保证生成质量的同时，显著提升了推理速度，为未来的AI应用开辟了新的道路。”
结语
BlockDance的成功，是学术界与产业界深度合作的典范。复旦大学与字节跳动智能创作团队的强强联合，不仅为扩散模型加速技术带来了突破，也为AI领域的创新发展注入了新的活力。随着BlockDance技术的不断完善和应用，我们有理由期待，AI内容创作将迎来更加高效、便捷和智能的未来。
参考文献：
Views: 0