OpenAI 攻克扩散模型短板：清华校友合作打造规模空前的连续时间一致性模型
人工智能领域再迎突破！ OpenAI 的研究科学家路橙（Cheng Lu）与战略探索团队负责人宋飏（Yang Song）共同发布了一篇研究论文，为扩散模型的短板——采样速度过慢——提供了解决方案。他们提出的新方法，简化、稳定并扩展了连续时间一致性模型（CM），实现了规模空前的连续时间一致性模型，并显著提升了扩散模型的采样效率。
扩散模型的瓶颈：采样速度
扩散模型近年来在图像生成、文本生成等领域取得了巨大成功，但其采样速度缓慢一直是制约其应用的关键问题。生成一个样本往往需要执行成百上千步采样，导致模型训练和应用效率低下。
一致性模型：解决问题的利器
为了解决这个问题，研究社区提出了多种扩展蒸馏（diffusion distillation）技术，包括直接蒸馏、对抗蒸馏、渐进式蒸馏和变分分数蒸馏（VSD）。然而，这些方法也存在成本高、复杂性高、多样性有限等问题。
一致性模型（CM）则展现出巨大的优势。它分为离散时间 CM 和连续时间 CM。离散时间 CM 会引入离散化误差，并且需要仔细调度时间步长网格，这可能会导致样本质量不佳。而连续时间 CM虽可避免这些问题，但也会有训练不稳定的问题。
OpenAI 的突破：简化、稳定、扩展
路橙和宋飏的最新论文，“Simplifying, Stabilizing & Scaling Continuous-Time Consistency Models”，针对连续时间 CM 的缺点，提出了一系列突破性改进：
- TrigFlow： 他们将 EDM（arXiv:2206.00364）与流匹配（Flow Matching）统一起来，提出了 TrigFlow 公式，极大简化了扩展模型、相关的概率流 ODE 和一致性模型。
- 稳定化训练： 他们分析了一致性模型训练不稳定的根本原因，并提出了一种完整的缓解方案，包括改进网络架构中的时间调节和自适应分组归一化。
- 扩展训练目标： 他们重新构建了连续时间 CM 的训练目标，其中整合了关键项的自适应加权和归一化以及渐进退火，以实现稳定且可扩展的训练。
清华校友的贡献：师承朱军教授
值得一提的是，路橙和宋飏都是清华校友，师从朱军教授，在扩散概率模型领域做出过代表性工作。他们的最新研究成果再次展现了清华大学在人工智能领域的领先地位。
未来展望：加速扩散模型应用
OpenAI 的这项突破性研究成果，为解决扩散模型的采样速度问题提供了可行的解决方案。未来，随着连续时间一致性模型的进一步发展和应用，扩散模型将能够更快速、更高效地生成高质量的图像、文本等内容，加速其在各个领域的应用。
参考文献：
- Lu, C., & Song, Y. (2024). Simplifying, Stabilizing & Scaling Continuous-TimeConsistency Models. arXiv preprint arXiv:2410.11081.
- https://arxiv.org/pdf/2410.11081v1
关键词： 扩散模型，一致性模型，连续时间，OpenAI，清华大学，人工智能，图像生成，文本生成，采样速度，稳定性，扩展性
Views: 0