港大华为联手开源Dream-7B扩散模型

香港，中国香港 – 香港大学与华为诺亚方舟实验室近日联合宣布开源其最新研究成果——Dream-7B，一款强大的扩散式推理模型。该模型在文本生成、数学问题求解和编程辅助等多个领域展现出卓越性能，被誉为“目前最强大的开源扩散大语言模型”。

Dream-7B：技术突破与性能亮点

Dream-7B的训练数据涵盖了广泛的文本、数学和代码，预训练使用了高达5800亿个标记，耗时256小时。其核心优势在于：

• 强大的文本生成能力： 在通用文本、数学和编程任务上，Dream-7B的表现超越了同尺寸的自回归模型，甚至在某些情况下优于最新的Deepseek V3 671B。
• 灵活的生成方式： Dream-7B支持任意顺序的文本生成，允许用户根据需求指定生成顺序，这为文本创作带来了前所未有的灵活性。
• 高效的规划能力： 在需要多步规划的任务中，如Countdown和Sudoku等，Dream-7B展现出卓越的性能。
• 可调节的生成质量： 用户可以调整扩散步数，从而平衡生成速度和质量，满足不同应用场景的需求。

技术原理：扩散模型与掩码扩散范式

Dream-7B基于离散扩散模型（Discrete Diffusion Models, DMs）架构，与传统的自回归模型不同，它从一个完全噪声化的状态开始，逐步去噪生成文本。这种架构支持双向上下文建模，整合前向和后向信息，显著提升了生成文本的全局连贯性。

此外，Dream-7B采用了掩码扩散范式，通过预测所有被掩码的标记逐步去噪，从而更好地对齐自回归模型的权重，加速训练过程。该模型还利用自回归模型（如Qwen2.5）的权重作为初始化，并引入上下文自适应的噪声重调度机制，进一步提高了训练效率。

应用场景：赋能多领域创新

Dream-7B的开源将为各行各业带来创新机遇，其应用场景包括：

• 文本生成与创作： 创作高质量的通用文本，如新闻报道、故事创作、文案撰写等。
• 数学问题求解： 高效解决复杂的数学问题，为教育和科研提供辅助工具。
• 编程辅助： 生成编程代码，帮助开发者快速构建代码框架、解决编程难题。
• 复杂任务规划： 应用于需要多约束条件和多步骤推理的场景，如任务调度、路径规划等。
• 灵活的文本处理： 根据需求调整生成速度和质量，适用于各种需要灵活文本处理的应用。

开源地址与体验方式

Dream-7B的项目地址如下：

• 项目官网： https://hkunlp.github.io/blog/2025/dream/
• GitHub仓库： https://github.com/HKUNLP/Dream
• HuggingFace模型库： https://huggingface.co/Dream-org
• 在线体验Demo： https://huggingface.co/spaces/multimodalart/Dream

结语：开源赋能，共创AI未来

Dream-7B的开源标志着扩散模型在自然语言处理领域取得了重要进展。香港大学与华为诺亚方舟实验室的合作，不仅为学术界和产业界提供了强大的AI工具，也为未来的AI研究和应用奠定了坚实的基础。随着Dream-7B的广泛应用，我们有理由期待一个更加智能、高效和创新的AI未来。

参考文献

• HKUNLP. (2024). Dream: Diffusion-based Language Models. Retrieved from https://hkunlp.github.io/blog/2025/dream/
• GitHub. (n.d.). HKUNLP/Dream. Retrieved from https://github.com/HKUNLP/Dream
• Hugging Face. (n.d.). Dream-org. Retrieved from https://huggingface.co/Dream-org
• Hugging Face. (n.d.). multimodalart/Dream. Retrieved from https://huggingface.co/spaces/multimodalart/Dream

>>> Read more <<<

Views: 0