英伟达联手新科大，开源文本转音频神器TANGOFLUX

好的，根据您提供的材料和要求，我将为您撰写一篇高质量的新闻报道，深入剖析英伟达与新加坡科技设计大学联合开源的文本到音频生成模型TANGOFLUX。

标题：TANGOFLUX：英伟达与新加坡科技设计大学联手，开源高效文本到音频生成模型

引言：

在人工智能领域，文本到音频的转换技术正日益成熟，为多媒体内容创作、教育培训等领域带来了革命性的变革。近日，英伟达（NVIDIA）与新加坡科技设计大学（SUTD）联合推出了一款名为TANGOFLUX的开源文本到音频生成模型，其高效的音频生成能力和优异的性能引起了业界的广泛关注。这款模型不仅能在短时间内生成高质量的音频，还具备根据用户偏好进行优化的能力，为音频内容创作开辟了新的可能性。

主体：

TANGOFLUX：高效音频生成的突破

TANGOFLUX并非横空出世，而是基于双方在AI音频领域的长期研究积累。这款模型拥有约5.15亿个参数，在单个A40 GPU上仅需3.7秒即可生成长达30秒的44.1kHz音频，这一速度在同类模型中堪称佼佼者。这种高效的生成能力，使得TANGOFLUX在实际应用中具有极高的价值，能够大幅缩短音频内容制作的时间，降低成本。

核心技术：多重创新驱动性能提升

TANGOFLUX的卓越性能并非偶然，而是得益于其背后一系列先进的技术原理：

变分自编码器（VAE）： TANGOFLUX利用VAE将音频波形编码为潜在表示，并从这些潜在表示中重构原始音频，实现了音频数据的有效压缩和解压缩。
文本和时长嵌入： 模型通过文本编码和时长编码来控制生成音频的内容和时长，实现了对音频的可控生成，使得用户可以根据文本描述精确控制音频的输出。
FluxTransformer架构： TANGOFLUX基于FluxTransformer块构建，结合了Diffusion Transformer (DiT) 和 Multimodal Diffusion Transformer (MMDiT) 的优势，能够有效地处理文本提示并生成高质量的音频。
流匹配（Flow Matching, FM）： 模型采用流匹配框架，学习从简单先验分布到复杂目标分布的映射，从而生成高质量的音频样本。
CLAP-Ranked Preference Optimization (CRPO)： 这是TANGOFLUX的核心创新之一。CRPO框架基于迭代生成偏好数据对，优化音频对齐。它利用CLAP模型作为代理奖励模型，评估音频输出的质量，并根据文本和音频的联合嵌入来构建偏好数据集，进行偏好优化。
直接偏好优化（DPO）： TANGOFLUX将DPO应用于流匹配，通过比较获胜和失败的音频样本来优化模型，进一步提高了音频与文本描述的对齐度。

这些技术的综合应用，使得TANGOFLUX在音频生成速度、质量和可控性方面都达到了新的高度。

开源：推动音频AI的普及

英伟达和新加坡科技设计大学选择开源TANGOFLUX的代码和模型，无疑是推动音频AI技术普及的重要一步。通过GitHub和HuggingFace等平台，研究人员和开发者可以轻松获取TANGOFLUX的资源，进行进一步的研究和应用开发。这种开放的姿态，将加速音频AI技术的创新和发展，为各行各业带来更多的可能性。

应用场景：潜力无限

TANGOFLUX的应用场景非常广泛，包括但不限于：