港中文联手Adobe开源透明背景视频技术

引言：

在人工智能领域，视频生成技术正以前所未有的速度发展。近日，香港中文大学、Adobe研究院、香港科技大学以及智能摩尔联合开源了一项名为TransPixar的突破性技术，该技术能够生成带有透明背景的RGBA视频，为视觉特效、广告、教育等领域带来革命性的变革。这项技术的开源，无疑将加速相关领域的创新步伐，为内容创作者提供更强大的工具。

主体：

TransPixar：透明视频生成的全新范式

TransPixar并非简单的视频生成工具，而是一套基于扩散变换器（DiT）架构的先进方法，它扩展了预训练的RGB视频模型，使其能够生成包含透明度信息的RGBA视频。这意味着，用户不仅可以生成高质量的彩色视频，还能控制视频中元素的透明度，实现诸如烟雾、反射等复杂视觉效果。

这项技术的关键在于，它引入了alpha特定的token，并结合LoRA（Low-rank Adaptation）微调技术，实现了RGB和alpha通道的联合生成。这种方法不仅保持了原始RGB模型的高质量，还确保了alpha通道的精确度和一致性。TransPixar还优化了注意力机制，使得模型能够在有限的训练数据下，生成多样化且对齐度高的RGBA视频。

技术细节：深入解析TransPixar的核心

扩散变换器（DiT）架构： TransPixar的核心是基于DiT模型，该模型利用自注意力机制捕捉视频帧之间的长程依赖关系，从而实现对视频内容的精细建模和生成。这使得生成的视频在时间维度上更加连贯和自然。
alpha通道生成： 通过在DiT模型中引入alpha特定的token，TransPixar能够与RGB token联合生成，从而输出包含透明度信息的RGBA视频。这一创新使得透明效果的生成成为可能。
LoRA微调： 基于LoRA的微调方案，TransPixar对alpha token的投影进行微调，在保持RGB生成质量的同时，优化alpha通道的生成。这种微调方法既高效又有效。
注意力机制优化： TransPixar系统地分析并优化了RGBA生成过程中的注意力机制，包括Text-attend-to-RGB、RGB-attend-to-Text、RGB-attend-to-Alpha等。通过调整注意力计算，实现了RGB和alpha通道之间的强对齐和高质量生成。
数据集扩展与训练策略： 在有限的RGBA视频数据集上进行训练，TransPixar通过合理的数据预处理和训练策略，提高了模型对多样化场景和对象类型的适应能力，增强了生成内容的多样性和一致性。