北京报道 – 字节跳动豆包大模型语音团队近日发布了一款名为SeedFoley的端到端视频音效生成模型，旨在为视频创作者提供智能化的音效解决方案。这款AI工具能够根据视频内容自动生成匹配的音效，在音效的准确性、同步性和匹配度上表现出色，为视频创作领域带来新的可能性。
技术解析：时空特征融合与扩散模型优化
SeedFoley的核心技术在于其独特的视频编码器和音频表征模型。该视频编码器采用快慢特征组合的方式，在高帧率上提取帧间的局部运动信息，在低帧率上提取视频的语义信息。这种设计使得模型能够在低计算资源下实现8fps的帧级别视频特征提取，从而实现精细的动作定位。最终，通过Transformer结构融合快慢特征，实现视频的时空特征提取。
在音频处理方面，SeedFoley摒弃了传统的基于梅尔频谱的VAE模型，而是采用原始波形作为输入，经过编码后得到1D的表征。这种方法保留了高频信息，使得生成的音效更加细腻。据悉，SeedFoley采用32kHz的采样率，每秒钟的音频提取到32个音频潜在表征，有效提升了音频在时序上的分辨率。
此外，SeedFoley还采用了Diffusion Transformer框架，通过优化概率路径上的连续映射关系，实现从高斯噪声分布到目标音频表征空间的概率匹配。与传统扩散模型依赖马尔可夫链式采样的特性不同，SeedFoley通过构建连续变换路径，有效减少了推理步数，降低了推理成本。
功能亮点：智能、精准、多样
SeedFoley的功能亮点主要体现在以下几个方面：
- 智能生成音效： SeedFoley能够精确提取视频帧级视觉信息，通过分析多帧画面信息，精准识别视频中的发声主体及动作场景，比如节奏感强烈的音乐瞬间，电影中的紧张情节，能精准卡点，营造出身临其境的逼真体验。
- 区分音效类型： SeedFoley可智能区分动作音效和环境音效，显著提升视频的叙事张力和情感传递效率。
- 支持多种视频长度： SeedFoley能够支持可变长度的视频输入，在音效准确性、音效同步性和音效匹配度等指标上都取得了领先水平。
应用场景：从Vlog到游戏，赋能多元创作
SeedFoley的应用场景十分广泛，可以应用于：
- 生活Vlog： 为个人Vlog添加逼真的环境音效，如街头的嘈杂声、咖啡馆的背景音乐等。
- 短片制作： 为短片添加与情节匹配的动作音效和环境音效，增强观众的沉浸感。
- 游戏制作： 为游戏视频添加逼真的音效，如战斗音效、环境音效等，提升游戏的体验感。
- 视频后期制作： 在视频后期制作中，SeedFoley可以快速生成与视频内容高度匹配的音效，节省后期制作的时间和成本。
- 广告视频： 为广告视频添加吸引人的音效，提升广告的吸引力和传播效果。
- 教育视频： 为教育视频添加合适的音效，增强观众的学习兴趣和注意力。
使用方法：即梦平台一键生成
用户可以通过访问即梦平台（字节跳动旗下的AI创作平台）来体验SeedFoley的功能。在即梦上选择视频生成功能，生成视频内容后，选择“AI音效”功能，系统会自动为视频生成3个专业级音效方案，用户可以预览并选择最适合视频内容的音效方案。
行业影响：AI赋能音效创作，降低门槛
SeedFoley的推出，标志着AI技术在音效创作领域的应用进入了一个新的阶段。它不仅能够提高音效创作的效率，降低创作门槛，还能够为视频创作者提供更多的创作灵感和可能性。
随着AI技术的不断发展，我们有理由相信，未来将会有更多像SeedFoley这样的AI工具涌现，为内容创作领域带来更多的创新和变革。
参考文献：
- AI工具集. (n.d.). SeedFoley – 字节推出的端到端视频音效生成模型. Retrieved from [原网页链接]
Views: 0