北京，2024年2月26日 – 在人工智能领域，尤其是在视频生成技术方面，中国科技企业正加速追赶国际领先水平。昨日，阿里云正式宣布开源其视觉生成基座模型万相2.1（Wan），这一举动不仅为全球开发者提供了宝贵的资源，也标志着国产视频生成大模型在技术实力上取得了显著突破。万相2.1的开源，无疑将加速国内乃至全球视频生成技术的发展，并为相关产业带来深远的影响。
开源：拥抱开放，加速创新
阿里云此次开源万相2.1，采用了最为宽松的Apache2.0协议，这意味着开发者可以自由地使用、修改和分发该模型，无需担心商业限制。开源内容包括14B和1.3B两个参数规格的全部推理代码和权重，同时支持文生视频和图生视频任务。开发者可以通过Github、HuggingFace和魔搭社区等平台下载体验。
开源是一种强大的创新模式，它能够汇聚全球开发者的智慧，共同推动技术进步。通过开源万相2.1，阿里云希望能够吸引更多的开发者参与到视频生成技术的研究和应用中来，共同探索这一领域的无限可能。
降低门槛，普惠AI
值得关注的是，万相2.1的1.3B版本在消费级显卡上即可运行，仅需8.2GB显存即可生成480P视频。这一特性极大地降低了视频生成技术的门槛，使得更多的开发者和研究人员能够参与到相关研究中来。
在过去，训练和运行大型AI模型需要昂贵的硬件设备和强大的计算资源，这使得许多小型企业和个人开发者望而却步。而万相2.1的1.3B版本，则打破了这一限制，让更多的人能够体验到AI的魅力，并利用其解决实际问题。
促进学术研究，推动技术进步
开源对于学术研究具有重要的意义。通过开源万相2.1，阿里云为研究人员提供了一个强大的工具，可以用于探索视频生成技术的各种可能性。研究人员可以基于万相2.1进行二次开发，改进算法，优化性能，并将其应用于各种实际场景中。
此外，开源还可以促进学术交流。研究人员可以通过开源社区分享他们的研究成果，与其他研究人员进行交流和合作，共同推动视频生成技术的进步。
技术：性能卓越，挑战Sora
万相2.1在技术上取得了显著的突破，其性能表现令人瞩目。据介绍，14B万相模型在指令遵循、复杂运动生成、物理建模、文字视频生成等方面表现突出。在评测集VBench中，万相2.1以总分86.22%的成绩超越Sora、Luma、Pika等国内外模型，位列榜首。
这一成绩表明，万相2.1在视频生成技术方面已经达到了国际领先水平，甚至在某些方面超越了竞争对手。
VBench：权威评测，实力证明
VBench是一个权威的视频生成模型评测平台，它能够全面评估模型的各项性能指标，包括视频质量、运动流畅性、场景真实性等。在VBench评测中取得优异成绩，是对万相2.1技术实力的有力证明。
1.3B版本：小身材，大能量
1.3B版本的万相2.1不仅超过了更大尺寸的开源模型，甚至还接近部分闭源模型。这一结果表明，万相2.1在算法优化方面取得了显著的进展，能够在有限的计算资源下实现高性能。
架构：创新设计，高效稳定
万相视频模型在架构设计上进行了创新，采用了主流的DiT架构和线性噪声轨迹Flow Matching范式，并研发了高效的因果3D VAE、可扩展的预训练策略等。
DiT架构：强大的生成能力
DiT（Diffusion Transformer）是一种基于Transformer的扩散模型，它在图像和视频生成领域取得了显著的成果。DiT架构具有强大的生成能力，能够生成高质量、高分辨率的图像和视频。
Flow Matching：稳定高效的训练
线性噪声轨迹Flow Matching是一种新型的训练方法，它能够提高训练的稳定性和效率。Flow Matching通过将噪声轨迹建模为线性函数，简化了训练过程，并提高了模型的泛化能力。
因果3D VAE：高效的视频编码
为了高效支持任意长度视频的编码和解码，万相在3D VAE的因果卷积模块中实现了特征缓存机制，从而代替直接对长视频端到端的编解码过程，实现了无限长1080P视频的高效编解码。
3D VAE（Variational Autoencoder）是一种用于视频编码的深度学习模型。因果卷积是一种特殊的卷积操作，它能够保证视频帧之间的时序关系。特征缓存机制能够有效地减少计算量，提高编码效率。
空间降采样压缩：减少内存占用
通过将空间降采样压缩提前，万相在不损失性能的情况下进一步减少了29%的推理时内存占用。这一优化使得万相能够在资源有限的设备上运行，并生成高质量的视频。
应用：前景广阔，赋能产业
视频生成技术具有广阔的应用前景，它可以应用于电影制作、游戏开发、广告创意、教育培训等多个领域。万相2.1的开源，将加速视频生成技术在各个领域的应用，并为相关产业带来新的发展机遇。
电影制作：降低成本，提高效率
在电影制作领域，视频生成技术可以用于生成特效、场景和角色。通过使用视频生成技术，电影制作人员可以降低制作成本，提高制作效率，并创造出更加逼真、震撼的视觉效果。
游戏开发：丰富内容，提升体验
在游戏开发领域，视频生成技术可以用于生成游戏场景、角色动画和过场动画。通过使用视频生成技术，游戏开发者可以丰富游戏内容，提升游戏体验，并创造出更加精美、生动的游戏世界。
广告创意：个性化定制，精准营销
在广告创意领域，视频生成技术可以用于生成广告视频、宣传片和产品演示。通过使用视频生成技术，广告创意人员可以根据客户的需求，个性化定制广告内容，实现精准营销，提高广告效果。
教育培训：互动式学习，个性化辅导
在教育培训领域，视频生成技术可以用于生成教学视频、演示动画和虚拟实验。通过使用视频生成技术，教师可以创建互动式学习环境，提供个性化辅导，提高学生的学习兴趣和学习效果。
挑战与展望
尽管万相2.1在技术上取得了显著的突破，但视频生成技术仍然面临着许多挑战。例如，如何生成更加逼真、自然的视频，如何控制视频的内容和风格，如何提高视频生成的效率和稳定性等。
数据质量：高质量数据是关键
视频生成模型的训练需要大量的高质量数据。然而，获取高质量数据是一项具有挑战性的任务。未来的研究需要关注如何获取和利用高质量数据，以提高视频生成模型的性能。
算法优化：持续改进是根本
视频生成算法的优化是一个持续的过程。未来的研究需要关注如何改进视频生成算法，以提高视频质量、运动流畅性、场景真实性等。
算力需求：降低成本是目标
视频生成模型的训练和推理需要大量的计算资源。未来的研究需要关注如何降低视频生成模型的算力需求，使其能够在资源有限的设备上运行。
伦理问题：防范滥用是底线
视频生成技术的发展也带来了一些伦理问题。例如，如何防止视频生成技术被用于制作虚假信息、诽谤他人等。未来的研究需要关注视频生成技术的伦理问题，并制定相应的规范和标准。
展望未来，随着技术的不断进步，视频生成技术将会在各个领域发挥越来越重要的作用。我们有理由相信，在不久的将来，视频生成技术将会彻底改变我们的生活和工作方式。
结论
阿里云开源万相2.1，是中国人工智能领域的一项重要进展。它不仅为全球开发者提供了宝贵的资源，也标志着国产视频生成大模型在技术实力上取得了显著突破。万相2.1的开源，无疑将加速国内乃至全球视频生成技术的发展，并为相关产业带来深远的影响。
然而，我们也应该清醒地认识到，视频生成技术仍然面临着许多挑战。未来的研究需要关注数据质量、算法优化、算力需求和伦理问题等方面，以推动视频生成技术的持续发展。
我们期待着更多的中国科技企业能够加入到人工智能的创新浪潮中来，共同推动中国人工智能技术的发展，为构建更加美好的未来贡献力量。
参考文献：
- IT之家：阿里万相视频生成大模型宣布开源：8.2GB 显存就能跑，测试超越 Sora. https://www.ithome.com/0/752/955.htm
- Github：Wan-Video. https://github.com/Wan-Video
- HuggingFace：Wan-AI. https://huggingface.co/Wan-AI
- 魔搭社区：Wan-AI. https://modelscope.cn/organization/Wan-AI
致谢：
感谢阿里云团队为开源万相2.1所做的努力，感谢IT之家提供的信息来源，感谢所有为视频生成技术发展做出贡献的人们。
Views: 0