北京 – 2月18日,中国科技公司昆仑万维宣布开源其研发的SkyReels-V1视频生成模型以及表情动作可控算法SkyReels-A1,此举标志着中国在人工智能短剧创作领域迈出了重要一步,或将重塑行业格局。
SkyReels-V1是目前开源视频生成模型中参数规模最大的模型之一,同时支持“图生视频”功能。据昆仑万维介绍,该模型能够实现影视级别的人物微表情表演和电影级的光影美学,支持33种细腻表情与超过400种自然动作的组合。与此同时,SkyReels-A1算法则专注于提升人物表情的控制精度,支持高保真微表情还原和更大幅度的人物表情驱动。
解决行业痛点,赋能短剧创作
昆仑万维方面表示,此次开源旨在解决当前全球AI视频生成模型存在的诸多痛点,例如不开源、难以应用、费用高昂以及用户体验不佳等问题。通过开源SkyReels-V1和SkyReels-A1,昆仑万维希望将技术成果回馈给开源社区和AIGC(人工智能生成内容)用户,并表示这仅仅是其在AI视频方向开源道路上的起点,未来还将陆续开源更多面向AI短剧的优秀研究成果。
AI视频和短剧的生产形式已经得到了市场的验证,拥有巨大的商业想象空间。昆仑万维于2024年8月上线的AI短剧创作平台SkyReels,旨在降低用户线上拍剧的成本,并利用AI能力解决传统短剧内容供给的难题。
技术细节:影视级微表情与电影级光影
SkyReels-V1的核心优势在于其对人物表演细节的精细控制。为了大幅提升表情生成和肢体生成的可控表演效果,SkyReels-V1不仅针对表演细节进行了打标,还对情绪、场景和表演诉求等进行了处理,并利用千万级别的高质量好莱坞级别数据进行训练微调。
据介绍,SkyReels-V1能够生成大笑、怒吼、惊讶、哭泣等多种微表情,高度还原真人情感表达。即使在大幅度的肢体动作下,生成的微表情也能完美贴合人物肢体表演。此外,该模型还能够带来电影级的光影美学,每一帧画面在构图、演员站位和相机角度等方面都具备电影级的质感。
性能优化:推理效率大幅提升
昆仑万维还针对SkyReels-V1的推理效率进行了优化,推出了自研推理优化框架“SkyReels-Infer”。该框架能够大幅提升推理效率,在544p分辨率下,基于单台4090显卡只需80秒即可完成推理。同时,该框架还支持分布式多卡并行,以及Context Parallel、CFG Parallel和VAE Parallel等技术。
行业影响与未来展望
昆仑万维此次开源AI短剧视频生成模型,无疑将为中国乃至全球的AI短剧行业带来深远影响。通过降低创作门槛,提高创作效率,SkyReels-V1有望激发更多创意,推动AI短剧内容的繁荣发展。
随着技术的不断进步和应用场景的不断拓展,AI视频生成技术将在传媒、娱乐、教育等领域发挥更大的作用,为人们带来更加丰富多彩的视听体验。
参考资料:
- SkyReels-V1 GitHub: https://github.com/SkyworkAI/SkyReels-V1
- SkyReels-A1 GitHub: https://github.com/SkyworkAI/SkyReels-A1
- SkyReels-A1 技术报告: https://skyworkai.github.io/skyreels-a1.github.io/report.pdf
- SkyReels 官方地址: skyreels.ai
(完)
Views: 0