北大、上海AI实验室等联合推出DiffSensei：AI漫画生成框架，让创作更可控
北京/上海/新加坡 – 在人工智能技术日新月异的今天，漫画创作领域也迎来了新的变革。由北京大学、上海AI实验室以及南洋理工大学的研究人员联合开发的DiffSensei，一款全新的AI漫画生成框架，正以其强大的可控性和创新性，吸引着业界的广泛关注。这款框架不仅能生成高质量的黑白漫画面板，更重要的是，它实现了对漫画中角色外观、表情、动作以及场景布局的精确控制，为漫画家和内容创作者带来了前所未有的创作自由。
DiffSensei：融合多模态AI的漫画创作新引擎
DiffSensei的核心创新在于其巧妙地整合了基于扩散的图像生成器和多模态大型语言模型（MLLM）。这种结合使得框架能够理解文本提示，并将其转化为视觉元素，从而实现对漫画内容的高度定制化。用户只需提供角色图像和文本描述，DiffSensei就能生成符合要求的漫画面板，并支持对角色的外观、表情和动作进行精细调整。
框架引入的掩码交叉注意力机制，是实现精确布局控制的关键。通过复制关键和值矩阵，并在每个交叉注意力层中创建独立的角色交叉注意力层，DiffSensei能够精确控制角色和对话的布局，无需直接的像素传输。同时，对话布局编码技术，通过可训练的嵌入层表示对话布局，将对话嵌入与噪声潜在表示相结合，实现了对话位置的编码，进一步提升了漫画生成的精确性和可控性。
MangaZero数据集：为多角色、多状态漫画生成提供有力支撑
为了支持多角色、多状态的漫画生成任务，DiffSensei团队还引入了MangaZero数据集。这是一个大规模的、专门为漫画生成任务设计的标注数据集，为框架的训练和优化提供了强大的数据支撑。MangaZero数据集的引入，使得DiffSensei能够更好地处理复杂场景下的角色互动和布局，生成更具连贯性和视觉吸引力的漫画面板。
技术细节：深入解析DiffSensei的运作原理
DiffSensei的技术原理可以概括为以下几个关键点：
- MLLM作为文本兼容的身份适配器： MLLM接收源角色特征和面板标题作为输入，生成与文本兼容的目标角色特征，动态调整角色状态。
- 多角色特征提取： 利用CLIP和图像编码器提取局部图像特征和图像级特征，避免直接从参考图像编码细粒度空间特征。
- 扩散损失和语言模型损失： 在训练MLLM时，计算语言模型损失（LM Loss）约束输出格式，均方误差损失（MSE Loss）指导基于面板标题的目标角色特征，计算扩散损失确保编辑后的特征与图像生成器保持一致。
DiffSensei的应用前景：漫画创作、教育培训、商业营销多点开花
DiffSensei的应用场景非常广泛，不仅可以应用于漫画创作领域，还可以为教育培训、电影游戏、广告营销等多个行业提供创新解决方案：
- 漫画创作： 艺术家和漫画家可以利用DiffSensei快速生成漫画页面，将脚本转化为视觉叙事，大幅提高创作效率。
- 个性化内容生成： 用户可以根据自己的故事想法，上传角色图片，生成个性化的漫画内容，用于个人娱乐或社交媒体分享。
- 教育和培训： 在教育领域，DiffSensei可以帮助创建与教学内容相匹配的视觉故事，帮助学生更好地理解和记忆复杂的概念。
- 电影和游戏预制： 在电影制作和游戏设计中，DiffSensei可以作为预制工具，快速生成故事板或概念艺术，便于前期创意和视觉开发。
- 广告和营销： 营销人员可以利用DiffSensei创建吸引人的漫画广告，用新颖的方式吸引目标受众。
项目地址和更多信息
DiffSensei的项目官网为：jianzongwu.github.io/projects/diffsensei。
GitHub仓库地址为：https://github.com/jianzongwu/DiffSensei。
arXiv技术论文地址为：https://arxiv.org/pdf/2412.07589。
结语：AI驱动的漫画创作新时代
DiffSensei的出现，标志着AI在漫画创作领域的应用进入了一个新的阶段。它不仅为漫画家提供了强大的创作工具，也为普通用户提供了个性化内容生成的可能。随着技术的不断发展，我们有理由相信，AI将会在未来的漫画创作中扮演更加重要的角色，为我们带来更多精彩的视觉体验。DiffSensei的成功，也为其他AI驱动的创作工具的开发提供了宝贵的经验和启示。
参考文献
- Wu, J., et al. (2024). DiffSensei: Controllable Black-and-White Manga Panel Generation via Diffusion Models and Multi-Modal Large Language Models. arXiv preprint arXiv:2412.07589.
（完）
Views: 0