六年磨一剑：上交大图像合成工具箱 libcom 的诞生
引言
在人工智能的浪潮中，图像合成技术正以前所未有的速度发展，它赋予了我们创造、编辑和改造图像的能力，并为虚拟现实、艺术创作、电商广告等领域带来了无限可能。而上海交通大学牛力团队历经六年，倾注了数百万资金和六届学生的智慧，打造了图像合成工具箱libcom，为这一领域的发展贡献了宝贵的工具和资源。
六年的接力：从数据到模型，再到工具箱
牛力团队自 2018 年底开始涉足图像合成领域，他们的研究成果涵盖了数据、模型、论文和工具箱四个方面。团队精心打造了 10 个原创数据集，每个数据集的图片都经过 2-3 人的严格检查，以确保质量。他们还开发了 30 多个原创模型，并发表了 20 多篇论文，这些成果为 libcom 的诞生奠定了坚实的基础。
libcom 的诞生并非一蹴而就，它凝聚了六届学生的智慧和汗水。团队成员们不断迭代和优化，最终在 2023 年底推出了这款开箱即用的图像合成工具箱。libcom 的 logo 采用半人马的形象，象征着图像合成的核心目标：融合不同的图像元素。
libcom 的功能：全方位覆盖图像合成
libcom 集成了十几项图像合成功能，涵盖了图像合成的方方面面，从评估合成图的质量到得到高质量合成图：
- getcompositeimage: 通过剪切粘贴、alpha 融合和泊松融合等传统方法，实现简单的图像融合。
- OPAScoreModel:评估前景物体放置的合理性，输出分数介于 0 到 1 之间，分数越高表示越合理。
- FOPAHeatMapModel: 生成热力图，帮助用户找到合理的前景物体放置位置。
- color_transfer: 将背景颜色迁移到前景，实现简单场景的图像和谐化。
- ImageHarmonizationModel: 调整前景光照，使其与背景和谐。
- PainterlyHarmonizationModel: 调整前景风格，使其与艺术背景一致。
- HarmonyScoreModel: 评估前景和背景的和谐程度。
libcom的优势：易用、高效、可定制
libcom 的设计理念是尽量无需训练微调，对任意图片开箱即用。团队还为用户提供了训练代码，方便用户根据自己的数据集微调模型，以发挥 libcom 的全部潜力。
未来展望：libcom 的应用和发展
libcom 已经获得了广泛的认可，截至 2024 年 10 月，它已经被下载安装了 1.2 万次。未来，libcom 将继续迭代更新，不断扩展功能，并探索更广泛的应用场景。
结论
libcom 的诞生是上海交通大学牛力团队六年努力的成果，它为图像合成领域提供了宝贵的工具和资源。相信 libcom 将在未来发挥更大的作用，推动图像合成技术的进一步发展，并为各行各业带来更多创新和便利。
参考文献
- Making Images Real Again: A Comprehensive Survey on Deep Image Composition. arXiv:2106.14490v5.
- libcom: https://github.com/bcmi/libcom
Views: 0