Meta开源工具来袭，SAM 2.1和Lingua代码库发布

Meta 开源工具大放送：SAM 2.1 上新，Lingua 代码库发布，助力 AI 研究发展

Meta 今天宣布了一系列新的研究和模型，旨在推动高级机器智能（AMI）的发展，并促进开放科学和可复现性。 这些研究和模型涵盖了 AMI 的各个构建模块，包括感知、语音和语言、推理、具身智能和对齐。其中，最引人注目的包括 SAM 2.1的发布、开源多模态语言模型 Spirit LM 的推出、Layer Skip 的优化以及 Lingua 代码库的发布。

SAM 2.1：更强大的分割模型

SAM 2 (Segment Anything Model)是一款强大的图像分割模型，已在跨学科研究中得到广泛应用，包括医学图像、气象学等。Meta 今天发布了性能更强的 SAM 2.1，它引入了额外的数据增强技术，模拟了 SAM 2 之前遇到的视觉相似物体和小物体的存在。 此外，通过在较长的帧序列上训练模型并对空间和物体指针内存的位置编码进行调整，SAM 2.1 显著提高了遮挡处理能力。

Spirit LM：语音和文本的无缝集成

大型语言模型 (LLM) 经常被用于构建文本到语音 pipeline，但这个过程会损害语音表达。为了解决这一限制，Meta 构建了开源多模态语言模型 Spirit LM，实现了语音和文本的无缝集成。 Spirit LM 在语音和文本数据集上使用词级交织方法进行训练，以实现跨模态生成。Meta 开发了两个版本的 Spirit LM，以展示文本模型的语义生成能力和语音模型的表达能力。

Layer Skip：加速 LLM 推理

大型语言模型的计算和内存要求很高，会消耗大量能源并带来高昂的经济成本。为了应对这些挑战，Meta 提出了一种端到端解决方案 ——Layer Skip，以加快 LLM 在新数据上的生成时间，而无需依赖专门的硬件或软件。 Layer Skip 通过执行其层的子集并利用后续层进行验证和校正来加速LLM。Meta 今天发布了 Layer Skip 的推理代码和微调检查点，Llama 3、Llama 2 和 Code Llama 等模型已经使用 Layer Skip 进行了优化，可以将模型性能提升高达 1.7 倍。

Lingua：轻量级且独立的代码库

Lingua 是一个轻量级且独立的代码库，旨在助力大规模训练语言模型。Lingua 将使人们更容易将概念转化为实际实验，并优先考虑简单性和可复用性以加速研究。 高效且可定制的平台还允许研究人员以最少的设置快速测试他们的想法。

其他开源工具

除了上述工具外，Meta 还发布了其他开源工具，包括：

MEXMA：新型预训练跨语言句子编码器
自学习评估器：无需人工标注生成合成偏好数据

Meta致力于开放科学和可复现性，这些开源工具的发布将为研究人员提供更多机会，推动 AI 研究的发展。 这些工具的应用将有助于解决现实世界中的问题，并为人类带来更多益处。

参考文献：

SAM 2.1 项目链接：https://github.com/facebookresearch/sam2
Spirit LM 论文链接：https://arxiv.org/abs/2402.05755
Spirit LM 代码链接：https://github.com/facebookresearch/spiritlm
Spirit LM 模型权重：https://ai.meta.com/resources/models-and-libraries/spirit-lm-downloads/
Layer Skip 论文链接：https://arxiv.org/abs/2404.16710
Layer Skip 代码链接：https://github.com/facebookresearch/LayerSkip
*Layer Skip 权重链接：https://huggingface.co/collections/facebook/layerskip-666b25c50c8ae90e1965727a
Lingua 项目链接：https://github.com/facebookresearch/lingua
MEXMA 论文链接：https://arxiv.org/abs/2409.12737
MEXMA 模型链接：https://huggingface.co/facebook/MEXMA
MEXMA 代码链接：https://github.com/facebookresearch/mexma
自学习评估器论文链接：https://arxiv.org/abs/2408.02666
自学习评估器代码链接：https://github.com/facebookresearch/RAM/tree/main/projects/selftaughtevaluator
自学习评估器合成数据：https://huggingface.co/datasets/facebook/Self-taught-evaluator-DPO-data
自学习评估器模型链接：https://huggingface.co/facebook/Self-taught-evaluator-llama3.1-70B