Meta大模型记忆升级，参数扩至1280亿

好的，根据您提供的资料，我将以一名资深新闻记者的视角，撰写一篇关于Meta探索大模型记忆层的新闻报道。

标题：Meta突破性研究：1280亿参数记忆层赋能大模型，性能超越MoE

引言：

在人工智能领域，大型语言模型（LLM）的参数规模竞赛仍在持续。然而，仅仅依靠增加参数数量来提升模型性能的传统路径正面临计算和能源成本的巨大挑战。近日，Meta公司的一项突破性研究为大模型的发展开辟了新的方向：通过引入可扩展的记忆层，不仅大幅提升了模型性能，还在计算效率上取得了显著优势。这项研究不仅挑战了传统的大模型架构，也为未来人工智能的发展指明了新的道路。

主体：

1. 传统大模型困境：参数规模与计算成本的博弈

长期以来，预训练语言模型通过在其参数中编码大量信息来提升性能。随着模型规模的增加，它们能够更准确地回忆和使用这些信息。然而，对于主要将信息编码为线性矩阵变换权重的密集深度神经网络而言，参数大小的扩展直接导致计算和能源需求的急剧增加。这使得模型训练和部署的成本变得异常高昂，限制了其在实际应用中的普及。

2. 记忆层：一种更高效的信息存储与检索机制

Meta的研究人员指出，语言模型需要学习的一个重要信息子集是简单关联。虽然前馈网络原则上（在足够规模下）可以学习任何函数，但使用联想记忆（associative memory）会更高效。记忆层（memory layers）正是基于这一理念，它使用可训练的键值查找机制向模型添加额外的参数，而不会显著增加计算量（FLOPs）。从概念上讲，稀疏激活的记忆层补充了计算量大的密集前馈层，提供了廉价地存储和检索信息的专用容量。

3. Meta的研究：将记忆层扩展至1280亿参数

Meta的这项研究将记忆层从概念验证阶段推向了实际应用。研究人员通过改进的记忆层增强了语言模型的性能，并在下游任务中取得了显著的成果。这项研究的核心创新在于：

可扩展的记忆层架构： 记忆层类似于注意力机制，通过可训练的键值查找机制进行信息检索。与传统的注意力层不同，记忆层中的键和值是可训练参数，而非激活参数，并且通常具有更大的规模。
并行记忆： 为了解决记忆层参数量庞大带来的计算挑战，研究人员在多个GPU上并行化嵌入查找和聚合，实现了记忆值的分片存储。
共享记忆： 为了提高模型对记忆的利用效率，研究人员在所有记忆层中使用共享记忆参数池，并引入了输入相关门控机制，进一步提升了训练性能。

4. 实验结果：性能超越密集模型和MoE

实验结果表明，通过改进的记忆层增强的语言模型在下游任务中的性能优于计算预算两倍以上的密集模型，以及在计算和参数相当的专家混合（MoE）模型。具体来说：

在固定记忆大小的情况下，Memory模型的性能显著优于密集基线模型，并且在QA任务上的表现通常与密集参数数量为其两倍的模型相当。
Memory+（具有3个记忆层）的性能进一步提升，其表现通常介于计算能力高出其2到4倍的密集模型之间。
在相同参数量的情况下，PEER架构的表现与Memory模型相似，但落后于Memory+。
MOE模型的表现远不及Memory变体。
随着记忆大小的增加，Memory+模型的性能持续提升。在6400万个键（1280亿个记忆参数）下，1.3B Memory模型的性能接近Llama2 7B模型，后者使用了10倍以上的FLOPs。

5. 意义与展望：大模型发展的新方向

Meta的这项研究表明，通过引入可扩展的记忆层，可以显著提升大模型的性能，并在计算效率上取得突破。这项研究不仅为大模型的发展提供了新的思路，也为未来人工智能的应用带来了新的可能性。未来，我们有望看到更多基于记忆层的大模型涌现，它们将以更低的成本，实现更高的性能，从而推动人工智能技术在各个领域的广泛应用。

结论：

Meta的这项研究为大模型的发展开辟了一条新的道路，通过引入可扩展的记忆层，不仅提升了模型性能，还在计算效率上取得了显著优势。这项研究不仅挑战了传统的大模型架构，也为未来人工智能的发展指明了新的方向。我们有理由相信，随着技术的不断进步，基于记忆层的大模型将在未来的人工智能领域发挥越来越重要的作用。

参考文献：