上海，2024年4月3日 – 在人工智能领域，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术一直是研究的热点。近日，上海交通大学人工智能学院联合上海人工智能实验室，在参数高效微调领域取得重大突破，推出了一种全新的参数冗余微调范式，并基于此范式设计了一种创新性的微调算法：NoRM (Noisy Reduction with Reserved Majority)。该研究成果已被 ICLR 2025 接收为 Spotlight 论文，预示着参数高效微调领域即将迎来新的发展方向。
这项研究由复旦大学、上海交通大学和上海人工智能实验室的团队共同完成。第一作者江书洋是复旦大学和上海人工智能实验室联合培养的博士二年级学生，目前在实验室担任见习研究员，师从上海交通大学人工智能学院王钰教授。通讯作者为王钰教授与张娅教授。
LoRA的瓶颈与参数冗余微调的诞生
低秩适配器（LoRA）作为一种流行的参数高效微调方法，能够在有监督微调中以约 5% 的可训练参数实现全参数微调 90% 的性能。然而，研究人员发现，在 LoRA 训练过程中，可学习参数不仅学习到了知识，也学习到了数据集中的幻觉噪声。为了避免幻觉噪声的影响，大多数 LoRA 参数的可学习秩被设置为一个较小的值（如 8 或 16），这在一定程度上限制了 LoRA 的性能上限。
为了解决这个问题，研究团队提出了参数冗余微调范式。该范式允许使用普通的 LoRA 训练方式进行训练，并通过特定的方法在将 LoRA 参数合并回基模型参数前将冗余部分去除，从而提升模型性能。
NoRM算法：降噪与保留并举
基于参数冗余微调范式，研究团队设计了一种名为 NoRM 的创新性微调算法。NoRM 的核心思想是：通过奇异值分解 (SVD) 将 LoRA 参数分解为主成分和冗余成分，并利用一种名为 Sim-Search 的方法，根据子空间相似度动态决定主成分的数量。
具体来说，NoRM 首先使用随机奇异值分解来提取 delta 参数的主成分，然后使用 Sim-Search 方法基于裁剪后的 delta 权重和预训练权重间的子空间相似度决定拥有最小幻觉成分的通道数量。最后，NoRM 计算主要列子空间来近似特征空间，并通过一系列数学变换重构近似处理后的低秩参数。
实验验证：NoRM 的卓越性能
为了验证 NoRM 的有效性，研究团队在指令微调、数学推理和代码生成等多个任务上进行了实验。实验结果表明，NoRM 在这些任务上的一致性均强于 LoRA 和其他参数冗余微调方法，实现了显著的性能提升。
例如，在指令微调实验中，NoRM 在所有基模型上相比于最好的 PEFT 方法有着约 5 个百分点的提升。与之前最强的冗余微调方法 TAIA 相比，也有着 1~3 个百分点的提升。
展望未来
NoRM 的成功为参数高效微调领域带来了新的思路。通过引入参数冗余微调范式，并结合创新的算法设计，NoRM 能够在降低幻觉噪声的同时，充分利用冗余参数提升模型性能。这项研究成果有望推动参数高效微调技术在更多领域的应用，并为人工智能的发展做出贡献。
相关链接：
参考文献：
- 论文标题：FINE-TUNING WITH RESERVED MAJORITY FOR NOISE REDUCTION (请自行根据论文格式补充完整引用)
（完）
Views: 0