波士顿/匹兹堡 [日期] – 麻省理工学院（MIT）、哈佛大学和卡内基梅隆大学的研究人员近日联合推出了一种名为Lyra的全新生物序列建模架构，该模型在效率和性能上实现了重大突破，有望加速生物学研究和应用。相关研究成果已于2025年3月20日发表在预印本平台arXiv上。
深度学习近年来在生物序列建模领域取得了显著进展，卷积神经网络（CNN）和Transformer等架构通过捕捉局部和长距离依赖关系，极大地提升了模型性能。然而，这些模型往往需要大量的计算资源和庞大的数据集，这限制了它们在生物学领域的广泛应用，尤其是在数据资源有限的情况下。
为了解决这一难题，研究团队另辟蹊径，基于上位性的生物学框架，开发了Lyra模型。上位性是指基因之间相互作用，影响表型表达的现象。Lyra模型能够有效地模拟序列与功能之间的复杂关系，并在100多项广泛的生物任务中表现出色，在蛋白质适应度景观预测、生物物理特性预测、肽工程应用、RNA结构分析、RNA功能预测和CRISPR gRNA设计等多个关键领域实现了最先进（SOTA）的性能。
Lyra模型最引人注目的特点在于其惊人的效率。与当前动辄需要大量GPU资源的基础模型相比，Lyra的参数量大幅减少，最高可达12万分之一，推理速度也显著提升。研究人员表示，使用Lyra，他们能够在不到两小时的时间内，仅用两块GPU就完成生物序列建模任务的训练和运行。
“我们希望通过Lyra模型，让更多研究人员能够参与到生物序列建模的研究中来，即使他们没有大量的计算资源，”该研究的负责人之一，来自麻省理工学院的[研究人员姓名]表示。“Lyra的低资源需求和高性能，将极大地推动生物学研究的进展。”
Lyra模型的核心在于其独特的架构设计。它结合了状态空间模型（SSM）和投影门控卷积（PGC）两种技术。SSM能够有效地捕捉长距离依赖关系，而PGC则擅长局部特征提取。通过将两者结合，Lyra模型能够高效地模拟上位性相互作用，并实现O(N log N)的扩展。
具体来说，Lyra模型由两个关键组件组成：PGC块和具有深度卷积（S4D）的状态空间层。PGC块通过将输入序列投影到中间维度，应用深度1D卷积和线性投影，以及通过元素乘法重新组合特征来处理输入序列。S4D则利用对角状态空间模型，使用矩阵A、B和C计算卷积核，通过加权指数项有效捕获序列范围的依赖关系。
研究人员在论文中指出，Lyra模型在蛋白质适应度景观预测和深度突变扫描等任务中的表现优于基于Transformer的模型。它在各种蛋白质和核酸建模应用中实现了SOTA精度，包括无序预测、突变影响分析和RNA依赖性RNA聚合酶检测，同时保持比现有大规模模型明显更少的参数数量和更低的计算成本。
Lyra模型的发布，无疑为生物序列建模领域注入了新的活力。它不仅证明了在计算资源有限的情况下，依然可以构建高性能的模型，也为未来的研究方向提供了新的思路。随着Lyra模型的进一步发展和应用，我们有理由相信，它将为生物学研究带来更多的突破和发现。
参考文献：
Views: 0