跨越鸿沟：图神经网络与语言模型联手预测催化剂吸附能
引言： 催化剂设计是现代化学工业的基石，而准确预测催化剂表面吸附分子的能量，对于高效筛选新催化剂至关重要。传统方法依赖于计算成本高昂的密度泛函理论（DFT）模拟。近年来，机器学习，特别是图神经网络（GNN），为加速这一过程提供了新的途径。然而，GNN严重依赖于精确的原子坐标，限制了其应用范围。本文报道了卡内基梅隆大学研究人员的一项突破性进展：他们开发了一种图辅助多模态预训练框架，成功地将GNN的强大预测能力与语言模型处理文本信息的优势结合起来，显著提高了催化剂吸附能预测的精度，相关成果发表于《Nature Machine Intelligence》。
主体：
吸附能是描述催化剂性能的关键反应性描述符。准确预测吸附能，对于利用机器学习进行高通量催化剂筛选至关重要。GNN在计算催化剂系统能量方面表现出色，但其输入依赖于精确的原子空间坐标和拓扑结构，获取这些数据往往费时费力。相比之下，基于Transformer的语言模型可以直接处理人类可读的文本描述，无需详细的原子位置信息。然而，这些语言模型在预测吸附能方面的精度通常较低。
卡内基梅隆大学的研究团队巧妙地解决了这一难题。他们提出了一种名为“图辅助预训练”的多模态框架，将GNN与语言模型的优势完美融合。该框架的核心在于一个自监督的预训练过程，它将GNN的潜在空间与基于RoBERTa编码器的语言模型对齐。具体来说，他们利用EquiformerV2作为图编码器，对催化剂系统的原子结构进行编码，同时使用RoBERTa对相应的文本描述进行编码。在预训练阶段，两种编码器的输出在共享的潜在空间中进行对齐，从而将GNN学习到的关于原子结构的信息转移到语言模型中。
随后，该模型进入微调阶段，使用DFT计算得到的能量标签进行监督学习。值得注意的是，微调阶段完全依赖于文本输入，无需图表示。研究人员进行了两类下游推理：一是用经过图辅助预训练的模型预测从机器学习弛豫结构导出的测试集字符串的能量；二是利用大型语言模型（LLM）生成结构信息，再用训练好的模型进行预测，以验证模型在缺乏精确结构信息下的预测能力。
实验结果表明，图辅助预训练显著提高了模型的预测精度。平均绝对误差（MAE）降低了7.4%到9.8%，这表明该框架成功地将GNN的知识转移到了语言模型中，提高了后者对吸附能的预测能力。更重要的是，利用LLM生成结构信息进行预测的实验结果也显示出良好的准确性，证明了该方法在实际应用中的潜力。研究人员将结构信息转换为包含吸附物化学符号、催化剂化学符号和米勒指数以及吸附构型描述的文本字符串，这种文本表示方式避免了对精确原子坐标的依赖。
结论：
这项研究成功地打破了GNN与语言模型之间的壁垒，为催化剂筛选提供了新的、更有效的方法。图辅助多模态预训练框架显著提高了吸附能预测的精度，并展现了在缺乏精确结构信息情况下进行预测的潜力。这项工作不仅推动了机器学习在催化剂设计中的应用，也为其他领域的多模态学习提供了新的思路。未来的研究可以进一步优化模型结构，探索更强大的LLM，并将其应用于更广泛的催化体系，以实现更准确、更高效的催化剂筛选。
参考文献：
(待补充论文链接及其他引用资料)
Views: 0