近日，Nature杂志发布了一项来自印度科学学院、得克萨斯农工大学和爱尔兰利莫瑞克大学的研究成果，提出了一种名为“线性对称的自选择式14 bit的动力学分子忆阻器”的新型忆阻器。这一创新技术有望将昂贵的大型语言模型（LLM）的使用成本大幅降低。
OpenAI近期发布的ο1系列模型展示了超越博士水平的强大推理性能，但高昂的使用成本使得其普及受限。为了降低LLM的使用成本，研究者们正在探索各种方法，包括提升模型效率、优化硬件以及开发新型硬件体系。
忆阻器作为一种电子元件，在电路中可以限制或调节电流的流动，并记忆之前通过的电荷量。它具备非易失性特性，在断电情况下仍能保持记忆。此次Nature杂志的研究成果提出的新型忆阻器，在核心的矩阵运算上能实现远超电子器件效率的14 bit模拟计算，能耗量比电子计算机低460倍。
该研究团队发明了一种分子忆阻器交叉开关矩阵，可集成在电路板中。这种矩阵展现了14比特的模拟精度、近乎理想的线性和对称权重更新，以及每个电导层级的一步式可编程性。实验结果显示，该结构具有很好的非易失性和稳健性。
通过使用这种新型忆阻器，研究团队在VMM实验中取得了显著成果，其矩阵乘法的准确度不依赖于对称性，这对于处理非结构化数据至关重要。此外，他们还展示了使用矩阵乘法重建“创生之柱”图像的案例，证明了该技术的实用性。
该研究团队表示，这种基于分子的技术的潜力巨大，通过将其集成到CMOS电路中，可以大幅超越最先进的加速器的性能。如果未来开发的大模型能够运行在基于此类技术开发的硬件上，LLM的使用成本必定能大幅降低。
这项研究成果为LLM的普及提供了新的可能性，有望推动人工智能技术的发展。更多研究细节、数据和代码请访问原论文链接：https://www.nature.com/articles/s41586-024-07902-2。
Views: 0