旧金山 – 近日，人工智能领域迎来一项突破性研究。MetaGPT开源社区团队提出了一种名为“原子化思考”（Atom of Thoughts，简称AoT）的全新推理框架，该框架旨在解决大语言模型（LLM）在推理过程中对历史信息的过度依赖问题，从而提高计算效率和推理的稳健性。这一研究成果不仅得到了AI领域知名学者克里斯托弗·曼宁的赞赏，更引发了业界对于LLM测试时扩展（test-time scaling）的新思考。
“长链推理”的困境与“原子思维”的曙光
近年来，LLM凭借训练时扩展（train-time scaling）取得了显著的性能提升。然而，随着模型规模和数据量的增长逐渐触及瓶颈，测试时扩展成为了进一步释放LLM潜力的关键。传统的推理方法，如思维链（CoT）、思维树（ToT）以及OpenAI的o1/o3和DeepSeek-R1等推理模型，在推理过程中过度依赖完整的历史信息，导致计算资源浪费，同时冗余信息也可能干扰有效推理。
具体来说，基于链的方法每进行一步推理，都需要回顾已有的完整链条；基于树的方法则需要追踪祖先和同层节点；基于图的方法允许节点任意连接，进一步加重了历史信息依赖，导致计算复杂度上升。
相比之下，人类在解决复杂问题时，更倾向于将问题拆解为独立的子问题，逐步解决并整合后续推理所需的信息，而不是执着于保留每一步的细节。这种“原子化思考”启发了AoT的设计，使其专注于当前状态的推理，摒弃历史依赖。
AoT：马尔可夫过程中的“原子”跃迁
AoT的核心思想是将复杂的推理过程构建为一个马尔可夫过程（Markov process）。在这个过程中，问题被分解为一系列轻量的“原子问题”，这些问题的执行仅依赖自身，摆脱了对历史信息的依赖。
AoT的一次状态转移由两个核心步骤组成：
- 拆解（Decomposition）： 将当前问题分解为一个基于依赖关系的有向无环图（DAG），其中节点代表子问题，边表示它们之间的依赖关系。
- 收缩（Contraction）： DAG以规则化的方式区分子问题：无入边的节点被定义为独立子问题，有入边的节点被定义为依赖子问题。独立子问题的信息转化为已知条件，依赖子问题的描述则被整合为一个更简洁的独立问题，从而形成新的原子状态。
通过不断迭代拆解和收缩，问题被逐步简化，最终求解轻量的原子问题来回答原问题。由于马尔可夫过程从原问题初始化，所有状态均与原问题维持等价关系。
实验结果：AoT的卓越性能与广泛兼容性
实验结果表明，AoT不仅是一个独立的推理框架，更是一个强大的插件。其每一次状态转移得到的原子状态中的问题都可以无缝嵌入现有的推理手段，无论是提示策略、推理框架、代理工作流还是多智能体代理系统，AoT都能通过预处理简化输入问题，同时保持答案等价性，来优化后续推理效率和效果。
在MATH数据集上的性能比较中，AoT（d=1）结合FoT（n=2）在保持较低计算需求的同时，达到了稍优于FoT（n=8）的性能。这充分证明了AoT在提高推理效率方面的潜力。
此外，AoT的原子性设计天然契合多跳推理场景的需求。例如，以gpt-4o-mini作为执行模型的AFlow，展现出了强大的推理能力。
研究团队与未来展望
AoT的作者团队来自MetaGPT开源社区，第一作者为香港科技大学（广州）的滕枫蔚，通讯作者为DeepWisdom创始人兼CEO吴承霖。团队还包括DeepWisdom研究员于兆洋、中国人民大学的石泉、香港科技大学（广州）的博士生张佳钇和助理教授骆昱宇。
该研究的论文已在arXiv上发布，项目代码也已开源。
随着LLM技术的不断发展，如何提高推理效率、降低计算成本将成为重要的研究方向。AoT的提出为解决这一问题提供了一种新的思路，有望推动AI推理技术迎来一场效率革命。
参考文献：
- Teng, F., Yu, Z., Shi, Q., Zhang, J., Luo, Y., & Wu, C. (2025). Atom of Thoughts for Markov LLM Test-Time Scaling. arXiv preprint arXiv:2502.12018.
https://arxiv.org/abs/2502.12018 - AoT项目GitHub地址: https://github.com/qixucen/atom
Views: 0