近日，香港中文大学（深圳）的一支科研团队开发了一种新型评测方法，有望成为数学大模型检验的重要基准。该团队通过引入求解器，将大模型回答的数学模型交给求解器解决，进而通过比对求解器的答案，成功判断数学模型的正确性。这一方法相当于为考生准备了高级计算器，只需输入方程就能得出准确答案，从而判断方程是否正确。
评测集Mamo的构建与应用
该团队构建了一款名为Mamo的评测集，能够结合不同的求解器评测大模型的建模能力。未来，这一评测集可能会成为数学大模型检验的重要基准，用于测试新训练大模型的建模能力。同时，评测集的出现也让评测中间过程成为可能，有望带动运筹大模型的发展。
研究初衷与方法
谈及本次课题的初衷，研究人员表示在讨论AI for math，特别是讨论大模型for math时，他们重点讨论了使用大模型做定理证明的任务。他们发现，采用现有的形式化定理证明工具，可以自动验证证明过程的正确性，从而确定大模型的证明是否正确。然而，用自动化的方式判断一段数学证明的正确性是比较困难的。因此，他们想知道在其他任务中，是否存在和形式化定理证明工具一样的东西？如果有的话，能否让他们以简单的方式判断大模型的答案是否正确？
于是，他们想到了求解器。当给定目标后，求解器可以帮助运行出对应问题/对应方程的解。通过对不同解答的比对，就可以判断中间过程，也就是判断数学模型的正确性。这一方法不仅提高了大模型的准确性，还填补了数学模型评估中的一个重要空白。
评价体系的改进
一直以来，人们对于大模型的数学能力的比较，一直是在最终结果（即一道题的最终答案）上，但却缺乏对于中间过程的关注。打个比方，就是像数学考试解答题的判卷中，只考虑最后的答案正不正确，而忽略了中间的解题过程。但是，中间的解题过程和答案一样重要。因此，课题组希望把这个评价体系拆开，不再只是关注最终答案，而是关注中间的解题过程。于是，便开展了本次研究并发表了相关论文。
数据扩充与未来展望
相关论文以《Mamo: 一个带有求解器的数学建模基准》（Mamo: a Mathematical Modeling Benchmark with求解器s）为题发在arXiv上。下一步，他们将扩充数据，同时探索能够适配Mamo的不同求解器种类，以及构建相应的评测集。
参考资料
- https://arxiv.org/pdf/2405.13144
通过引入求解器，该团队开发的Mamo评测集不仅提高了数学大模型的准确性，还填补了评估中的一个重要空白，有望成为数学大模型检验的重要基准。未来，随着数据的扩充和不同求解器种类的探索，Mamo评测集的应用前景更加广阔。
Views: 0