AMD 近日发布博客文章，宣布其 Ryzen AI 300 系列移动处理器在本地大语言模型（LLM）性能方面取得突破性进展。据称，锐龙 AI 9 HX 375 处理器在 LM Studio 中进行测试，其 Token 生成速度比英特尔酷睿 Ultra 7258V 处理器快 27%，展现出强劲的 AI 算力。
LM Studio 是一款基于 llama.cpp 的桌面应用，允许用户本地下载和托管 LLM，并通过 AVX2 指令进行 CPU 加速。 AMD 在测试中使用了 Meta Llama 3.2 的 1b 和 3b 模型、微软 Phi 3.1 4k Mini Instruct 3b 模型、谷歌Gemma 2 9b 和 Mistral 的 Nemo 2407 12b 模型，涵盖了不同规模和应用场景的 LLM。测试结果显示，AI 9 HX 375 在所有测试模型中都比 Ultra 7 258V 更快，无论是速度还是开始输出文本的时间，优势最大时领先幅度达到了 27%。
值得注意的是，英特尔 Ultra 7 258V 处理器与 HX 375 并不完全对等。 258V 属于中高端产品，而 HX375 属于旗舰型号。因此，AMD 直接对比似乎有点不公平。然而，这一测试结果仍然表明，AMD 在 AI 算力方面取得了显著进步，其 Ryzen AI 300 系列处理器在本地 LLM 应用中展现出强劲的竞争力。
除了 CPU 加速，LM Studio 还支持 GPU 加速功能，并支持 Vulkan API。 在启用 GPU 加速后，AI 9 HX 375 比不使用 GPU 加速时快了 20%。这表明，AMD 处理器与 GPU 的协同工作可以进一步提升本地LLM 的性能，为用户提供更流畅、高效的 AI 应用体验。
AMD 在 AI 领域的持续投入和突破，为其在未来竞争中赢得优势奠定了基础。 随着 LLM 技术的不断发展，对 AI 算力的需求将持续增长。AMD 的 Ryzen AI 300 系列处理器凭借其强大的性能和对 AI 应用的优化，有望在本地 LLM 市场占据重要地位，并为用户带来更便捷、高效的 AI 应用体验。
然而，我们也需要注意到，AMD 在此次测试中选择与英特尔中高端产品进行对比，这可能存在一定的偏见。 此外，LM Studio 的测试结果并不代表所有 LLM 应用的性能表现。在实际应用中，不同 LLM 模型和应用场景对处理器的要求可能会有所不同。
总而言之，AMD 锐龙 AI 9 HX 375 处理器在本地 LLM 性能方面取得的突破，展现出其在 AI 领域的技术实力和未来发展潜力。 随着 AI 技术的不断发展，AMD 将继续致力于提升其处理器在 AI 应用中的性能，为用户带来更智能、更便捷的 AI 体验。
参考文献：
- AMD 博客文章：https://www.amd.com/en/blog/amd-ryzen-ai-300-series-mobile-processors-deliver-breakthrough-performance-for-local-large-language-models
- IT之家新闻：https://www.ithome.com/0/724/443.htm
免责声明： 本文仅供参考，不构成任何投资建议。
Views: 0