港大MiniRAG：小模型RAG部署新突破

港大推出MiniRAG：小模型也能高效检索，开启边缘AI新篇章

香港，2024年5月16日 – 香港大学的研究团队近日发布了一项名为MiniRAG的创新技术，旨在解决小型语言模型（SLMs）在资源受限环境下高效部署的难题。这项新型检索增强型生成（RAG）系统，凭借其独特的语义感知异构图索引和轻量级拓扑增强检索方法，不仅在性能上媲美大型语言模型（LLMs），更大幅降低了存储和计算资源的需求，为边缘计算和隐私敏感应用开辟了新的可能性。

引言：小模型，大作为

在人工智能领域，大型语言模型（LLMs）凭借其强大的自然语言处理能力，在诸多应用中大放异彩。然而，LLMs的巨大模型体积和高计算需求，使其难以在资源有限的设备上部署，如智能手表、智能音箱等。香港大学的MiniRAG应运而生，它巧妙地利用小型语言模型的优势，通过创新的技术架构，实现了在资源受限环境下高效的知识检索和信息生成。

MiniRAG：技术原理与核心优势

MiniRAG的核心在于其独特的异构图索引机制和轻量级拓扑增强检索方法。具体来说：

语义感知的异构图索引： MiniRAG构建了一个由文本块节点（Vc）和实体节点（Ve）组成的异构图。文本块节点保留了原始文本的上下文完整性，而实体节点则提取了文本中的关键语义元素，如事件、地点、时间等。实体节点之间通过实体-实体连接（Eα）建立联系，捕捉语义关系和时空依赖，而实体-文本块连接（Eβ）则将实体与其对应的上下文联系起来。这种结构化的表示方式，使得MiniRAG能够更准确地理解文本的语义，并快速定位到相关信息。
轻量级拓扑增强检索： MiniRAG采用轻量级的句子嵌入模型，将用户查询映射到图索引数据，并利用查询驱动的推理路径发现机制，在异构图中构建推理路径。这种方法结合了基于嵌入的相似性搜索和图结构的拓扑信息，能够有效地识别与查询相关的高质量实体连接，从而提取逻辑相关的推理链。最终，MiniRAG通过实体-文本块连接，检索与推理路径相关的文本块，并选择最相关的文本块用于后续的生成任务。

MiniRAG的优势在于：

高效的知识检索： 基于异构图索引，MiniRAG能够快速准确地从大量数据中检索出与用户查询最相关的知识。
轻量级的模型兼容性： 专为小型语言模型设计，显著降低了对计算资源和存储空间的需求。
强大的推理能力： 借助查询引导的推理路径发现机制，MiniRAG能够处理复杂的、多步骤的推理任务。
广泛的应用场景： MiniRAG适用于即时通讯、个人内容管理、本地文档检索、隐私敏感应用以及边缘设备等多种场景。

实验结果与未来展望

实验结果表明，MiniRAG在性能上能够与大型语言模型方法相媲美，同时仅需25%的存储空间。这一突破性的成果，预示着小型语言模型在边缘计算和隐私敏感应用领域将拥有广阔的发展前景。

MiniRAG的开源项目地址为https://github.com/HKUDS/MiniRAG/，其技术论文已发布在arXiv上，地址为https://arxiv.org/pdf/2501.06713。

结论：边缘AI的未来已来

MiniRAG的发布，不仅展示了香港大学在人工智能领域的创新实力，更预示着边缘AI时代的到来。通过降低对计算资源和存储空间的需求，MiniRAG使得人工智能技术能够更广泛地应用于各种场景，为用户带来更便捷、高效、个性化的服务。未来，我们有理由相信，MiniRAG将在边缘计算、隐私保护等领域发挥越来越重要的作用，推动人工智能技术的普及和发展。

参考文献

HKUDS. (2024). MiniRAG: Efficient Retrieval-Augmented Generation for Small Language Models. https://github.com/HKUDS/MiniRAG/
HKUDS. (2024). MiniRAG: Efficient Retrieval-Augmented Generation for Small Language Models. https://arxiv.org/pdf/2501.06713

（完）

>>> Read more <<<