上海人工智能实验室推出AI搜索框架MindSearch，颠覆传统搜索模式
上海，中国 – 上海人工智能实验室近日宣布推出全新AI搜索框架MindSearch，该框架结合了大规模信息搜集和整理能力，并利用InternLM2.5 7B对话模型，能够在3分钟内从300多个网页中搜集有效信息，完成传统搜索引擎需要人类3小时才能完成的任务。MindSearch的出现，标志着人工智能技术在搜索领域取得了重大突破，有望颠覆传统的搜索模式。
MindSearch的核心优势在于其模拟人类思维的搜索机制。它采用多智能体框架，先规划后搜索，并通过动态图构建技术模拟人类解决问题时的思维过程，逐步细化问题并探索解决方案。这种方式不仅提高了信息的准确性和完整性，也使MindSearch能够处理更加复杂的用户查询。
具体而言，MindSearch拥有以下主要功能：
- 复杂查询处理: 将复杂的用户查询分解为多个更小的、可管理的子问题，以便更精确地搜索相关信息。
- 动态图构建: 通过构建有向无环图（DAG），模拟人类解决问题时的思维过程，逐步细化问题并探索解决方案。
- 并行信息检索: 基于多代理架构，实现多个子问题的并行搜索，提高信息检索的速度和效率。
- 分层检索策略: 采用从粗到细的检索策略，先广泛搜集信息，再选择最有价值的页面进行深入阅读和信息提取。
- 上下文管理: 在多代理系统中有效管理上下文信息，确保在信息检索和整合过程中保持信息的连贯性和完整性。
- 响应生成: 综合检索到的信息，生成准确、全面且深入的响应，以回答原始的复杂查询。
MindSearch在性能方面也展现出显著优势。在封闭集和开放集问答任务中，通过上述功能显著提高回答的质量，包括深度和广度。此外，MindSearch生成的响应更符合人类的偏好，相比于其他AI搜索引擎，MindSearch提供的解答更受人类评估者的青睐。
MindSearch的技术原理主要基于以下几个关键组件：
- WebPlanner: 作为高级规划器，负责将用户查询分解为多个子问题，并通过动态图构建过程（有向无环图，DAG）来模拟多步骤信息寻求的心智模型。
- WebSearcher: 执行分层信息检索，根据WebPlanner分配的子问题，从互联网上检索并汇总有价值的信息。
- 多代理协作: WebPlanner和WebSearcher作为独立的代理，分别处理问题分解和信息检索任务，实现任务的并行处理和信息的有效整合。
- 动态图构建: 通过代码生成和执行，动态构建问题解决的逻辑图，使LLM能够逐步细化问题并检索相关信息。
- 上下文管理: 在多代理之间进行有效的上下文状态转移，确保在信息检索和整合过程中不丢失关键信息。
MindSearch的应用场景非常广泛，包括：
- 学术研究: 研究人员可以用MindSearch快速搜集和整理大量文献资料，以支持他们的研究工作。
- 市场分析: 企业可以用MindSearch搜集市场数据，分析竞争对手信息，以及监控行业趋势。
- 新闻报道: 新闻工作者可以用MindSearch来搜集新闻事件的背景信息，快速撰写报道。
- 法律研究: 法律专业人士可用MindSearch搜集相关法律条文、案例和判例，以辅助法律分析和案件准备。
- 技术支持: 技术支持团队可以用MindSearch快速找到解决技术问题的方法和步骤。
MindSearch项目已全栈开源，用户可以免费体验和本地部署。该项目的开源性质将加速AI搜索技术的普及和应用，推动搜索领域的技术进步，并为人类获取信息提供更加便捷、高效的途径。
项目地址:
- 项目官网: https://mindsearch.netlify.app/
- 在线Demo: https://mindsearch.openxlab.org.cn/
- GitHub仓库: https://github.com/InternLM/mindsearch
- arXiv技术论文: https://arxiv.org/abs/2407.20183
MindSearch的出现，标志着人工智能技术在搜索领域取得了重大突破，有望颠覆传统的搜索模式。未来，随着人工智能技术的不断发展，MindSearch有望在搜索领域发挥更加重要的作用，为人类提供更加智能、高效的信息获取体验。
【source】https://ai-bot.cn/mindsearch/
Views: 0