北京 – 在人工智能领域，大型语言模型（LLMs）正日益成为驱动创新的关键力量。然而，要充分发挥LLMs的潜力，尤其是在需要结合外部知识的复杂任务中，仍然面临诸多挑战。为了解决这一问题，英特尔实验室近日宣布推出一款名为RAG-FiT（原名RAG Foundry）的开源框架，旨在通过微调（fine-tuning）来增强LLMs在检索增强生成（RAG）任务中的表现。
RAG-FiT的发布，无疑为AI开发者们提供了一个强大的工具，能够更高效地构建和优化基于LLMs的RAG应用。该框架基于模块化设计，涵盖了数据创建、训练、推理和评估四大功能模块，为用户提供了一个端到端的解决方案。
RAG-FiT的核心功能与优势
-
数据创建与处理： RAG-FiT支持从Hugging Face Hub或本地源加载数据集，并提供数据过滤、归一化、聚合、信息检索、模板化提示生成等多种预处理功能。处理后的数据以一致的格式保存，方便后续的训练和推理。
-
训练： 该框架采用参数高效微调（PEFT）技术，如LoRA，能够以较低的计算成本对模型进行优化。用户可以自定义学习率、优化器、批量大小等训练参数，并将训练后的模型推送到Hugging Face Hub。
-
推理： RAG-FiT支持在处理后的数据集上生成预测结果，并提供批量推理功能，以提高效率。
-
评估： 框架提供多种评估指标，如EM、F1、ROUGE、BERTScore等，并允许用户自定义评估指标。同时，支持对每个样本进行局部评估，以及对整个数据集进行全局评估。
技术原理：检索增强与模块化设计
RAG-FiT的核心在于检索增强。它通过检索工具从外部知识库中获取与输入问题相关的上下文信息，例如基于向量的检索系统（如Haystack、Qdrant）或其他检索框架。然后，将检索到的上下文信息注入到LLMs的输入中，帮助模型更好地理解问题背景，从而生成更准确、更有依据的答案。
此外，RAG-FiT采用模块化设计，将数据处理、训练、推理和评估等功能模块化，方便用户根据自身需求进行定制和扩展。框架还使用Hydra配置工具实现层次化配置，支持用命令行覆盖配置值，方便远程作业运行。
RAG-FiT的应用场景
RAG-FiT的应用场景非常广泛，包括：
- 问答系统： 基于检索外部知识库增强语言模型，为用户提供更准确、更相关的答案，适用于医学、法律等专业领域。
- 文本生成： 结合最新背景信息生成高质量文本，如新闻报道、创意写作，提升内容的时效性和准确性。
- 知识图谱增强： 检索知识图谱中的实体和关系，生成与图谱一致的文本，提高知识表示的准确性和可解释性。
- 多语言生成： 跨语言检索知识库，生成多语言文本，满足多语言环境下的内容生成需求。
- 文档摘要： 检索文档关键信息生成摘要，提高摘要的准确性和信息覆盖率，适用于科研、商业等领域。
开源与未来展望
RAG-FiT的开源，意味着更多的开发者可以参与到框架的改进和优化中来，共同推动RAG技术的发展。英特尔实验室希望通过RAG-FiT，能够降低RAG技术的门槛，让更多的企业和开发者能够利用LLMs来解决实际问题。
项目地址：
- 项目官网：https://intellabs.github.io/RAG-FiT/
- GitHub仓库：https://github.com/IntelLabs/RAG-FiT
- arXiv技术论文：https://arxiv.org/pdf/2408.02545
RAG-FiT的发布，标志着英特尔在人工智能领域的又一次重要投入。随着RAG技术的不断发展和完善，我们有理由相信，LLMs将在未来的各个领域发挥更大的作用。
Views: 0