快手5M数据模型，超越OpenAI？或：快手新模型：5M数据力压OpenAI？或：5M数据胜OpenAI？快手AI新突破！

快手开源OASIS：500万数据量，代码嵌入模型性能超越OpenAI

引言： 在浩瀚的代码海洋中，如何快速精准地找到所需代码片段，一直是困扰程序员的难题。快手Kwaipilot团队近日开源的OASIS（Optimized Augmentation Strategy for Improved code Search）代码嵌入模型，给出了一个令人振奋的答案：仅使用500万tokens的数据，其性能便超越了OpenAI的同类模型，在多个基准测试中取得了领先地位。这标志着代码表征技术取得了显著突破，也预示着软件开发效率的提升将进入一个新的阶段。

主体：

一、代码表征：理解代码的“灵魂”

随着软件规模的爆炸式增长，传统的关键词搜索已无法满足现代软件开发的需求。代码表征（Code Embedding）技术应运而生。它将代码片段转化为向量表示，使机器能够理解代码的语义，从而实现更智能、更高效的代码检索。这就好比给每段代码赋予了一个独特的“指纹”，方便计算机进行快速比对和检索。Code Embedding 模型已成为代码检索、仓库级代码问答、代码补全等场景中的关键技术。

二、 OASIS：低数据量，高性能的秘诀

OASIS的成功并非偶然。它在数据量、模型架构和训练策略上都进行了创新：

数据精益求精： OASIS仅使用了500万tokens的数据进行训练，远低于其他先进模型动辄数十亿甚至上百亿tokens的数据量。这极大地降低了训练成本和资源消耗。
仓库级程序分析： 不同于以往仅关注单个代码片段的方法，OASIS结合南方科技大学Arise实验室的技术，引入了仓库级别的程序分析。通过分析函数调用关系和依赖结构，OASIS能够更好地理解代码在更大上下文中的语义，从而提升模型的理解能力。
OASIS-instruct数据合成算法： 快手团队开发的OASIS-instruct数据增强策略能够自动生成高质量的训练样本，这些样本包含代码和自然语言的对应关系，使模型能够学习到更细腻的语义差异。
融合式损失函数： OASIS采用了一种创新的融合式损失函数，将多目标优化策略应用于模型训练，确保模型在保持传统Code Embedding模型能力的同时，能够更准确地区分相似样本，并识别细微的语义差异。

三、性能测试：全面超越SOTA

在CSN、CoSQA和AdvTest等权威的代码检索基准测试中，OASIS展现出了卓越的性能：

CSN (CodeSearchNet): 包含超过200万个代码-文档对，涵盖多种编程语言。
CoSQA (Code Search Question Answering): 包含2万多个自然语言查询和代码的标注数据集，模拟真实开发场景。
AdvTest: 专门设计用于测试代码搜索任务难度的测试集，包含近2万个测试样本。

OASIS在这些数据集上均超越了OpenAI-Ada-002等现有模型，尤其是在模型尺寸仅为CodeFuse-CGE-Small三分之一的情况下，平均检索成功率仍旧领先。这充分证明了OASIS在低数据量下的高性能优势。

四、应用场景：赋能软件开发全流程

OASIS的应用场景非常广泛，包括：

智能代码检索： 精准定位最佳实践代码片段。
代码推荐： 预测开发者编码意图，主动推荐API调用序列和功能实现方案。
智能代码审查： 识别功能相似但实现细节不同的代码片段，辅助代码审查。
*代码语义理解：自动提取遗留系统或第三方库中的关键程序逻辑，生成功能描述和调用关系图谱。

五、开源与未来：共建代码智能生态

快手Kwaipilot团队已将OASIS完整开源，开发者可以通过Hugging Face(https://huggingface.co/Kwaipilot/OASIS-code-1.3B)访问和使用。未来，团队将继续投入代码智能领域的研究，发布更强大的模型，开源详细的技术报告，并拓展模型在更多场景下的应用。

结论：

OASIS的出现，标志着代码表征技术迈向了新的高度。其低数据量、高性能的特性，为降低代码检索和理解的成本提供了新的可能性。 OASIS的开源，也为全球开发者提供了宝贵的资源，将进一步推动代码智能领域的发展，加速软件开发效率的提升。我们期待在OASIS的“绿洲”中，见证代码智能的蓬勃发展。

参考文献:

[1] Gu X, Zhang H, Kim S. Deepcode search[C]//Proceedings of the 40th International Conference on Software Engineering. 2018: 933-944. (Note: Additional references would be included if more sources were cited in the original article.)

>>> Read more <<<