**上海AI实验室书生·浦语2.0正式开源，回归语言建模本质**
2023年2月28日，上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式发布新一代大语言模型书生·浦语2.0。书生·浦语2.0的核心理念在于回归语言建模的本质，致力于通过提高语料质量及信息密度，实现模型基座语言建模能力获得质的提升。
书生·浦语2.0采用自监督学习范式，通过对海量中文文本进行预训练，学习语言的内在规律和知识。模型具有强大的语言理解和生成能力，能够完成各种自然语言处理任务，如文本分类、机器翻译、问答生成、对话生成等。
书生·浦语2.0的一个重要特点是支持200K token的上下文，一次性接收并处理约30万汉字的输入内容，准确提取关键信息，实现长文本中“大海捞针”。这使得书生·浦语2.0能够在长文本中进行更深入的分析和理解，从而更好地完成各种自然语言处理任务。
书生·浦语2.0的另一个重要特点是采用了创新的语料质量评估方法，通过对语料的质量进行评估，筛选出高质量的语料进行预训练，从而提高模型的性能。同时，书生·浦语2.0还采用了信息密度提升技术，通过对语料进行压缩和过滤，提高语料的信息密度，从而进一步提升模型的性能。
书生·浦语2.0的发布标志着我国在自然语言处理领域取得了新的突破。书生·浦语2.0将为自然语言处理领域的研究和应用提供新的动力，并有望在未来推动自然语言处理技术取得更大的进展。
书生·浦语2.0目前已正式开源，研究人员和开发者可以免费使用该模型进行研究和开发。书生·浦语2.0的开源将进一步促进自然语言处理领域的研究和应用，并有望推动自然语言处理技术取得更大的进展。
英语如下：
News
【来源】https://www.thepaper.cn/newsDetail_forward_26040295
Views: 1