浪潮的元 1.0 语言模型有 2457 亿个参数，已经用 5 TB 的数据集进行了训练。其并行 GPU 计算和零样本和少样本学习的出色性能使其能够生成难以与人工生成的内容区分开来的语言内容。

浪潮人工智能研究院(Inspur AI Research)于2021年9月28日在北京举行的大型人工智能服务器模型研讨会上发布了语言模型元1.0。它的发布时间为世界上最大的语言模型，拥有 2457 亿个参数和 5 TB 的数据集。元 1.0 在零样本和少样本学习方面展示了令人印象深刻的性能，以及生成语言内容的能力，这些内容通常与人类生成的内容无法区分。arXiv上发表了一篇详细介绍元 1.0 的开发和优化及其相关测试结果的学术论文。

浪潮从一开始就将元1.0构建为中文模型，与英语相比，它需要一种独特的开发方法。这包括处理特定于中文的挑战，例如在没有空格的情况下对句子进行标记，以及缺乏先前的高质量中文语料库可供使用。

为了处理所需的处理能力，在元 1.0 的基本设计架构中加入了一个大规模分布式训练系统，训练分布在 2128 个 GPU 上。

Yuan 1.0 的分布式训练系统使其在中国语言理解评估基准（CLUE）的 ZeroCLUE 和 FewClue 中均名列前茅。在 ZeroCLUE 中，元 1.0 的得分比之前的记录高 18.3%，在 6 个任务中排名第一：科学文献主题分类、新闻分类、产品分类、自然语言推理、成语阅读理解和名词-代词关系。在 FewCLUE 中，元 1.0 在 4 个任务中排名第一：科学文献主题分类、产品分类、科学文献摘要和关键词识别、名词-代词关系。值得注意的是，在成语阅读理解任务中，元1.0超越了人类的能力。

元 1.0 非常擅长自然语言生成 (NLG) 任务。它能够生成可以通过图灵测试的书面内容。人类参与者只能在不到 50% 的时间内将元 1.0 生成的对话、小说续篇、新闻文章、诗歌和对联与人类生成的内容区分开来。

元 1.0 的卓越性能和先进的 NLG 功能源于三个主要领域的多项优化：模型架构、结果校准和数据集创建。

模型架构

在模型架构方面，元 1.0 中的大规模分布式训练结合了三种不同的并行策略：张量、管道和数据并行。为了最大限度地提高使用计算资源的有效性，该模型考虑了将提供最佳结果的参数，并将计算资源的优先级分配给这些参数。这些架构优化允许使用 4095 PetaFlop 天的处理能力计算 2457 亿个参数，同时仅维持 1.64 的训练损失。

结果校准

Inspur AI Research 注意到，在上下文学习中存在对模板句子和标签的偏见。这种偏差主要源于数据集中类之间的分布不平衡、具有一定顺序的少数样本以及训练语料库中具有不同频率的标签。为了最大限度地减少偏差的影响，浪潮开发了一种用于上下文学习的双管齐下的校准方法：概率计算的校准和标签的扩展。随着时间的推移，这导致学习准确性的显着提高。

数据集创建

浪潮开发了基于 Spark 的海量数据过滤系统 (MDFS)，用于清理和过滤原始数据，并训练基于 BERT 的模型来选择高质量的文本样本。MDFS 由三个阶段组成：数据收集、课程过滤和微调。MDFS 通过过滤从互联网收集的 850 TB 原始数据构建了元 1.0 使用的 5 TB 语料库。这是通过在具有 36 个节点的高性能集群上运行 MDFS 来实现的。由此产生的语料库是全球最大的优质中文语料库。

【公司名称】四川旭辉星创科技有限公司

【代理级别】成都浪潮Inspur服务器总代理

【销售经理】李经理

【联系方式】座机：028-85596747    手机：13540160369

【公司地址】成都市人民南路4段 桐梓林 商鼎国际2号楼1单元1913