目录1. 引言2. 国外大模型发展的技术背景3. OpenAI4. 微软5. Google6. Deepmind6.1 Gopher6.2 Chinchilla7. Anthropic8. Meta8.1 OPT-IML8.2 BlenderBot-38.3 Llama8.4 Llama29. AI21 Labs10. 国外大模型发展的主要趋势11. 结论参考文献摘要大语言模型Large Language Models, LLMs近年来在自然语言处理、计算机视觉及多模态任务中展现出强大的能力。本文基于当前主流国外大模型的发展现状系统梳理了OpenAI、微软、Google、DeepMind、Anthropic、Meta及AI21 Labs等机构在大模型领域的代表性工作重点分析各模型的技术路线、参数规模、训练方法及其在实际应用中的表现。关键词大语言模型TransformerGPT多模态国外大模型1. 引言近年来大模型成为人工智能领域最受关注的技术方向之一。与传统机器学习模型相比大模型通常具有更大的参数规模、更丰富的训练语料和更强的泛化能力能够在自然语言处理、计算机视觉、多模态理解、代码生成、科学计算和智能体应用等任务中展现出较强的迁移能力。国外大模型的发展具有明显的阶段性特征。2017 年Google 提出的 Transformer 架构为后续大规模预训练模型奠定了基础随后 BERT、GPT、T5 等模型推动自然语言处理进入预训练范式GPT-3、PaLM、GLaM、MT-NLG 等模型进一步验证了规模化训练的有效性ChatGPT、Claude、LLaMA 等模型则推动大模型从实验室研究走向广泛的公众应用和开发者生态。本文第2至第8节将分别介绍OpenAI、微软、Google、DeepMind、Anthropic、Meta及AI21 Labs等机构的大模型发展现状最后在小结部分总结国外大模型的技术特点与发展趋势。2. 国外大模型发展的技术背景国外大模型研究的核心基础是 Transformer。Transformer 通过自注意力机制建模序列内部的长距离依赖关系相比循环神经网络更适合并行训练也更适合在大规模语料上进行预训练。以 Transformer 为基础国外大模型形成了三类典型技术路线。第一类是 “Decoder-only 自回归生成路线”以 GPT 系列、LLaMA、Claude 等模型为代表。这类模型通过预测下一个 token 进行训练天然适合文本生成、对话、代码生成和复杂推理。第二类是 “Encoder-only 表征学习路线”以 BERT 为代表。这类模型通过双向上下文建模提升文本理解能力适合分类、检索、问答、语义匹配等理解型任务。第三类是 “Encoder-Decoder 或统一文本到文本路线”以 T5 等模型为代表。这类方法将翻译、摘要、分类、问答等任务统一为文本输入到文本输出问题有利于任务范式统一和迁移学习。随着模型规模扩大研究重点也从“模型能否变大”逐渐转向“如何更高效、更安全、更可控地使用大模型”。因此稀疏激活、混合专家模型、指令微调、人类反馈强化学习、多模态融合和开源模型生态成为国外大模型发展的重要方向。3. OpenAIOpenAI正是基于Transformer基础模型推出了GPT系列大模型。GPTGenerative Pre-trained Transformer即生成式预训练Transformer模型模型被设计为对输入的单词进行理解和响应并生成新单词能够生产连贯的文本段落。预训练代表着GPT通过填空方法来对文本进行训练。在机器学习里存在判别式模式和生成式模式两种类型相比之下生成式模型更适合大数据学习判别式模型更适合人工标注的有效数据集因而生成式模型更适合实现预训练。GPT模型依托于Transformer解除了顺序关联和对监督学习的依赖性的前提。在自然语言处理NLP领域基于原始文本进行有效学习的能力能够大幅降低对于监督学习的依赖而很多深度学习算法要求大量手动标注数据该过程极大限制了其在诸多特定领域的适配性。在考虑以上局限性的前提下通过对未标记文本的不同语料库进行语言模型的生成式预训练然后对每个特定任务进行区分性微调可以实现这些任务上的巨大收益。和之前方法不同GPT在微调期间使用任务感知输入转换以实现有效的传输同时对基础模型架构的更改最小。图1GPT模型对基础模型架构的更改GPT相比于Transformer等模型进行了显著简化。相比于TransformerGPT训练了一个12层仅decoder的解码器原Transformer模型中包含编码器和解码器两部分编码器和解码器作用在于对输入和输出的内容进行操作成为模型能够认识的语言或格式。同时相比于Google的BERTGPT仅采用上文预测单词而BERT采用了基于上下文双向的预测手段。图2GPT在Transformer基础上进行简化GPT-1采用无监督预训练和有监督微调证明了transformer对学习词向量的强大能力在GPT-1得到的词向量基础上进行下游任务的学习能够让下游任务取得更好的泛化能力。不足也较为明显该模型在未经微调的任务上虽然有一定效果但是其泛化能力远远低于经过微调的有监督任务说明了GPT-1只是一个简单的领域专家而非通用的语言学家。GPT-2实现执行任务多样性开始学习在不需要明确监督的情况下执行数量惊人的任务。GPT-2在GPT的基础上进行诸多改进在GPT-2阶段OpenAI去掉了GPT第一阶段的有监督微调fine-tuning成为了无监督模型。GPT-2大模型是一个1.5B参数的Transformer在其论文中它在8个测试语言建模数据集中的7个数据集上实现了当时最先进的结果。GPT-2模型中Transfomer堆叠至48层数据集增加到8百万量级的网页、大小为40GB的文本。GPT-2通过调整原模型和采用多任务方式来让AI更贴近“通才”水平。机器学习系统通过使用大型数据集、高容量模型和监督学习的组合在训练任务方面表现出色然而这些系统较为脆弱对数据分布和任务规范的轻微变化非常敏感因而使得AI表现更像狭义专家并非通才。考虑到这些局限性GPT-2要实现的目标是转向更通用的系统使其可以执行许多任务最终无需为每个任务手动创建和标记训练数据集。而GPT-2的核心手段是采用多任务模型Multi-task其跟传统机器学习需要专门的标注数据集不同从而训练出专业AI多任务模型不采用专门AI手段而是在海量数据喂养训练的基础上适配任何任务形式。图3GPT-3规模及包含tokens数据集GPT-3取得突破性进展任务结果难以与人类作品区分开来。GPT-2训练结果也有不达预期之处所存在的问题也亟待优化。相比于GPT-2采用零次学习zero-shotGPT-3采用了少量样本few-shot加入训练。GPT-3是一个具有1750亿个参数的自回归语言模型比之前的任何非稀疏语言模型多10倍GPT-3在许多NLP数据集上都有很强的性能包括翻译、问题解答和完形填空任务以及一些需要动态推理或领域适应的任务如解译单词、在句子中使用一个新单词或执行三位数算术GPT-3也可以实现新闻文章样本生成等。GPT-3论文中论述到虽然少量样本学习few-shot稍逊色于人工微调但在无监督下是最优的证明了GPT-3相比于GPT-2的优越性。图4无监督模式的对比InstructGPTGPT-3.5模型在GPT-3基础上进一步强化。使语言模型更大并不意味着它们能够更好地遵循用户的意图例如大型语言模型可以生成不真实、有毒或对用户毫无帮助的输出即这些模型与其用户不一致。另外GPT-3虽然选择了少样本学习few-shot和继续坚持了GPT-2的无监督学习但基于few-shot的效果也稍逊于监督微调finetuning的方式仍有改良空间。基于以上背景OpenAI在GPT-3基础上根据人类反馈的强化学习方案RLHFreinforcement learning from human feedback训练出奖励模型reward model去训练学习模型即用AI训练AI的思路。InstructGPT使用来自人类反馈的强化学习方案RLHF通过对大语言模型进行微调从而能够在参数减少的情况下实现优于GPT-3的功能。图5基于人类反馈强化的训练核心流程InstructGPT与ChatGPT属于相同代际模型ChatGPT的发布率先引爆市场。GPT-3只解决了知识存储问题尚未很好解决“知识怎么调用”的问题而ChatGPT解决了这一部分所以GPT-3问世两年所得到的关注远不及ChatGPT。ChatGPT是在InstructGPT的基础上增加了Chat属性且开放了公众测试ChatGPT提升了理解人类思维的准确性的原因也在于利用了基于人类反馈数据的系统进行模型训练。GPT-4是OpenAI在深度学习扩展方面的最新里程碑。根据微软发布的GPT-4论文GPT-4已经可被视为一个通用人工智能的早期版本。GPT-4是一个大型多模态模型接受图像和文本输入、输出虽然在许多现实场景中的能力不如人类但在各种专业和学术基准测试中表现出人类水平的性能。例如它在模拟律师资格考试中的成绩位于前10的考生而GPT-3.5的成绩在后10。GPT-4不仅在文学、医学、法律、数学、物理科学和程序设计等不同领域表现出高度熟练程度而且它还能够将多个领域的技能和概念统一起来并能理解其复杂概念。除了生成能力GPT-4还具有解释性、组合性和空间性能力。在视觉范畴内虽然GPT-4只接受文本训练但GPT-4不仅从训练数据中的类似示例中复制代码而且能够处理真正的视觉任务充分证明了该模型操作图像的强大能力。另外GPT-4在草图生成方面能够结合运用Stable Difusion的能力同时GPT-4针对音乐以及编程的学习创造能力也得到了验证。小结GPT-1 证明了“无监督预训练 有监督微调”的有效性。该模型表明先在大规模文本上学习通用语言表示再针对下游任务进行微调可以显著提升模型泛化能力。但 GPT-1 仍更接近特定任务专家在未经微调的任务上表现有限。GPT-2 进一步弱化了对人工标注数据的依赖开始探索更通用的多任务学习能力。它通过更大规模的模型和网页语料使模型能够在不针对每个任务单独构建标注数据集的情况下完成多类任务。GPT-2 的重要意义在于它让研究界看到当模型、数据和计算资源持续扩大时语言模型可能获得更强的泛化能力。GPT-3 是大模型规模化发展的标志性节点。GPT-3 拥有 1750 亿参数并展示了 zero-shot、one-shot 和 few-shot 等提示学习能力。相比传统微调范式GPT-3 说明模型可以通过自然语言提示和少量示例完成多种任务这极大改变了人们对模型使用方式的理解。在 GPT-3 之后OpenAI 进一步通过 InstructGPT 和 ChatGPT 推动模型对齐。InstructGPT 引入基于人类反馈的强化学习机制即 RLHF使模型更符合用户意图减少无用、有害或不真实输出。ChatGPT 则在对话交互层面释放了大模型能力使大模型真正进入大众视野。GPT-4 则进一步体现了多模态和复杂推理能力。它能够处理文本和图像输入在法律、医学、数学、编程等多类基准任务中表现出较强能力。与早期 GPT 模型相比GPT-4 的意义不只在于规模扩大更在于综合能力、对齐能力和应用适配能力的提升。4. 微软微软陪跑OpenAI双方各取所需。本质上OpenAI的做法是将公司出租给微软租期取决于OpenAI的盈利速度。2019年微软首次注资OpenAI后双方开始在微软的Azure云计算服务上合作开发人工智能超级计算技术同时OpenAI逐渐将云计算服务从谷歌云迁移到Azure。微软与OpenAI合作符合双方各自需求点一方面OpenAI亟需算力投入和商业化背书。另一方面微软也需要OpenAI微软2015年推出Tay聊天机器人十分受挫在AI技术商业化应用方面日渐式微当时在基础研究层面也尚无具备广泛影响力的产出而AI能力尤其大模型AI对于每一个大厂来均是防御性质的刚需领域因而微软可通过OpenAI重获AI竞争力。微软与OpenAI战略合作深入占得行业先机。2020年微软买断GPT3基础技术许可并获得了技术集成的优先授权。2021年微软再次投资双方合作关系正式进入第二阶段从合作探索期进入蜜月期。一方面作为OpenAI的云提供商在Azure中集中部署OpenAI开发的GPT、DALLE、Codex等各类工具这也形成了OpenAI最早的收入来源——通过Azure向企业提供付费API和AI工具。与此同时拥有OpenAI新技术商业化授权微软开始将OpenAI工具与自有产品进行深度集成并推出相应产品。例如2021年6月基于Codex微软联合OpenAI、GitHub推出了AI代码补全工具GitHub Copilot以月付费10美元或年付费100美元的形式提供服务。2022年微软开始通过Edge浏览器和Bing搜索引擎在部分国家和地区提供基于AI图像生成工具DALLE开发的Image creator新功能。同年10月微软宣布将推出视觉设计工具Microsoft designer。微软也正将ChatGPT用于Office和搜索引擎Bing等产品中以优化现有工具改进产品功能。图6T-NLG预训练模型参数量2020年微软发布当时最大语言模型Turing-NLG为更流畅的人机对话打下基础。在自然语言模型日趋大型的背景下微软图灵项目推出了图灵自然语言生成T-NLG技术该模型包含170亿参数量是此前最大的语言模型英伟达“威震天”Megatron的两倍是OpenAI模型GPT2的10多倍在预测准确度性能上也打破了已有的最好纪录。当时OpenAI使用了额外的处理技术停用词过滤来获得比独立模型更好的成绩而Megatron和T-NLG都不使用停用词过滤技术。同时在直接回答问题和零次回答能力上T-NLG会直接用完整的句子回答问题且无需上下文环境。为了使T-NLG尽可能通用从而为各种类型的文本生成摘要该项目在几乎所有公开可用的摘要数据集中以多任务方式调整了T-NLG模型总计约有400万个训练实例。总之T-NLG为对话更流畅的聊天机器人和数字助理等应用铺平了道路。图7T-NLG的准确率汲取“两家”所长再次刷新模型规模纪录。微软联手英伟达进一步打造的Megatron Turing-NLGMT-NLG模型容纳5300亿参数训练过程一共使用了4480块英伟达A100GPU最终使该模型在一系列自然语言任务中包括文本预测、阅读理解、常识推理、自然语言推理、词义消歧都获得了前所未有的准确率。MT-NLG融合英伟达最先进的GPU加速训练设备以及微软最先进的分布式学习系统来提高训练速度并用上千亿个token构建语料库共同开发训练方法来优化效率和稳定性。具体实现上通过借鉴英伟达Megatron-LM模型的GPU并行处理以及微软开源的分布式训练框架DeepSpeed创建3D并行系统对于5300亿个参数的模型每个模型副本跨越280个A100 GPU节点内采用Megatron-LM的8路张量切片节点间采用35路管道并行然后再使用DeepSpeed的数据并行性进一步扩展到数千个GPU最终在基于DGX SuperPOD的Selene超级计算机上完成混合精度训练。该模型在PiQA开发集和LAMBADA测试集上的零样本、单样本和少样本三种设置中都获得了最高的成绩。图8MT-NLG规模打造不同AI领域功能融合的多模态基础模型AI技术和模型大一统渐露曙光。2022年8月微软亚洲研究院联合微软图灵团队推出了最新升级的BEiT-3预训练模型在广泛的视觉及视觉-语言任务上包括目标检测、实例分割、语义分割、图像分类、视觉推理、视觉问答、图片描述生成和跨模态检索等实现了SOTA的迁移性能。BEiT-3创新的设计和出色的表现为多模态研究打开了新思路也预示着AI大一统趋势渐露曙光。图9BEiT-3优势5. Google谷歌最早在2017年提出Transformer网络结构成为了过去数年该领域大多数行业进展的基础。随后在2018年谷歌提出的BERT模型在11个NLP领域的任务上都刷新了以往的记录。和GPT相比BERT最大的区别就是使用文本的上下文来训练模型而GPT专注于文本生成使用的是上文。BERT使用了Transformer的Encoder和Masked LM预训练方法因此可以进行双向预测而OpenAI GPT使用了Transformer的Decoder结构利用了Decoder中的Mask只能顺序预测。BERT无需调整结构就可以在不同的任务上进行微调在当时是NLP领域最具有突破性的一项技术。图10BERT训练方式基于Transformer结构T5明确了大模型性能提升路径。鉴于各个机构不断提出预训练目标函数并不断收集更多训练语料很难分析比较这些工作的有效贡献量因此谷歌于2019年推出大模型——T5Text-to Text Transfer Transformer将各种NLP任务翻译、分类、回归、摘要生成等都视为Text-to-Text任务从而使得这些任务在训练预训练和微调时能够使用相同的目标函数在测试时也能使用相同的解码过程由此可以方便地评估在阅读理解、摘要生成、文本分类等一系列NLP任务上不同的模型结构、预训练目标函数、无标签数据集等的影响。本质上T5提出的目的不是提出一个新方法而是对NLP领域的技术支撑点提供较为全面的分析视角分析各种训练技巧对模型性能提升的实际影响从而采用合适的技巧预训练出一个好的模型。谷歌LaMDA实现自然对话突破释放与技术互动的更自然方式。在ChatGPT取得突破性成功之后谷歌宣布了自己的聊天机器人谷歌Bard而Bard这个技术形象背后是LaMDA在提供后端支撑。LaMDA是继BERT之后谷歌于2021年推出的一款自然对话应用的语言模型。LaMDA建立在谷歌2020年发表的早期研究之上该研究表明基于Transformer的语言模型经过对话训练可以学会谈论几乎任何事情。此后谷歌还发现一旦经过训练LaMDA可以进行微调从而大幅提高其反应的合理性和特异性。与其他大多数语言模型不同LaMDA是在对话中训练的在训练过程中它发现了一些区别于其他语言形式的开放式对话的细微差别。总之LaMDA的推出虽然在技术上没有新突破但却提供了很有价值的落地方案参考。图11LaMDA拟物化交谈Switch Transformer模型进一步提升大模型参数实现简单且高效计算。Switch Transformer的设计原则是以一种简单且高效计算的方式来最大化Transformer模型的参数数量。Switch Transformer拥有1.6万亿参数超越了GPT-3的规模成为史上首个万亿级语言模型。Switch Transformer是由混合专家Mix of ExpertMoEAI模型范式发展而来的MoE模型是指将多个专家或专门从事不同任务的模型放在一个较大的模型中并有一个“门控网络Gating Network”来选择为任何给定数据要咨询哪些专家。其论文中指出Switch Transformer使用了稀疏激活技术该技术只使用了神经网络权重的子集或者是转换模型内输入数据的参数在相同计算资源下其训练速度上比谷歌之前研发的最大模型T5-XXL还要快4倍。谷歌通用稀疏语言模型GLaM在小样本学习上打败GPT-3。虽然大型语言模型可以通过简单地使用更多参数来获得更好的性能但更有效地训练和使用这些模型也十分必要。鉴于此谷歌在Switch Transformer推出的同年研发出GLaM模型架构GLaM也是混合专家模型MoE其在多个小样本学习任务上取得有竞争力的性能。谷歌首先构建了一个高质量、具有1.6万亿token的数据集以及开发文本质量过滤器谷歌应用这个过滤器来生成Web网页的最终子集并将其与书籍和维基百科数据相结合来创建最终的训练数据集。完整的GLaM总共有1.2T参数每个MoE包含64个专家总共32个MoE层但在推理期间模型只会激活97B的参数占总参数的8%。最终谷歌证明了稀疏激活模型在达到与密集模型相似的zero-shot和one-shot性能时训练时使用的数据显著减少。如果使用的数据量相同稀疏型模型的表现明显更好。并且GLaM训练时耗能要少于其他模型。图12GLaM与GPT-3对比图13GLaM与GPT-3耗时对比融合传感器模态与语言模型相较于ChatGPT新增了视觉功能。2023年3月谷歌和柏林工业大学AI研究团队推出了迄今最大视觉语言模型——PaLM-E多模态视觉语言模型VLM该模型具有5620亿个参数集成了可控制机器人的视觉和语言能力将真实世界的连续传感器模态直接纳入语言模型从而建立单词和感知之间的联系且该模型能够执行各种任务且无需重新训练其相较于ChatGPT新增了视觉功能。PaLM-E的主要架构思想是将连续的、具体化的观察如图像、状态估计或其他传感器模态注入预先训练的语言模型的语言嵌入空间这是通过将连续观测编码为与语言标记的嵌入空间具有相同维度的向量序列来实现的因此以类似于语言标记的方式将连续信息注入到语言模型中。PaLM-E是一种仅限解码器的LLM它在给定前缀或提示的情况下自回归地生成文本完成。基于大模型积累实现视觉语言与机器人高水平实时互联。基于语言模型PaLM-E会进行连续观察例如接收图像或传感器数据并将其编码为一系列与语言令牌大小相同的向量。因此模型就能继续以处理语言的方式“理解”感官信息。而且同一套PaLM-E模型能够达到实时控制机器人的水准。PaLM-E还展现出随机应变的能力例如尽管只接受过单图像提示训练仍可实现多模态思维链推理允许模型对包含语言和视觉信息在内的一系列输入进行分析和多图像推理同时使用多张输入图像进行推理或预测。但谷歌展示的Demo中的空间范围、物品种类、任务规划复杂度等条件还比较有限随着深度学习模型愈发复杂PaLME也将打开更多可行性应用空间。6. Deepmind6.1 GopherDeepMind的语言模型Gopher在回答关于科学、人文等专业主题的问题等任务上比现有的大型语言模型更准确而在逻辑推理和数学等其他任务上与它们相当。Gopher拥有2800亿个参数可供调整使其比OpenAI的GPT-3更大后者只有1750亿个参数。6.2 ChinchillaChinchilla使用与Gopher相同的计算预算但只有700亿个参数和四倍的数据。在许多下游评估任务中它胜过了Gopher、GPT-3、Jurassic-1和Megatron-Turing NLG等模型。它在微调和推理方面使用的计算资源明显较少极大地促进了下游应用的使用。6.3 SparrowSparrow是由DeepMind开发的聊天机器人旨在正确回答用户的问题同时减少不安全和不适当回答的风险。Sparrow的动机是解决语言模型产生不正确、带偏见或潜在有害输出的问题。Sparrow通过使用人类判断进行训练使其比基线预训练语言模型更有帮助、更正确和更无害。7. Anthropic2023 年推出Claude采用宪法 AIConstitutional AI通过自我监督与安全约束训练强调无害、诚实、可控成为安全大模型代表。Anthropic 的代表性模型是 Claude。与单纯追求参数规模不同Claude 更强调“有益、无害、诚实”的助手定位。其训练中引入 Constitutional AI 思想即通过一组原则约束模型行为并结合自我监督和安全训练方法减少有害输出。Claude 的出现说明大模型竞争已经进入对齐能力竞争阶段。用户不仅需要模型会回答问题还需要模型在复杂场景中保持可靠、稳定和可控。尤其在企业应用、专业服务和高风险场景中模型安全性、可解释性和一致性会成为重要评价指标。8. MetaMeta 以开源为核心2022 年发布OPT、Llama系列2023 年推出Llama27B-70B开源可商用性能接近 GPT-3推动全球开源大模型生态繁荣。8.1 OPT-IMLOPT-IML是基于Meta的OPT模型的预训练语言模型拥有1750亿个参数。OPT-IML经过微调以在自然语言任务如问答、文本摘要和翻译中获得更好的性能使用了约2000个自然语言任务进行训练。它在训练过程中更高效并且比OpenAI的GPT-3具有更低的CO₂排放量。8.2 BlenderBot-3BlenderBot 3是一个可以与人交互并接收反馈以提高对话能力的对话代理。BlenderBot 3是基于Meta AI公开提供的OPT-175B语言模型构建的该模型的规模大约是其前身BlenderBot 2的58倍。该模型融合了人格、共情和知识等对话技能并通过利用长期记忆和搜索互联网来进行有意义的对话。8.3 LlamaLLaMA是拥有7B到65B参数的基础语言模型。作者在数万亿令牌上进行了训练并展示了使用公开可用数据集训练最先进的模型是可能的而不必依赖于专有和不可访问的数据集。其中LLaMA-13B在大多数基准测试中优于GPT-3175B而LLaMA-65B与最佳模型Chinchilla-70B和PaLM-540B具有竞争力。8.4 Llama2Llama 2一个包括从 70 亿到 700 亿个参数的预训练和优化的大型语言模型 (LLM) 集合。其中的 Llama 2-Chat 是针对对话场景优化的 LLM并在大多数测试的基准上表现优于开源聊天模型。9. AI21 LabsAI21 Labs推出的Jurassic-1平台提供Jumbo等大规模语言模型支持文本生成、问答、分类等任务强调灵活性与商业化部署。Jurassic-1是AI21 Labs推出的开发者平台为构建应用程序和服务提供最先进的语言模型。它提供了两个模型其中包括Jumbo版本是迄今为止发布的最大、最复杂的通用语言模型。这些模型非常灵活能够生成类似于人类的文本并解决诸如问答和文本分类等复杂任务。10. 国外大模型发展的主要趋势综合上述机构和模型可以看到国外大模型发展呈现以下趋势。第一模型能力从单一语言任务走向综合智能。早期模型主要聚焦文本理解或生成后续模型逐渐扩展到代码、图像、语音、机器人和多模态推理。第二竞争重点从参数规模转向效率优化。Chinchilla、Switch Transformer、GLaM 等模型说明训练数据、稀疏激活、计算预算和推理成本同样决定模型价值。第三模型对齐成为核心能力。InstructGPT、ChatGPT、Claude、Sparrow 等模型都在解决同一个问题如何让大模型更符合人类意图并减少虚假、有害和不可控输出。第四闭源能力与开源生态并行发展。OpenAI、Anthropic 等机构依托闭源模型提供强能力服务Meta 的 LLaMA 系列则推动开源生态快速发展为本地部署和行业微调提供基础。第五大模型正在与产业产品深度融合。微软将 OpenAI 能力接入 Office、Bing、GitHub Copilot 和 Azure说明大模型的商业价值不只在模型本身更在于与办公、搜索、开发、设计和企业服务等场景结合。11. 结论国外大模型的发展本质上是算法架构、数据规模、算力基础设施、训练工程、模型对齐和商业生态共同演进的结果。从 Transformer 到 BERT从 GPT-3 到 ChatGPT从 Chinchilla 到 Claude再到 LLaMA 开源生态大模型已经从单一技术突破发展为覆盖研究、平台、产品和产业应用的系统工程。未来国外大模型的竞争将不再只是“谁的参数更多”而是“谁能在更低成本下提供更强、更安全、更可控、更容易落地的智能能力”。对于国内研究者和开发者而言理解国外大模型的发展脉络有助于判断技术趋势、选择研究方向并在垂直领域应用中找到更具现实价值的突破口。参考文献[1] Achiam J, Adler S, Agarwal S, et al. Gpt-4 technical report[J]. arXiv preprint arXiv:2303.08774, 2023.[2] Bommasani R, Hudson D A, Adeli E, et al. On the opportunities and risks of foundation models[J]. arXiv preprint arXiv:2108.07258, 2021.[3] Zhao W X, Zhou K, Li J, et al. A survey of large language models[J]. Frontiers of Computer Science, 2026, 20(12): 2012627.[4] Driess D, Xia F, Sajjadi M S M, et al. Palm-e: An embodied multimodal language model[J]. arXiv preprint arXiv:2303.03378, 2023.[5] Hoffmann J, Borgeaud S, Mensch A, et al. Training compute-optimal large language models[J]. arXiv preprint arXiv:2203.15556, 2022, 10.[6] Touvron H, Lavril T, Izacard G, et al. Llama: Open and efficient foundation language models[J]. arXiv preprint arXiv:2302.13971, 2023.[7] Bai Y, Kadavath S, Kundu S, et al. Constitutional ai: Harmlessness from ai feedback[J]. arXiv preprint arXiv:2212.08073, 2022.[8] Lieber O, Sharir O, Lenz B, et al. Jurassic-1: Technical details and evaluation[J]. White Paper. AI21 Labs, 2021, 1(9): 1-17.Tips下一讲我们将进一步探讨脑电信号分析的其他内容。以上就是国外大模型发展综述的全部内容啦~我们下期再见拜拜(⭐v⭐) ~Ps有代码实现需求请见下列【微信名片】或【主页信息】谢谢支持~
「EEG脑电信号处理——（28）国外大模型发展综述」2026年05月27日
目录1. 引言2. 国外大模型发展的技术背景3. OpenAI4. 微软5. Google6. Deepmind6.1 Gopher6.2 Chinchilla7. Anthropic8. Meta8.1 OPT-IML8.2 BlenderBot-38.3 Llama8.4 Llama29. AI21 Labs10. 国外大模型发展的主要趋势11. 结论参考文献摘要大语言模型Large Language Models, LLMs近年来在自然语言处理、计算机视觉及多模态任务中展现出强大的能力。本文基于当前主流国外大模型的发展现状系统梳理了OpenAI、微软、Google、DeepMind、Anthropic、Meta及AI21 Labs等机构在大模型领域的代表性工作重点分析各模型的技术路线、参数规模、训练方法及其在实际应用中的表现。关键词大语言模型TransformerGPT多模态国外大模型1. 引言近年来大模型成为人工智能领域最受关注的技术方向之一。与传统机器学习模型相比大模型通常具有更大的参数规模、更丰富的训练语料和更强的泛化能力能够在自然语言处理、计算机视觉、多模态理解、代码生成、科学计算和智能体应用等任务中展现出较强的迁移能力。国外大模型的发展具有明显的阶段性特征。2017 年Google 提出的 Transformer 架构为后续大规模预训练模型奠定了基础随后 BERT、GPT、T5 等模型推动自然语言处理进入预训练范式GPT-3、PaLM、GLaM、MT-NLG 等模型进一步验证了规模化训练的有效性ChatGPT、Claude、LLaMA 等模型则推动大模型从实验室研究走向广泛的公众应用和开发者生态。本文第2至第8节将分别介绍OpenAI、微软、Google、DeepMind、Anthropic、Meta及AI21 Labs等机构的大模型发展现状最后在小结部分总结国外大模型的技术特点与发展趋势。2. 国外大模型发展的技术背景国外大模型研究的核心基础是 Transformer。Transformer 通过自注意力机制建模序列内部的长距离依赖关系相比循环神经网络更适合并行训练也更适合在大规模语料上进行预训练。以 Transformer 为基础国外大模型形成了三类典型技术路线。第一类是 “Decoder-only 自回归生成路线”以 GPT 系列、LLaMA、Claude 等模型为代表。这类模型通过预测下一个 token 进行训练天然适合文本生成、对话、代码生成和复杂推理。第二类是 “Encoder-only 表征学习路线”以 BERT 为代表。这类模型通过双向上下文建模提升文本理解能力适合分类、检索、问答、语义匹配等理解型任务。第三类是 “Encoder-Decoder 或统一文本到文本路线”以 T5 等模型为代表。这类方法将翻译、摘要、分类、问答等任务统一为文本输入到文本输出问题有利于任务范式统一和迁移学习。随着模型规模扩大研究重点也从“模型能否变大”逐渐转向“如何更高效、更安全、更可控地使用大模型”。因此稀疏激活、混合专家模型、指令微调、人类反馈强化学习、多模态融合和开源模型生态成为国外大模型发展的重要方向。3. OpenAIOpenAI正是基于Transformer基础模型推出了GPT系列大模型。GPTGenerative Pre-trained Transformer即生成式预训练Transformer模型模型被设计为对输入的单词进行理解和响应并生成新单词能够生产连贯的文本段落。预训练代表着GPT通过填空方法来对文本进行训练。在机器学习里存在判别式模式和生成式模式两种类型相比之下生成式模型更适合大数据学习判别式模型更适合人工标注的有效数据集因而生成式模型更适合实现预训练。GPT模型依托于Transformer解除了顺序关联和对监督学习的依赖性的前提。在自然语言处理NLP领域基于原始文本进行有效学习的能力能够大幅降低对于监督学习的依赖而很多深度学习算法要求大量手动标注数据该过程极大限制了其在诸多特定领域的适配性。在考虑以上局限性的前提下通过对未标记文本的不同语料库进行语言模型的生成式预训练然后对每个特定任务进行区分性微调可以实现这些任务上的巨大收益。和之前方法不同GPT在微调期间使用任务感知输入转换以实现有效的传输同时对基础模型架构的更改最小。图1GPT模型对基础模型架构的更改GPT相比于Transformer等模型进行了显著简化。相比于TransformerGPT训练了一个12层仅decoder的解码器原Transformer模型中包含编码器和解码器两部分编码器和解码器作用在于对输入和输出的内容进行操作成为模型能够认识的语言或格式。同时相比于Google的BERTGPT仅采用上文预测单词而BERT采用了基于上下文双向的预测手段。图2GPT在Transformer基础上进行简化GPT-1采用无监督预训练和有监督微调证明了transformer对学习词向量的强大能力在GPT-1得到的词向量基础上进行下游任务的学习能够让下游任务取得更好的泛化能力。不足也较为明显该模型在未经微调的任务上虽然有一定效果但是其泛化能力远远低于经过微调的有监督任务说明了GPT-1只是一个简单的领域专家而非通用的语言学家。GPT-2实现执行任务多样性开始学习在不需要明确监督的情况下执行数量惊人的任务。GPT-2在GPT的基础上进行诸多改进在GPT-2阶段OpenAI去掉了GPT第一阶段的有监督微调fine-tuning成为了无监督模型。GPT-2大模型是一个1.5B参数的Transformer在其论文中它在8个测试语言建模数据集中的7个数据集上实现了当时最先进的结果。GPT-2模型中Transfomer堆叠至48层数据集增加到8百万量级的网页、大小为40GB的文本。GPT-2通过调整原模型和采用多任务方式来让AI更贴近“通才”水平。机器学习系统通过使用大型数据集、高容量模型和监督学习的组合在训练任务方面表现出色然而这些系统较为脆弱对数据分布和任务规范的轻微变化非常敏感因而使得AI表现更像狭义专家并非通才。考虑到这些局限性GPT-2要实现的目标是转向更通用的系统使其可以执行许多任务最终无需为每个任务手动创建和标记训练数据集。而GPT-2的核心手段是采用多任务模型Multi-task其跟传统机器学习需要专门的标注数据集不同从而训练出专业AI多任务模型不采用专门AI手段而是在海量数据喂养训练的基础上适配任何任务形式。图3GPT-3规模及包含tokens数据集GPT-3取得突破性进展任务结果难以与人类作品区分开来。GPT-2训练结果也有不达预期之处所存在的问题也亟待优化。相比于GPT-2采用零次学习zero-shotGPT-3采用了少量样本few-shot加入训练。GPT-3是一个具有1750亿个参数的自回归语言模型比之前的任何非稀疏语言模型多10倍GPT-3在许多NLP数据集上都有很强的性能包括翻译、问题解答和完形填空任务以及一些需要动态推理或领域适应的任务如解译单词、在句子中使用一个新单词或执行三位数算术GPT-3也可以实现新闻文章样本生成等。GPT-3论文中论述到虽然少量样本学习few-shot稍逊色于人工微调但在无监督下是最优的证明了GPT-3相比于GPT-2的优越性。图4无监督模式的对比InstructGPTGPT-3.5模型在GPT-3基础上进一步强化。使语言模型更大并不意味着它们能够更好地遵循用户的意图例如大型语言模型可以生成不真实、有毒或对用户毫无帮助的输出即这些模型与其用户不一致。另外GPT-3虽然选择了少样本学习few-shot和继续坚持了GPT-2的无监督学习但基于few-shot的效果也稍逊于监督微调finetuning的方式仍有改良空间。基于以上背景OpenAI在GPT-3基础上根据人类反馈的强化学习方案RLHFreinforcement learning from human feedback训练出奖励模型reward model去训练学习模型即用AI训练AI的思路。InstructGPT使用来自人类反馈的强化学习方案RLHF通过对大语言模型进行微调从而能够在参数减少的情况下实现优于GPT-3的功能。图5基于人类反馈强化的训练核心流程InstructGPT与ChatGPT属于相同代际模型ChatGPT的发布率先引爆市场。GPT-3只解决了知识存储问题尚未很好解决“知识怎么调用”的问题而ChatGPT解决了这一部分所以GPT-3问世两年所得到的关注远不及ChatGPT。ChatGPT是在InstructGPT的基础上增加了Chat属性且开放了公众测试ChatGPT提升了理解人类思维的准确性的原因也在于利用了基于人类反馈数据的系统进行模型训练。GPT-4是OpenAI在深度学习扩展方面的最新里程碑。根据微软发布的GPT-4论文GPT-4已经可被视为一个通用人工智能的早期版本。GPT-4是一个大型多模态模型接受图像和文本输入、输出虽然在许多现实场景中的能力不如人类但在各种专业和学术基准测试中表现出人类水平的性能。例如它在模拟律师资格考试中的成绩位于前10的考生而GPT-3.5的成绩在后10。GPT-4不仅在文学、医学、法律、数学、物理科学和程序设计等不同领域表现出高度熟练程度而且它还能够将多个领域的技能和概念统一起来并能理解其复杂概念。除了生成能力GPT-4还具有解释性、组合性和空间性能力。在视觉范畴内虽然GPT-4只接受文本训练但GPT-4不仅从训练数据中的类似示例中复制代码而且能够处理真正的视觉任务充分证明了该模型操作图像的强大能力。另外GPT-4在草图生成方面能够结合运用Stable Difusion的能力同时GPT-4针对音乐以及编程的学习创造能力也得到了验证。小结GPT-1 证明了“无监督预训练 有监督微调”的有效性。该模型表明先在大规模文本上学习通用语言表示再针对下游任务进行微调可以显著提升模型泛化能力。但 GPT-1 仍更接近特定任务专家在未经微调的任务上表现有限。GPT-2 进一步弱化了对人工标注数据的依赖开始探索更通用的多任务学习能力。它通过更大规模的模型和网页语料使模型能够在不针对每个任务单独构建标注数据集的情况下完成多类任务。GPT-2 的重要意义在于它让研究界看到当模型、数据和计算资源持续扩大时语言模型可能获得更强的泛化能力。GPT-3 是大模型规模化发展的标志性节点。GPT-3 拥有 1750 亿参数并展示了 zero-shot、one-shot 和 few-shot 等提示学习能力。相比传统微调范式GPT-3 说明模型可以通过自然语言提示和少量示例完成多种任务这极大改变了人们对模型使用方式的理解。在 GPT-3 之后OpenAI 进一步通过 InstructGPT 和 ChatGPT 推动模型对齐。InstructGPT 引入基于人类反馈的强化学习机制即 RLHF使模型更符合用户意图减少无用、有害或不真实输出。ChatGPT 则在对话交互层面释放了大模型能力使大模型真正进入大众视野。GPT-4 则进一步体现了多模态和复杂推理能力。它能够处理文本和图像输入在法律、医学、数学、编程等多类基准任务中表现出较强能力。与早期 GPT 模型相比GPT-4 的意义不只在于规模扩大更在于综合能力、对齐能力和应用适配能力的提升。4. 微软微软陪跑OpenAI双方各取所需。本质上OpenAI的做法是将公司出租给微软租期取决于OpenAI的盈利速度。2019年微软首次注资OpenAI后双方开始在微软的Azure云计算服务上合作开发人工智能超级计算技术同时OpenAI逐渐将云计算服务从谷歌云迁移到Azure。微软与OpenAI合作符合双方各自需求点一方面OpenAI亟需算力投入和商业化背书。另一方面微软也需要OpenAI微软2015年推出Tay聊天机器人十分受挫在AI技术商业化应用方面日渐式微当时在基础研究层面也尚无具备广泛影响力的产出而AI能力尤其大模型AI对于每一个大厂来均是防御性质的刚需领域因而微软可通过OpenAI重获AI竞争力。微软与OpenAI战略合作深入占得行业先机。2020年微软买断GPT3基础技术许可并获得了技术集成的优先授权。2021年微软再次投资双方合作关系正式进入第二阶段从合作探索期进入蜜月期。一方面作为OpenAI的云提供商在Azure中集中部署OpenAI开发的GPT、DALLE、Codex等各类工具这也形成了OpenAI最早的收入来源——通过Azure向企业提供付费API和AI工具。与此同时拥有OpenAI新技术商业化授权微软开始将OpenAI工具与自有产品进行深度集成并推出相应产品。例如2021年6月基于Codex微软联合OpenAI、GitHub推出了AI代码补全工具GitHub Copilot以月付费10美元或年付费100美元的形式提供服务。2022年微软开始通过Edge浏览器和Bing搜索引擎在部分国家和地区提供基于AI图像生成工具DALLE开发的Image creator新功能。同年10月微软宣布将推出视觉设计工具Microsoft designer。微软也正将ChatGPT用于Office和搜索引擎Bing等产品中以优化现有工具改进产品功能。图6T-NLG预训练模型参数量2020年微软发布当时最大语言模型Turing-NLG为更流畅的人机对话打下基础。在自然语言模型日趋大型的背景下微软图灵项目推出了图灵自然语言生成T-NLG技术该模型包含170亿参数量是此前最大的语言模型英伟达“威震天”Megatron的两倍是OpenAI模型GPT2的10多倍在预测准确度性能上也打破了已有的最好纪录。当时OpenAI使用了额外的处理技术停用词过滤来获得比独立模型更好的成绩而Megatron和T-NLG都不使用停用词过滤技术。同时在直接回答问题和零次回答能力上T-NLG会直接用完整的句子回答问题且无需上下文环境。为了使T-NLG尽可能通用从而为各种类型的文本生成摘要该项目在几乎所有公开可用的摘要数据集中以多任务方式调整了T-NLG模型总计约有400万个训练实例。总之T-NLG为对话更流畅的聊天机器人和数字助理等应用铺平了道路。图7T-NLG的准确率汲取“两家”所长再次刷新模型规模纪录。微软联手英伟达进一步打造的Megatron Turing-NLGMT-NLG模型容纳5300亿参数训练过程一共使用了4480块英伟达A100GPU最终使该模型在一系列自然语言任务中包括文本预测、阅读理解、常识推理、自然语言推理、词义消歧都获得了前所未有的准确率。MT-NLG融合英伟达最先进的GPU加速训练设备以及微软最先进的分布式学习系统来提高训练速度并用上千亿个token构建语料库共同开发训练方法来优化效率和稳定性。具体实现上通过借鉴英伟达Megatron-LM模型的GPU并行处理以及微软开源的分布式训练框架DeepSpeed创建3D并行系统对于5300亿个参数的模型每个模型副本跨越280个A100 GPU节点内采用Megatron-LM的8路张量切片节点间采用35路管道并行然后再使用DeepSpeed的数据并行性进一步扩展到数千个GPU最终在基于DGX SuperPOD的Selene超级计算机上完成混合精度训练。该模型在PiQA开发集和LAMBADA测试集上的零样本、单样本和少样本三种设置中都获得了最高的成绩。图8MT-NLG规模打造不同AI领域功能融合的多模态基础模型AI技术和模型大一统渐露曙光。2022年8月微软亚洲研究院联合微软图灵团队推出了最新升级的BEiT-3预训练模型在广泛的视觉及视觉-语言任务上包括目标检测、实例分割、语义分割、图像分类、视觉推理、视觉问答、图片描述生成和跨模态检索等实现了SOTA的迁移性能。BEiT-3创新的设计和出色的表现为多模态研究打开了新思路也预示着AI大一统趋势渐露曙光。图9BEiT-3优势5. Google谷歌最早在2017年提出Transformer网络结构成为了过去数年该领域大多数行业进展的基础。随后在2018年谷歌提出的BERT模型在11个NLP领域的任务上都刷新了以往的记录。和GPT相比BERT最大的区别就是使用文本的上下文来训练模型而GPT专注于文本生成使用的是上文。BERT使用了Transformer的Encoder和Masked LM预训练方法因此可以进行双向预测而OpenAI GPT使用了Transformer的Decoder结构利用了Decoder中的Mask只能顺序预测。BERT无需调整结构就可以在不同的任务上进行微调在当时是NLP领域最具有突破性的一项技术。图10BERT训练方式基于Transformer结构T5明确了大模型性能提升路径。鉴于各个机构不断提出预训练目标函数并不断收集更多训练语料很难分析比较这些工作的有效贡献量因此谷歌于2019年推出大模型——T5Text-to Text Transfer Transformer将各种NLP任务翻译、分类、回归、摘要生成等都视为Text-to-Text任务从而使得这些任务在训练预训练和微调时能够使用相同的目标函数在测试时也能使用相同的解码过程由此可以方便地评估在阅读理解、摘要生成、文本分类等一系列NLP任务上不同的模型结构、预训练目标函数、无标签数据集等的影响。本质上T5提出的目的不是提出一个新方法而是对NLP领域的技术支撑点提供较为全面的分析视角分析各种训练技巧对模型性能提升的实际影响从而采用合适的技巧预训练出一个好的模型。谷歌LaMDA实现自然对话突破释放与技术互动的更自然方式。在ChatGPT取得突破性成功之后谷歌宣布了自己的聊天机器人谷歌Bard而Bard这个技术形象背后是LaMDA在提供后端支撑。LaMDA是继BERT之后谷歌于2021年推出的一款自然对话应用的语言模型。LaMDA建立在谷歌2020年发表的早期研究之上该研究表明基于Transformer的语言模型经过对话训练可以学会谈论几乎任何事情。此后谷歌还发现一旦经过训练LaMDA可以进行微调从而大幅提高其反应的合理性和特异性。与其他大多数语言模型不同LaMDA是在对话中训练的在训练过程中它发现了一些区别于其他语言形式的开放式对话的细微差别。总之LaMDA的推出虽然在技术上没有新突破但却提供了很有价值的落地方案参考。图11LaMDA拟物化交谈Switch Transformer模型进一步提升大模型参数实现简单且高效计算。Switch Transformer的设计原则是以一种简单且高效计算的方式来最大化Transformer模型的参数数量。Switch Transformer拥有1.6万亿参数超越了GPT-3的规模成为史上首个万亿级语言模型。Switch Transformer是由混合专家Mix of ExpertMoEAI模型范式发展而来的MoE模型是指将多个专家或专门从事不同任务的模型放在一个较大的模型中并有一个“门控网络Gating Network”来选择为任何给定数据要咨询哪些专家。其论文中指出Switch Transformer使用了稀疏激活技术该技术只使用了神经网络权重的子集或者是转换模型内输入数据的参数在相同计算资源下其训练速度上比谷歌之前研发的最大模型T5-XXL还要快4倍。谷歌通用稀疏语言模型GLaM在小样本学习上打败GPT-3。虽然大型语言模型可以通过简单地使用更多参数来获得更好的性能但更有效地训练和使用这些模型也十分必要。鉴于此谷歌在Switch Transformer推出的同年研发出GLaM模型架构GLaM也是混合专家模型MoE其在多个小样本学习任务上取得有竞争力的性能。谷歌首先构建了一个高质量、具有1.6万亿token的数据集以及开发文本质量过滤器谷歌应用这个过滤器来生成Web网页的最终子集并将其与书籍和维基百科数据相结合来创建最终的训练数据集。完整的GLaM总共有1.2T参数每个MoE包含64个专家总共32个MoE层但在推理期间模型只会激活97B的参数占总参数的8%。最终谷歌证明了稀疏激活模型在达到与密集模型相似的zero-shot和one-shot性能时训练时使用的数据显著减少。如果使用的数据量相同稀疏型模型的表现明显更好。并且GLaM训练时耗能要少于其他模型。图12GLaM与GPT-3对比图13GLaM与GPT-3耗时对比融合传感器模态与语言模型相较于ChatGPT新增了视觉功能。2023年3月谷歌和柏林工业大学AI研究团队推出了迄今最大视觉语言模型——PaLM-E多模态视觉语言模型VLM该模型具有5620亿个参数集成了可控制机器人的视觉和语言能力将真实世界的连续传感器模态直接纳入语言模型从而建立单词和感知之间的联系且该模型能够执行各种任务且无需重新训练其相较于ChatGPT新增了视觉功能。PaLM-E的主要架构思想是将连续的、具体化的观察如图像、状态估计或其他传感器模态注入预先训练的语言模型的语言嵌入空间这是通过将连续观测编码为与语言标记的嵌入空间具有相同维度的向量序列来实现的因此以类似于语言标记的方式将连续信息注入到语言模型中。PaLM-E是一种仅限解码器的LLM它在给定前缀或提示的情况下自回归地生成文本完成。基于大模型积累实现视觉语言与机器人高水平实时互联。基于语言模型PaLM-E会进行连续观察例如接收图像或传感器数据并将其编码为一系列与语言令牌大小相同的向量。因此模型就能继续以处理语言的方式“理解”感官信息。而且同一套PaLM-E模型能够达到实时控制机器人的水准。PaLM-E还展现出随机应变的能力例如尽管只接受过单图像提示训练仍可实现多模态思维链推理允许模型对包含语言和视觉信息在内的一系列输入进行分析和多图像推理同时使用多张输入图像进行推理或预测。但谷歌展示的Demo中的空间范围、物品种类、任务规划复杂度等条件还比较有限随着深度学习模型愈发复杂PaLME也将打开更多可行性应用空间。6. Deepmind6.1 GopherDeepMind的语言模型Gopher在回答关于科学、人文等专业主题的问题等任务上比现有的大型语言模型更准确而在逻辑推理和数学等其他任务上与它们相当。Gopher拥有2800亿个参数可供调整使其比OpenAI的GPT-3更大后者只有1750亿个参数。6.2 ChinchillaChinchilla使用与Gopher相同的计算预算但只有700亿个参数和四倍的数据。在许多下游评估任务中它胜过了Gopher、GPT-3、Jurassic-1和Megatron-Turing NLG等模型。它在微调和推理方面使用的计算资源明显较少极大地促进了下游应用的使用。6.3 SparrowSparrow是由DeepMind开发的聊天机器人旨在正确回答用户的问题同时减少不安全和不适当回答的风险。Sparrow的动机是解决语言模型产生不正确、带偏见或潜在有害输出的问题。Sparrow通过使用人类判断进行训练使其比基线预训练语言模型更有帮助、更正确和更无害。7. Anthropic2023 年推出Claude采用宪法 AIConstitutional AI通过自我监督与安全约束训练强调无害、诚实、可控成为安全大模型代表。Anthropic 的代表性模型是 Claude。与单纯追求参数规模不同Claude 更强调“有益、无害、诚实”的助手定位。其训练中引入 Constitutional AI 思想即通过一组原则约束模型行为并结合自我监督和安全训练方法减少有害输出。Claude 的出现说明大模型竞争已经进入对齐能力竞争阶段。用户不仅需要模型会回答问题还需要模型在复杂场景中保持可靠、稳定和可控。尤其在企业应用、专业服务和高风险场景中模型安全性、可解释性和一致性会成为重要评价指标。8. MetaMeta 以开源为核心2022 年发布OPT、Llama系列2023 年推出Llama27B-70B开源可商用性能接近 GPT-3推动全球开源大模型生态繁荣。8.1 OPT-IMLOPT-IML是基于Meta的OPT模型的预训练语言模型拥有1750亿个参数。OPT-IML经过微调以在自然语言任务如问答、文本摘要和翻译中获得更好的性能使用了约2000个自然语言任务进行训练。它在训练过程中更高效并且比OpenAI的GPT-3具有更低的CO₂排放量。8.2 BlenderBot-3BlenderBot 3是一个可以与人交互并接收反馈以提高对话能力的对话代理。BlenderBot 3是基于Meta AI公开提供的OPT-175B语言模型构建的该模型的规模大约是其前身BlenderBot 2的58倍。该模型融合了人格、共情和知识等对话技能并通过利用长期记忆和搜索互联网来进行有意义的对话。8.3 LlamaLLaMA是拥有7B到65B参数的基础语言模型。作者在数万亿令牌上进行了训练并展示了使用公开可用数据集训练最先进的模型是可能的而不必依赖于专有和不可访问的数据集。其中LLaMA-13B在大多数基准测试中优于GPT-3175B而LLaMA-65B与最佳模型Chinchilla-70B和PaLM-540B具有竞争力。8.4 Llama2Llama 2一个包括从 70 亿到 700 亿个参数的预训练和优化的大型语言模型 (LLM) 集合。其中的 Llama 2-Chat 是针对对话场景优化的 LLM并在大多数测试的基准上表现优于开源聊天模型。9. AI21 LabsAI21 Labs推出的Jurassic-1平台提供Jumbo等大规模语言模型支持文本生成、问答、分类等任务强调灵活性与商业化部署。Jurassic-1是AI21 Labs推出的开发者平台为构建应用程序和服务提供最先进的语言模型。它提供了两个模型其中包括Jumbo版本是迄今为止发布的最大、最复杂的通用语言模型。这些模型非常灵活能够生成类似于人类的文本并解决诸如问答和文本分类等复杂任务。10. 国外大模型发展的主要趋势综合上述机构和模型可以看到国外大模型发展呈现以下趋势。第一模型能力从单一语言任务走向综合智能。早期模型主要聚焦文本理解或生成后续模型逐渐扩展到代码、图像、语音、机器人和多模态推理。第二竞争重点从参数规模转向效率优化。Chinchilla、Switch Transformer、GLaM 等模型说明训练数据、稀疏激活、计算预算和推理成本同样决定模型价值。第三模型对齐成为核心能力。InstructGPT、ChatGPT、Claude、Sparrow 等模型都在解决同一个问题如何让大模型更符合人类意图并减少虚假、有害和不可控输出。第四闭源能力与开源生态并行发展。OpenAI、Anthropic 等机构依托闭源模型提供强能力服务Meta 的 LLaMA 系列则推动开源生态快速发展为本地部署和行业微调提供基础。第五大模型正在与产业产品深度融合。微软将 OpenAI 能力接入 Office、Bing、GitHub Copilot 和 Azure说明大模型的商业价值不只在模型本身更在于与办公、搜索、开发、设计和企业服务等场景结合。11. 结论国外大模型的发展本质上是算法架构、数据规模、算力基础设施、训练工程、模型对齐和商业生态共同演进的结果。从 Transformer 到 BERT从 GPT-3 到 ChatGPT从 Chinchilla 到 Claude再到 LLaMA 开源生态大模型已经从单一技术突破发展为覆盖研究、平台、产品和产业应用的系统工程。未来国外大模型的竞争将不再只是“谁的参数更多”而是“谁能在更低成本下提供更强、更安全、更可控、更容易落地的智能能力”。对于国内研究者和开发者而言理解国外大模型的发展脉络有助于判断技术趋势、选择研究方向并在垂直领域应用中找到更具现实价值的突破口。参考文献[1] Achiam J, Adler S, Agarwal S, et al. Gpt-4 technical report[J]. arXiv preprint arXiv:2303.08774, 2023.[2] Bommasani R, Hudson D A, Adeli E, et al. On the opportunities and risks of foundation models[J]. arXiv preprint arXiv:2108.07258, 2021.[3] Zhao W X, Zhou K, Li J, et al. A survey of large language models[J]. Frontiers of Computer Science, 2026, 20(12): 2012627.[4] Driess D, Xia F, Sajjadi M S M, et al. Palm-e: An embodied multimodal language model[J]. arXiv preprint arXiv:2303.03378, 2023.[5] Hoffmann J, Borgeaud S, Mensch A, et al. Training compute-optimal large language models[J]. arXiv preprint arXiv:2203.15556, 2022, 10.[6] Touvron H, Lavril T, Izacard G, et al. Llama: Open and efficient foundation language models[J]. arXiv preprint arXiv:2302.13971, 2023.[7] Bai Y, Kadavath S, Kundu S, et al. Constitutional ai: Harmlessness from ai feedback[J]. arXiv preprint arXiv:2212.08073, 2022.[8] Lieber O, Sharir O, Lenz B, et al. Jurassic-1: Technical details and evaluation[J]. White Paper. AI21 Labs, 2021, 1(9): 1-17.Tips下一讲我们将进一步探讨脑电信号分析的其他内容。以上就是国外大模型发展综述的全部内容啦~我们下期再见拜拜(⭐v⭐) ~Ps有代码实现需求请见下列【微信名片】或【主页信息】谢谢支持~
