2023年排行前五的大规模语言模型(LLM)

这篇具有很好参考价值的文章主要介绍了2023年排行前五的大规模语言模型(LLM)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

2023年排行前五的大规模语言模型(LLM)

截至2023年,人工智能正在风靡全球。它已经成为热门的讨论话题,吸引了数百万人的关注,不仅限于技术专家和研究人员,还包括来自不同背景的个人。人们对人工智能热情高涨的原因之一是其在人类多年来处理的各种形式的领域中所具备的能力,其中包括语言。语言是人类生活的一个组成部分,它帮助我们交流,理解我们周围的事物,甚至帮助我们思考。但是,如今人工智能已经更有能力处理与人类水平甚至高于人类水平的语言。这是由于自然语言处理(NLP)和大型语言模型(LLMs)的进步,ChatGPT的背后就是其中之一,这是总部位于旧金山的初创公司OpenAI的伟大创举。但是,OpenAI成为成功将其LLM技术推向公众的公司之一。有许多大型和小型公司构建了许多此类类型的大型语言模型。在本文中,我们将概述大型语言模型以及世界上一些先进的LLM,准确地说,我们将讨论其中的5个。需要注意的是,这些LLM的列表是通过各种来源的研究编制的,并不是基于排名的。

大型语言模型的精髓

近年来,自然语言处理(NLP)因计算机能够存储和处理大量自然文本数据的能力而受到迅猛发展。NLP的应用可以在我们使用了几十年的各种技术中看到,如语音识别、聊天机器人等。自从机器学习出现以来,科学家们开始将NLP与最先进的机器学习技术相结合,以更高效地处理文本。但是,最近NLP由于强大的大型语言模型(LLMs)的出现而变得更加流行。

那么什么是大型语言模型,为什么它们如此强大?语言模型基本上是一种特殊类型的机器学习模型,可以高效地学习、理解和处理人类语言。通过从包含文本的数据集中学习,语言模型可以高度准确地预测下一个词或句子。但是,当它们变得更大时,它们变得更加有趣和特殊。LLMs在非常大的文本数据集(数百万或数十亿的文本数据)上进行了训练,并且需要大量的计算能力。比较之下,如果说语言模型就像花园,那么大型语言模型就像是茂密的森林。

LLMs如何工作?

正如我们所说,LLMs是机器学习模型,它们可以通过文本做很多事情,例如将一种语言翻译成另一种语言,生成语言,回答问题等。但是它们是如何做到的呢?建立LLMs的可能性来自Google研究人员提出的一种特殊类型的神经网络架构,称为Transformer。

Transformer是一种专门用于在文本数据中执行魔术的神经网络类型。它们非常适合有效地进行扩展,并且可以在非常大的文本语料库上进行训练,甚至是数十亿甚至数万亿的文本!此外,与其他类型的神经网络(如循环神经网络)相比,变压器可以更快地进行训练。更有趣的是,Transformer可以并行训练,这意味着可以同时利用多个计算资源(例如CPU或GPU)来加速学习过程,而RNN只能顺序处理数据。

变压器模型的另一个有趣的特点是自我注意技术。这种机制使得变压器能够学习语言的潜在含义,而不仅仅是逐个产生随机相关的文本。由于具备了这种能力,今天的语言模型不仅仅是逐个输出文本,而且它们通过提供大量的文本数据来学习语言的实际含义(就像人类一样),包括语法、语义和上下文。

Google开发的Transformer模型的发明在人工智能和自然语言处理(NLP)领域取得了重大的成就。借助这种Transformer模型,许多大型、小型甚至初创公司正在构建LLMs,并将其用于不同的目的,如技术聊天支持、语音助手、内容生成、聊天机器人等等。我们无法讨论当今存在的每个LLMs,因为它们有很多。因此,现在,让我们讨论2023年世界上存在的最先进的5个LLMs,这些LLMs如下:

1、GPT-4(OpenAI)

2023年排行前五的大规模语言模型(LLM),语言模型,人工智能,自然语言处理

GPT-4,全称为Generative Pre-trained Transformer-4,是OpenAI最先进且高度复杂的大型语言模型。它是继成功推出搭载GPT-3.5的ChatGPT后于2023年3月14日发布的第四代语言模型。它配备了一流的推理和创造能力,超越了人们的想象。GPT-4是一个庞大的神经网络,包含着惊人的1万亿参数,并在包含来自各种编程语言的代码在内的大型文本数据集上进行了训练。此外,GPT-4不仅精通文本处理,还展现出处理视觉数据(包括图像)的能力。凭借其从文本和视觉输入中理解和生成内容的能力,可以认为GPT-4是一种强大的多模态人工智能,连接了语言和视觉领域。

GPT-4的另一个有趣功能是它可以在单个请求中处理的数据量。OpenAI的前任语言模型可以在单个请求中处理多达3000个标记,但GPT-4可以在一个请求中处理多达25000个标记。这非常大,您实际上可以要求GPT-4在一次操作中对整个10页PDF进行摘要。

更有趣的是,OpenAI的科学家和研究人员表示,GPT-4具有人工通用智能(AGI)的一瞥,而许多科学家认为在未来40或50年内可能不太可能实现。然而,根据OpenAI的博客文章,GPT-4并不是一个完美的系统,它可能会出现幻觉和错误的回答。

2、GPT-3(OpenAI)

2023年排行前五的大规模语言模型(LLM),语言模型,人工智能,自然语言处理

GPT-3,全称为Generative Pre-trained Transformer 3,是另一个基于Transformer的令人印象深刻的语言模型,于2020年6月11日由OpenAI推出,在2023年仍然是市场上最先进的LLMs之一。它使用先进的深度学习技术,如Transformer和注意机制,来处理和生成与人类编写的文本难以区分的文本。

从本质上讲,GPT-3非常庞大,大约有1750亿个参数,使用先进的自然语言处理(NLP),并在包含维基百科、WebText2、书籍、文章和代码等各种来源的数千兆字节的文本数据集上进行了训练。这种复杂性使得GPT-3在语言处理方面具有卓越的能力,包括文本生成、语言翻译和问题回答。此外,GPT-3在GitHub的大部分内容上进行了广泛的训练,使其在各种编程语言和概念的广泛范围内都具备了专业知识。

在GPT-3取得成功后,该公司再次推出了GPT-3的增强版本,称为GPT-3.5,它正在驱动ChatGPT。

3、Gopher(DeepMind)

2023年排行前五的大规模语言模型(LLM),语言模型,人工智能,自然语言处理

Gopher是由Google DeepMind开发的AI语言模型,专门针对阅读理解、事实核查、理解有毒语言以及逻辑和常识任务等任务进行了训练。

DeepMind的研究人员开发了一系列的语言模型,从4400万参数到2800亿参数,这些模型在来自各种来源的大量文本上进行了训练。在这些语言模型中,2800亿参数的模型在语言理解和生成方面表现出更强的能力,他们称之为Gopher。在他们的研究中,他们发现Gopher在各种任务中超越了现有的语言模型,并达到了人类水平的专业水平,包括大规模多任务语言理解(MMLU),这是用于衡量大型语言模型理解和回应各种语言任务能力的新基准。这项研究表明,与其他语言模型(包括GPT-3)相比,Gopher在数学、科学、技术、人文学科和医学等领域表现出色。

Gopher的设计目标是在基于对话的互动中表现出色,从而使其能够通过聊天式的回应来解释甚至复杂的主题。如果您访问他们的公司博客,您可以看到Gopher以非常简单的术语解释细胞生物学的例子。

4、PaLM(Google)

2023年排行前五的大规模语言模型(LLM),语言模型,人工智能,自然语言处理

PaLM,全称为Pathways Language Model,是Google的一种先进的语言模型,旨在在单一模型内概括多个领域。它使用Pathways架构更好地理解语言,并消除了现有语言模型(如特定领域性、单一性等)的一些局限性。Pathways是一种相对较新且在Google进行的研究中不断改进的神经网络架构。Pathways使得AI系统能够在多个领域中表现出色,而不仅仅是专注于一组单一的任务。它还使得AI模型成为多模态的,这意味着它们可以同时处理和理解来自不同模态(如文本、图像和音频)的信息。

PaLM是一个基于Transformer的语言模型,具有5400亿个参数,它在语言理解、问题回答、算术、代码、语言翻译、逻辑推理、对话等各个领域表现出卓越的性能。更有趣的是,Google的研究人员将其PaLM模型整合到了一个真实世界的机器人中,通过添加传感信息和机器人手势和控制。这个机器人可以通过其PaLM大脑执行各种任务,包括进行与人类的有意义对话、理解并响应口头指令、自主导航、使用机器臂操纵物体以及执行各种现实世界的任务。

PaLM是Google正在积极追求的研究领域之一,该公司正在开发新的、高性能的PaLM版本。事实上,他们最近推出了PaLM-2,该模型具有令人印象深刻的推理、编码和多语言能力。

5、LaMDA(Google)

2023年排行前五的大规模语言模型(LLM),语言模型,人工智能,自然语言处理

LaMDA,全称为Language Model for Dialogue Applications,是Google于2020年早期进行的研究中开发的另一种语言模型。与其他语言模型不同,LaMDA主要在基于对话的文本上进行训练,这对于对话非常有利。由于在对话中进行了训练,LaMDA在进行人类水平有意义的对话方面表现出了异常的技能。LaMDA的这种能力非常出色,Google的一位前员工甚至认为LaMDA是有思想的。

LaMDA基于先进的NLP技术,采用了基于Transformer的神经网络模型。根据Google的研究人员表示,将基于Transformer的模型与对话相结合,有可能使大型语言模型更擅长进行人类水平的对话,甚至最终可以学会谈论几乎任何事情。此外,在大量对话文本中进行训练后,可以使用强化学习对LaMDA进行微调,使其在基于对话的任务中更难以区分出AI。

在2023年2月,Google将其最新版本的LaMDA集成到了名为Bard的聊天机器人中,该机器人现在在全球范围内可用。然而,Google表示,他们已经将Bard背后的技术从LaMDA替换为PaLM-2。

其他值得一提的提名

LLaMA(Meta AI):LLaMA(Large Language Model Meta AI)是由Meta(前Facebook)开发的一系列开源LLMs。其中,LLaMA 1于2023年2月发布,被认为是最佳的开源语言模型之一,可用于各种NLP任务,而无需支付任何费用,除非您可能需要在家中运行GPU。LLaMA 1的第一个版本包括7、13、33和65亿个参数模型。其中,Meta的研究人员发现,13亿个参数的模型在大多数NLP任务中表现比GPT-3(1750亿)更好。65亿模型的表现更佳,可能与Google的PaLM模型竞争。

Claude(Anthropic):Claude是由Anthropic开发的一种类似于GPT-3的大型语言模型。与其他LLMs不同,Claude的训练数据集主要由人类作者手动创建的,而不是自动收集的数据。这使得Claude能够更好地理解并生成高质量的文本。此外,Anthropic表示Claude不是一个通用的大型语言模型,而是一个以人类作为参考的模型,其目标是在编写时提供帮助和指导,而不仅仅是生成文本。

总结

在人工智能迅速发展的今天,大型语言模型(LLMs)已经成为人们热议的话题。它们在自然语言处理(NLP)领域取得了巨大的成功,并且已经广泛用于各种应用,从文本生成到问题回答,再到对话式AI。我们看到了许多公司不断推出越来越强大的LLMs,这些模型在语言理解和生成方面超越了以前的记录。在2023年,像GPT-4、GPT-3、Gopher、PaLM和LaMDA等最先进的LLMs展示了人工智能在理解和处理人类语言方面的显著进展。不过,这些模型仍然面临挑战,如幻觉、错误回答等,但它们仍然为科研、商业和创新提供了巨大的机会。随着技术不断演进,LLMs可能会在更多领域带来创新,为人类生活带来积极的影响。

博文参考:
https://www.pycodemates.com/2023/06/large-language-models-overview-and-types-of-llm.html文章来源地址https://www.toymoban.com/news/detail-667267.html

到了这里,关于2023年排行前五的大规模语言模型(LLM)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 阿里云通义千问开源第二波!大规模视觉语言模型Qwen-VL上线魔搭社区

    通义千问开源第二波!8月25日消息,阿里云推出大规模视觉语言模型Qwen-VL,一步到位、直接开源。Qwen-VL以通义千问70亿参数模型Qwen-7B为基座语言模型研发,支持图文输入,具备多模态信息理解能力。在主流的多模态任务评测和多模态聊天能力评测中,Qwen-VL取得了远超同等规

    2024年02月11日
    浏览(32)
  • 人工智能大模型技术基础系列之:大规模模型蒸馏

    作者:禅与计算机程序设计艺术 在深度学习的发展过程中,数据量越来越大,训练模型所需的时间也越来越长。如何降低模型训练时间、提升模型精度,一直是研究者们面临的问题。模型蒸馏(Model Distillation)技术被提出用于解决这个问题。它的核心思想是通过对一个大型的复

    2024年02月08日
    浏览(40)
  • 【第73篇】InternImage:探索具有可变形卷积的大规模视觉基础模型

    官方源码:https://github.com/OpenGVLab/InternImage 论文:https://arxiv.org/abs/2211.05778 官方博客:https://zhuanlan.

    2024年02月05日
    浏览(27)
  • 从0到1:如何建立一个大规模多语言代码生成预训练模型

    国产AI辅助编程工具 CodeGeeX 是一个使用AI大模型为基座的辅助编程工具,帮助开发人员更快的编写代码。可以自动完成整个函数的编写,只需要根据注释或Tab按键即可。它已经在Java、JavaScript和Python等二十多种语言上进行了训练,并基于大量公开的开源代码、官方文档和公共论

    2024年01月17日
    浏览(27)
  • MinHash-LSH 哈希模糊去重:如何解决医学大模型的大规模数据去重?

      问题:训练医学大模型的数据规模真的很大,其中会夹杂很多重复数据。 重复数据对于大模型微调也有较大影响,数据集必须去重后再用于模型训练。 临床数据: 20 亿条文本数据 教材数据: 1000+ 本指南 7万+ 药品说明书 N 个科室疾病培训数据 N 本古籍、教材 … 开源数据

    2024年01月19日
    浏览(30)
  • 大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes

    语言模型一直在变大。截至撰写本文时,PaLM 有 5400 亿参数,OPT、GPT-3 和 BLOOM 有大约 1760 亿参数,而且我们仍在继续朝着更大的模型发展。下图总结了最近的一些语言模型的尺寸。 由于这些模型很大,因此它们很难在一般的设备上运行。举个例子,仅推理 BLOOM-176B 模型,你就

    2023年04月26日
    浏览(42)
  • 基于Spark的大规模日志分析

    摘要: 本篇文章将从一个实际项目出发,分享如何使用 Spark 进行大规模日志分析,并通过代码演示加深读者的理解。 本文分享自华为云社区《【实战经验分享】基于Spark的大规模日志分析【上进小菜猪大数据系列】》,作者:上进小菜猪。 随着互联网的普及和应用范围的扩

    2024年02月09日
    浏览(41)
  • LLaMA(大规模机器学习和分析)

    LLaMA(大规模机器学习和分析)是一个先进的软件平台,是Meta 推出 AI 语言模型 LLaMA,一个有着 上百亿数量级参数的大语言模型用于大规模部署和管理机器学习模型。借助LLaMA,组织可以高效地在大型数据集上训练和部署模型,缩短投放市场的时间,并提高预测模型的准确性。

    2024年02月11日
    浏览(40)
  • ChatGPT大规模封锁亚洲地区账号

    我是卢松松,点点上面的头像,欢迎关注我哦! 在毫无征兆的情况下,从3月31日开始OpenAI大规模封号,而且主要集中在亚洲地区,特别是ip地址在台湾、日本、香港三地的,命中率目测40%。新注册的账号、Plus也不好使了。 如果你登陆的时候出现“提示无法加载历史信息”或

    2023年04月09日
    浏览(44)
  • etcd实现大规模服务治理应用实战

         导读 :服务治理目前越来越被企业建设所重视,特别现在云原生,微服务等各种技术被更多的企业所应用,本文内容是百度小程序团队基于大模型服务治理实战经验的一些总结,同时结合当前较火的分布式开源kv产品etcd,不仅会深入剖析ectd两大核心技术Raft与boltdb的实

    2024年02月12日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包