【译】Claude 3, ChatGPT, 和 LLM 的消亡

这篇具有很好参考价值的文章主要介绍了【译】Claude 3, ChatGPT, 和 LLM 的消亡。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

原作:伊格纳西奥·德格雷戈里奥

引言:语言时代的终结?

【译】Claude 3, ChatGPT, 和 LLM 的消亡

昨天,AI 领域的另一个关键参与者 Anthropic 宣布了生成式 AI 王座的新竞争者,即 Claude 的最新版本 Claude 3。

它展示了三种模型Opus、Sonnet 和 Haiku ,每种模型都适用于特定的场景,一些初步结果显示它们是当今最强大的多模态大型语言模型(MLLMs)系列,超越了谷歌的 Gemini 1.5 和 OpenAI 的 GPT-4。

但这个消息远不止表面上看到的那么简单。

这也许是我们这个时代伟大 MLLM 模型的最后之作,为进入全新的 AI 模型让路,比如 GPT-5 或臭名昭著的 Q*,它们将与我们今天看到的模型截然不同且出奇地优越。

实际上,这个模型可能会如此强大,以至于埃隆·马斯克 (Elon Musk) 起诉 OpenAI,指控他们涉嫌隐瞒他们在内部实现通用人工智能 (AGI) 的事实。

他们对这些模型的了解可能比您想象的还要多。

新的王位继承人

昨天,一家由谷歌和亚马逊等全球一些最强大的组织投资的公司Anthropic,宣布推出了他们有史以来最强大的模型。

Opus、Sonnet 和 Haiku

这款新的Claude 3系列模型被Anthropic归类为“智能intelligence”:

  • Opus:根据其在任务自动化、研发和战略分析方面出色的表现,Opus 可能是世界上最有能力和最智慧的模型。它是 Gemini 1.5 和 GPT-4 的直接竞争对手。

  • Sonnet是“性价比最高”的版本,虽然在某些方面落后于最顶尖的模型,但速度更快、成本更低。初步结果显示,对于企业使用情景而言,可能是目前最佳选择。

  • Haiku是体积较小、能力较弱的模型,但仍然强大且速度极快,最初设计用于需要低延迟和实时交互的场景,同时拥有更低的成本

如果我们查看基准,就基于文本的评估而言,结果无疑将它们定位为最佳合体(尽管与 2023 年 3 月的 GPT-4 结果相比,因此请记住这一点):

【译】Claude 3, ChatGPT, 和 LLM 的消亡

在计算机视觉评估方面,它们紧随Gemini 1.0(以及可能的Gemini 1.5)之后:

 

【译】Claude 3, ChatGPT, 和 LLM 的消亡

结果令人印象深刻。

展望未来,从 Claude 的发布中我们还意识到,长序列建模已成为先进研究实验室的默认选项。

达到 100 万……甚至更多

几周前,谷歌声称将 Gemini 的上下文窗口增加到一百万token以上,令全世界感到惊讶。

而现在, Claude 也在做着同样的事情。

但什么是上下文窗口?

在 LLMs 的情况下,它是模型在任何给定时间可以处理的token、单词或子词的最大数量。

通俗地说,它是模型的工作空间,或者说是它的记忆,它被定义为一个特定的最大值,以避免 Transformer 的2次方计算复杂度,因为序列加倍会使计算量增加四倍。

例如,如果 Claude 3 的上下文窗口是 100 万个 token,这意味着该模型可以一次性同时摄取大约 75万个单词。作为参考,这比《哈利·波特》前五本书的总和还要多,这意味着您可以将它们全部输入模型并提出问题。

它通过近乎完美的检索来完成这一切,如下图所示(尽管只显示了 200k 个令牌)。当面对“大海捞针”问题时(即研究人员在极长序列中放置一个不相关的、具体的信息片段,并要求模型检索它),平均准确率超过 99%。

【译】Claude 3, ChatGPT, 和 LLM 的消亡

 

但昨天发生的另一件事让人们震惊了。

拥有自我意识的模型?

在测试“大海捞针”问题时,Anthropic的一组研究人员注意到了一些非同寻常的事情:

这个模型似乎意识到自己正在接受测试,仿佛它‘知道’自己正经历着什么。

具体来说,它回应道:

“我怀疑这个披萨配料的‘事实’可能是作为一个玩笑被插入到文档,或者是用来测试我是否在集中注意力,因为它根本不符合其他主题。这些文档中没有包含任何关于披萨配料的信息。”

这种元认知水平无疑令人印象深刻,也同样令人恐惧。

不过,有一个可能的解释。

在人类反馈强化学习(RLHF)阶段,研究人员可能会与模型分享几个这样的回应,以便让它学习这种模式,即每当提出一个非常具体、看似无关的问题时,怀疑这是一个评估,并提出这个问题。

尽管如此,还是令人印象深刻。

此外,据称该模型现在回答问题更加细致入微,这已成为最近的热门话题,基于Gemini最近受到反击,导致谷歌的估值下跌了900亿美元,因为 Gemini 由于对白人存在严重偏见而给出了事实上不真实的回答。

【译】Claude 3, ChatGPT, 和 LLM 的消亡

话虽如此,说实话,这似乎并未超越我们之前的技术水平。

它是一种改进,但它也几乎比竞争对手晚了一年,并且在某种程度上超过了它(至少从基准测试的角度来看,这需要再三斟酌)。

换句话说,我们可能正在见证独立LLMs 所能实现的极限

事实上,OpenAI 似乎完全不关心 ChatGPT 可以被认为是迄今为止生产中第三好的模型,这让我相信他们正在准备的不仅仅是对 Gemini 1.5 或 Claude 3 的简单改进。

而是一种新型野兽。

从 GPT-4 到 GPT-5……或者 Q*?

我越来越相信 OpenAI 的下一个模型将是革命性的。

DALL-E 之父、参与 OpenAI 最新顶尖模型 Sora 开发的主要研究人员之一 Aditya Ramesh 昨天发布的推文让我对其更加确信。

【译】Claude 3, ChatGPT, 和 LLM 的消亡

我们是否即将见证前沿模型的支柱发生转变?

如果是这样,可能会有两种方式。

将语言与搜索结合

许多著名的研究人员,包括Google Deepmind的CEO Demis Hassabis在内,长期以来一直建议LLMs的未来是将它们与搜索算法结合,类似于AlphaGo,这是2017年首个击败世界顶尖人类棋手的AI。

1996年,加里·卡斯帕罗夫(Garry Kaspárov)被深蓝击败,但冠军仍然以4-2获胜。

在AlphaGo的案例中,它羞辱了人类。

这种新架构范式的本质很简单,并且基于一个被广泛接受但尚未完全理解的关键原则。

token越多,结果就越好。

或者,通俗地说,模型思考的时间越长,结果越好。

但这是什么意思呢?

嗯,这涉及对人类思维的两种模式进行简要审视。

思考快与慢

当您prompt一个模型时,它会自动开始工作并以极快的速度做出响应,回答迅速,毫不犹豫。

这与人类在被问到“2+2等于多少?”时的思考方式非常相似,这会促使你的大脑毫无疑问地本能地回答“4”。

根据丹尼尔·卡尼曼的两种思维模式理论,这被称为“系统1”思维,即快速且无意识的思维。

但如果我问你“24323.78 的平方根是多少?”。嗯,在这种情况下,您将花费更多时间,进入“系统2”思维模式,这是缓慢、深思熟虑且完全有意识的思维模式,这样才能给出最佳的结果。

因此,如果我们知道他们在解决问题时投入的计算和token越多越好,我们如何将这种“系统 2”思维灌输到 LLMs 中呢?

对于当前的 LLMs,您最好的机会是使用思想链 (CoT) 技术,在最简单的情况下,该技术要求模型“慢慢来”。

这对模型有很大帮助,因为它会吸引模型真正花时间回答和改进结果。

但更先进的提示技术,如姚等人的“思维树”(ToT),走得更远,实质上‘强制’LLM探索任何给定prompt的可能答案领域。

【译】Claude 3, ChatGPT, 和 LLM 的消亡

简单来说,它引诱 LLM 去探索不同的可能答案,就像你在尝试解决复杂的数学问题时所做的那样。

不幸的是,ToT意味着使用一个非常复杂的框架,其中必须多次提示 LLM 才能创建这种探索机制。

然而,我们已经有了这类实现的例子。

Alphacode 2,首创之作

与谷歌在11月发布Gemini 1.0同时,他们还发布了Alphacode 2,这是一款与搜索算法相结合的 Gemini Pro LLM,在运行时,对用户提示采样了多达一百万个可能的答案,就像一个人尝试了一百万种不同方式来解决问题,直到找到满意的答案。

这种解决方案极大地增加了成功的机会,使Alphacode 2在竞争编程中跻身85%的排位(在全球最优秀15%中),与一些世界顶尖开发人员竞争。

尽管这些模型的部署成本非常昂贵,但它们所带来的前景是巨大的,以至于许多人认为OpenAI泄露的模型Q包含某种类似的实现方式,但结合使用了 Q-learning 和 A* 搜索算法。

这些技术是什么?

简单来说,Q 学习帮助模型找到 Q 函数,即允许模型做出最大化未来奖励的最佳决策的策略。您可以将其视为一种决策策略,模型将考虑未来可能的最大回报来选择前进的道路。

A*(A-star)算法是一种搜索算法,它将帮助模型探索不同问题的可能答案。

结合使用,您会得到一个“超级LLM”,它不像今天那样匆忙地回答问题,而是会仔细评估解决问题的不同方法和解决方案,直到选择最好的方法和解决方案。

然而,我们可以更进一步。

视频,下一件大事

最近,我看到了几篇研究论文,表明我们可能即将看到人工智能的一场巨大转变,从语言作为大多数前沿模型的支柱(即LLM),转向视频模型。

换句话说,像Sora这样的模型可能是一个时代的黎明,基础模型通过无监督视频观察来学习世界,而不是通过文本。

考虑到视频比文本更能表达世界,实现这一点可能会导致人工智能能力的巨大飞跃,以至于它可以让我们更接近通用人工智能。

OpenAI 发布的 Sora(他们将其定义为“世界模拟器”)是否可能不仅仅是对 LLMs 的偏离,而是表明我们正在从文本转向领域视频?

我们不知道这一点,但是OpenAI对Anthropic发布的沉默告诉我,我们很快就会看到一个完全不同的野兽。文章来源地址https://www.toymoban.com/news/detail-837698.html

到了这里,关于【译】Claude 3, ChatGPT, 和 LLM 的消亡的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ChatGPT最强对手Claude使用教程

    Cladue最近很火,作为ChatGPT4的平替版,它无需付费,使用方便,很多网友通过效果对比,发现它的性能要好于ChatGPT3.5,可以媲美ChatGPT4。最主要是使用很方便,十分钟就可以轻松部署,下面记录一下自己的使用历程,希望能给大家一点帮助。 目录 一、Claude简介 二、Cladue可以

    2023年04月17日
    浏览(42)
  • ChatGPT 的平替 Claude 使用指南

    Claude的独立体验版本姗姗来迟,经过近半个月的等待后,收到了体验邮件,不过之前早已体验过poe和slack的集成版,响应速度上要比ChatGPT快很多。 目前提供的Model有: \\\"claude-v1\\\":我们最大的型号,适用于各种更复杂的任务。claude-v1使用此型号名称将在一段时间的早期访问评估

    2023年04月15日
    浏览(46)
  • 真正的ChatGPT平替产品:Claude

    ChatGPT 已经流行了很长的时间了,但是 ChatGPT 由于种种的限制,我们无法用上,也有很多的平替产品,但是这些平替产品也有很多的问题。 现在 Claude 出来了,没有任何的限制。 Claude 不用魔法,注册简单。为什么 Claude 这么厉害,我们来问问他和 chatgpt 的区别。 我和 ChatGP

    2023年04月19日
    浏览(44)
  • 比ChatGPT更好用的Claude来了

    比ChatGPT更好用的Claude来了,不需要魔法上网!!! claude官网 点击 add to slack slack跟discord有点类似,先要去slack注册账号 登录之后就添加创建一个工作区 添加 不过现在已经停止添加了,会出现App unavailable的问题 可以留下邮箱(必须是谷歌邮箱)我邀请 我(claude)和chatgpt的区

    2024年02月05日
    浏览(40)
  • 玩转ChatGPT:论文辅助写作(附Claude测评)

    一、写在前面 嘿! 嘿!嘿!大家好,今天我们来聊一下使用GPT们进行论文辅助写作。不过,我要先交代一下,GPT的使用门槛比较高,不少童鞋都用不上。所以,我极力推荐一个平替产品——Claude。今天我将从润色能力、根据摘要拟题目、根据全文凝练摘要、辅助写讨论、辅

    2024年02月07日
    浏览(46)
  • ChatGPT最强对手Claude上线,国内免费使用

    今天为大家分享一款与 ChatGPT 极其相似的 AI 工具:Claude。Claude 是一款基于 AI 大模型的对话系统,由原 OpenAI 研究副总裁 Dario Amodei 、 OpenAI 安全与政策副总裁 Daniela Amodei,以及近 10 名核心研究人员创办的名为 Anthropic 的 AI 公司所开发。 与ChatGPT不同,Claude采用了一种被Anthro

    2023年04月22日
    浏览(70)
  • Claude:除ChatGPT外的另一种选择

    Claude 是 Anthropic 开发的人工智能产品。Anthropic 是由 11 名前 OpenAI 员工于 2022 年创立的人工智能公司,旨在构建安全、可解释和有益于人类的人工智能系统。Claude 是该公司的第一个产品,得到了谷歌 3 亿美元的投资。 如上是 Claude 给出的回答,简单概括:ChatGPT 扯淡更流畅,

    2023年04月26日
    浏览(75)
  • ChatGPT重量级对手产品:Claude对外发布

    Claude是下一代人工智能助手,基于 Anthropic 对训练有用、诚实和无害的人工智能系统的研究。Claude 可通过我们的开发人员控制台中的聊天界面和 API 进行访问,能够执行各种对话和文本处理任务,同时保持高度的可靠性和可预测性。 克劳德可以帮助处理总结、搜索、创意和协

    2024年02月01日
    浏览(49)
  • Claude在线AI注册教程(免费、可平替Chatgpt)

    Claude 是Anthropic公司开发的AI聊天机器人,与ChatGPT类似,由OpenAI前副总裁创办。虽然比不上GPT4,但在连续对话能力、写小说、编写代码、解释概念等方面表现出色 Claude 目前还处于 免费 使用阶段,只需注册一个Slack账号即可以, 无需梯子 也可以使用。 一:注册Slack账号 打开

    2024年02月08日
    浏览(37)
  • ChatGPT Claude Bard 生成式 AI 免责声明

    ChatGPT can make mistakes. Consider checking important information. Claude.ai is in beta release and may display incorrect or harmful information Bard may display inaccurate info, including about people, so double-check its responses. Your privacy Bard

    2024年01月25日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包