原作:伊格纳西奥·德格雷戈里奥
引言:语言时代的终结?
昨天,AI 领域的另一个关键参与者 Anthropic 宣布了生成式 AI 王座的新竞争者,即 Claude 的最新版本 Claude 3。
它展示了三种模型Opus、Sonnet 和 Haiku ,每种模型都适用于特定的场景,一些初步结果显示它们是当今最强大的多模态大型语言模型(MLLMs)系列,超越了谷歌的 Gemini 1.5 和 OpenAI 的 GPT-4。
但这个消息远不止表面上看到的那么简单。
这也许是我们这个时代伟大 MLLM 模型的最后之作,为进入全新的 AI 模型让路,比如 GPT-5 或臭名昭著的 Q*,它们将与我们今天看到的模型截然不同且出奇地优越。
实际上,这个模型可能会如此强大,以至于埃隆·马斯克 (Elon Musk) 起诉 OpenAI,指控他们涉嫌隐瞒他们在内部实现通用人工智能 (AGI) 的事实。
他们对这些模型的了解可能比您想象的还要多。
新的王位继承人
昨天,一家由谷歌和亚马逊等全球一些最强大的组织投资的公司Anthropic,宣布推出了他们有史以来最强大的模型。
Opus、Sonnet 和 Haiku
这款新的Claude 3系列模型被Anthropic归类为“智能intelligence”:
-
Opus:根据其在任务自动化、研发和战略分析方面出色的表现,Opus 可能是世界上最有能力和最智慧的模型。它是 Gemini 1.5 和 GPT-4 的直接竞争对手。
-
Sonnet是“性价比最高”的版本,虽然在某些方面落后于最顶尖的模型,但速度更快、成本更低。初步结果显示,对于企业使用情景而言,可能是目前最佳选择。
-
Haiku是体积较小、能力较弱的模型,但仍然强大且速度极快,最初设计用于需要低延迟和实时交互的场景,同时拥有更低的成本。
如果我们查看基准,就基于文本的评估而言,结果无疑将它们定位为最佳合体(尽管与 2023 年 3 月的 GPT-4 结果相比,因此请记住这一点):
在计算机视觉评估方面,它们紧随Gemini 1.0(以及可能的Gemini 1.5)之后:
结果令人印象深刻。
展望未来,从 Claude 的发布中我们还意识到,长序列建模已成为先进研究实验室的默认选项。
达到 100 万……甚至更多
几周前,谷歌声称将 Gemini 的上下文窗口增加到一百万token以上,令全世界感到惊讶。
而现在, Claude 也在做着同样的事情。
但什么是上下文窗口?
在 LLMs 的情况下,它是模型在任何给定时间可以处理的token、单词或子词的最大数量。
通俗地说,它是模型的工作空间,或者说是它的记忆,它被定义为一个特定的最大值,以避免 Transformer 的2次方计算复杂度,因为序列加倍会使计算量增加四倍。
例如,如果 Claude 3 的上下文窗口是 100 万个 token,这意味着该模型可以一次性同时摄取大约 75万个单词。作为参考,这比《哈利·波特》前五本书的总和还要多,这意味着您可以将它们全部输入模型并提出问题。
它通过近乎完美的检索来完成这一切,如下图所示(尽管只显示了 200k 个令牌)。当面对“大海捞针”问题时(即研究人员在极长序列中放置一个不相关的、具体的信息片段,并要求模型检索它),平均准确率超过 99%。
但昨天发生的另一件事让人们震惊了。
拥有自我意识的模型?
在测试“大海捞针”问题时,Anthropic的一组研究人员注意到了一些非同寻常的事情:
这个模型似乎意识到自己正在接受测试,仿佛它‘知道’自己正经历着什么。
具体来说,它回应道:
“我怀疑这个披萨配料的‘事实’可能是作为一个玩笑被插入到文档,或者是用来测试我是否在集中注意力,因为它根本不符合其他主题。这些文档中没有包含任何关于披萨配料的信息。”
这种元认知水平无疑令人印象深刻,也同样令人恐惧。
不过,有一个可能的解释。
在人类反馈强化学习(RLHF)阶段,研究人员可能会与模型分享几个这样的回应,以便让它学习这种模式,即每当提出一个非常具体、看似无关的问题时,怀疑这是一个评估,并提出这个问题。
尽管如此,还是令人印象深刻。
此外,据称该模型现在回答问题更加细致入微,这已成为最近的热门话题,基于Gemini最近受到反击,导致谷歌的估值下跌了900亿美元,因为 Gemini 由于对白人存在严重偏见而给出了事实上不真实的回答。
话虽如此,说实话,这似乎并未超越我们之前的技术水平。
它是一种改进,但它也几乎比竞争对手晚了一年,并且在某种程度上超过了它(至少从基准测试的角度来看,这需要再三斟酌)。
换句话说,我们可能正在见证独立LLMs 所能实现的极限。
事实上,OpenAI 似乎完全不关心 ChatGPT 可以被认为是迄今为止生产中第三好的模型,这让我相信他们正在准备的不仅仅是对 Gemini 1.5 或 Claude 3 的简单改进。
而是一种新型野兽。
从 GPT-4 到 GPT-5……或者 Q*?
我越来越相信 OpenAI 的下一个模型将是革命性的。
DALL-E 之父、参与 OpenAI 最新顶尖模型 Sora 开发的主要研究人员之一 Aditya Ramesh 昨天发布的推文让我对其更加确信。
我们是否即将见证前沿模型的支柱发生转变?
如果是这样,可能会有两种方式。
将语言与搜索结合
许多著名的研究人员,包括Google Deepmind的CEO Demis Hassabis在内,长期以来一直建议LLMs的未来是将它们与搜索算法结合,类似于AlphaGo,这是2017年首个击败世界顶尖人类棋手的AI。
1996年,加里·卡斯帕罗夫(Garry Kaspárov)被深蓝击败,但冠军仍然以4-2获胜。
在AlphaGo的案例中,它羞辱了人类。
这种新架构范式的本质很简单,并且基于一个被广泛接受但尚未完全理解的关键原则。
token越多,结果就越好。
或者,通俗地说,模型思考的时间越长,结果越好。
但这是什么意思呢?
嗯,这涉及对人类思维的两种模式进行简要审视。
思考快与慢
当您prompt一个模型时,它会自动开始工作并以极快的速度做出响应,回答迅速,毫不犹豫。
这与人类在被问到“2+2等于多少?”时的思考方式非常相似,这会促使你的大脑毫无疑问地本能地回答“4”。
根据丹尼尔·卡尼曼的两种思维模式理论,这被称为“系统1”思维,即快速且无意识的思维。
但如果我问你“24323.78 的平方根是多少?”。嗯,在这种情况下,您将花费更多时间,进入“系统2”思维模式,这是缓慢、深思熟虑且完全有意识的思维模式,这样才能给出最佳的结果。
因此,如果我们知道他们在解决问题时投入的计算和token越多越好,我们如何将这种“系统 2”思维灌输到 LLMs 中呢?
对于当前的 LLMs,您最好的机会是使用思想链 (CoT) 技术,在最简单的情况下,该技术要求模型“慢慢来”。
这对模型有很大帮助,因为它会吸引模型真正花时间回答和改进结果。
但更先进的提示技术,如姚等人的“思维树”(ToT),走得更远,实质上‘强制’LLM探索任何给定prompt的可能答案领域。
简单来说,它引诱 LLM 去探索不同的可能答案,就像你在尝试解决复杂的数学问题时所做的那样。
不幸的是,ToT意味着使用一个非常复杂的框架,其中必须多次提示 LLM 才能创建这种探索机制。
然而,我们已经有了这类实现的例子。
Alphacode 2,首创之作
与谷歌在11月发布Gemini 1.0同时,他们还发布了Alphacode 2,这是一款与搜索算法相结合的 Gemini Pro LLM,在运行时,对用户提示采样了多达一百万个可能的答案,就像一个人尝试了一百万种不同方式来解决问题,直到找到满意的答案。
这种解决方案极大地增加了成功的机会,使Alphacode 2在竞争编程中跻身85%的排位(在全球最优秀15%中),与一些世界顶尖开发人员竞争。
尽管这些模型的部署成本非常昂贵,但它们所带来的前景是巨大的,以至于许多人认为OpenAI泄露的模型Q包含某种类似的实现方式,但结合使用了 Q-learning 和 A* 搜索算法。
这些技术是什么?
简单来说,Q 学习帮助模型找到 Q 函数,即允许模型做出最大化未来奖励的最佳决策的策略。您可以将其视为一种决策策略,模型将考虑未来可能的最大回报来选择前进的道路。
A*(A-star)算法是一种搜索算法,它将帮助模型探索不同问题的可能答案。
结合使用,您会得到一个“超级LLM”,它不像今天那样匆忙地回答问题,而是会仔细评估解决问题的不同方法和解决方案,直到选择最好的方法和解决方案。
然而,我们可以更进一步。
视频,下一件大事
最近,我看到了几篇研究论文,表明我们可能即将看到人工智能的一场巨大转变,从语言作为大多数前沿模型的支柱(即LLM),转向视频模型。
换句话说,像Sora这样的模型可能是一个时代的黎明,基础模型通过无监督视频观察来学习世界,而不是通过文本。
考虑到视频比文本更能表达世界,实现这一点可能会导致人工智能能力的巨大飞跃,以至于它可以让我们更接近通用人工智能。
OpenAI 发布的 Sora(他们将其定义为“世界模拟器”)是否可能不仅仅是对 LLMs 的偏离,而是表明我们正在从文本转向领域视频?文章来源:https://www.toymoban.com/news/detail-837698.html
我们不知道这一点,但是OpenAI对Anthropic发布的沉默告诉我,我们很快就会看到一个完全不同的野兽。文章来源地址https://www.toymoban.com/news/detail-837698.html
到了这里,关于【译】Claude 3, ChatGPT, 和 LLM 的消亡的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!