狂追ChatGPT:开源社区的“平替”热潮

这篇具有很好参考价值的文章主要介绍了狂追ChatGPT:开源社区的“平替”热潮。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

狂追ChatGPT:开源社区的“平替”热潮

目前,不少优质的类ChatGPT模型都只能通过API接入,而一些开源LLM的效果与ChatGPT相比差距不小。不过,近期开源社区开始密集发力了。


其中,Meta的LLaMA模型泄漏是开源“ChatGPT”运动的代表性事件。基于LLaMA模型,开源社区近期接连发布了ChatLLaMa、Alpaca、Vicuna、Koala等模型,效果直追GPT-3.5,它也因此成为了开源LLM领域的创新地。

4月12日,Databricks完全开源了12B参数的指令跟随LLMDolly 2.0,包括训练代码、数据集(15000个prompt/response pairs)和模型权重,这些都可以随意商用。Dolly 2.0 基于EleutherAI pythia模型系列而开发。同一天,为了以更低成本、更快速度训练类ChatGPT模型,微软发布了DeepSpeed-Chat。

来自开源社区的“ChatGPT平替”浪潮正在爆发,LLM的生态构建将迎来新变革。

作者 | Toooold

OneFlow编译

翻译 | 贾川

当今,开源社区一直在寻求一种独立于OpenAI和ChatGPT的方法,正如早期的飞行器想要摆脱重力一样。

今年三月初,斯坦福大学AI研究所(Stanford HAI)分享了一种成功方法“Alpaca: A Strong, Replicable Instruction-Following Model(https://github.com/tatsu-lab/stanford_alpaca)”,证明指令调优是一种有前途的方法。于是,这场ChatGPT“平替”的竞争开始了!

(本文在遵循CC BY-NC-SA 4.0协议的基础上由OneFlow编译发布,译文转载请联系OneFlow获得授权。原文:https://toooold.com/2023/04/08/magnificient_underdogs.html?continueFlag=91058ca99dd78323ff38cb1f8e6b2d7c)

1

再思考大型语言模型之“大”

LLM指的是“大型语言模型”,通常认为只有足够大的模型才能达到GPT的性能水平。然而,斯坦福的Alpaca提出了一条重要信息:只需对较小模型进行有限的指令调优,同样也能在重要任务中表现良好。这可以分成两个方面来解释:较小的模型和重要任务。

在Alpaca对Llama的7B模型进行指令调优之前,人们普遍认为模型越大,性能才能达到GPT的水平,而且可能需要一个175B的模型才能够与GPT-3相媲美。Alpaca利用Llama的预训练模型为基础,仅使用来自GPT模型的一个非常小的调优数据集(只有52000个样本),建立了一个具有对话功能的LLM。这表明:在拥有良好的指令调优数据集的情况下,只要语言模型足够强大,就可以达到良好的性能,而不需要非常大的模型来匹配GPT-3。

此外,Alpaca和Llama还表明,LLM并不需要在所有任务中表现得很好。例如,Alpaca和Llama 7B在处理编程相关任务时表现不佳,但在对话和一般任务方面表现良好。指令调优提供的逐步方法是,添加更多知识到Alpaca模型中并利用其已学到的对话功能。例如,通过添加额外的2万个编程特定样本,可以让codealpaca在许多编程任务中表现良好。

另一方面,OpenAI展示了其超大型模型的工程债,例如可用时间有限以及ChatGPT Plus客户每3小时只能进行25个查询等等。这些结果表明:较小的LLM可能是更好的选择。

事实上,现在Llama和Alpaca 7B已经能够运行在最便宜的设备上,如Macbook Air、树莓派4和谷歌Pixel 6手机上,因此它们成为了AI时代的新“毁灭战士”。

它能运行LLaMA 7B吗?这会不会是“它能运行Doom吗”的新表述?——@ylecun

2

更多的ChatGPT开源“平替”加入这场角逐

Llama和Alpaca率先开启了这场角逐,随后更多的LLM模型也加入了其中。它们带来了更多的数据,以改进Alpaca;同时还有更快的调优方法或其他网络结构来代替Llama。

Alpaca需要更多的调优数据。来自“Guanaco: A Multilingual Instruction-Following Language Model Based on LLaMA 7B”(https://github.com/Guanaco-Model/Guanaco-Model.github.io)的Guanaco通过将Alpaca的指令用多种语言重新编写,并添加新的指令以对齐多种语言、理解内容等方式,引入了530k的多语言数据。像“Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model”(https://github.com/Facico/Chinese-Vicuna)和Chinese-LLaMA-Alpaca(https://github.com/ymcui/Chinese-LLaMA-Alpaca)这样的语言特定模型也提供了优化。源自“Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90% ChatGPT Quality”(https://github.com/lm-sys/FastChat#vicuna-weights)的Vicuna则专注于改进Alpaca的聊天功能。

微软的低秩(Low Rank)采用方式“LoRA”对加速tuning起了很大作用。这个想法很好:它将权重“冻结(freezed)”,但“在Transformer架构的每个层中注入可训练的秩分解矩阵(rank decomposition matrices)”,使得调优速度可以提高3倍。LoRA技术不仅对语言模型有用,它还有助于更快地调优文本到图像任务中的稳定扩散(stable diffusion)模型。(https://github.com/cloneofsimo/lora

与此同时,Llama在这个框架中并不是那么重要,可以被替换成其他模型。Meta的Llama不允许对任何代码或权重进行商用。为更加独立,Lit-llama编写了Llama推理代码,但它仍需要使用Llama权重。开源社区提供了一些选择,其中GLM和RWKV是最有前途的两个模型。

GLM(https://arxiv.org/abs/2103.10360)是一系列不同尺寸的模型。它采用的方法与Meta的Llama不同,其6B模型具有聊天功能,可称为ChatGLM。与此同时,RWKV非常独特。它没有跟随像GPT中的堆叠式解码器Transformer结构,而是使用了类似RNN的递归网络,因此其上下文长度在理论上是无限的,而且其推理速度更快,内存成本更低。RWKV可以达到Transformer模型的质量,其对话版本可作为ChatRWKV找到。

当然,我们也没有忘记上一代的GPT家族。Databricks开源了他们使用GPT-neox网络结构和应用指令调优的Dolly。结果也不错!

我们可以在Language Model Evaluation Harness框架(https://github.com/EleutherAI/lm-evaluation-harness)中比较LLM的性能,基准在这里 https://bellard.org/ts_server/。截至目前(2023年4月上旬),这场角逐中LLama的表现最好。

3

更多社区支持

近年来,受Alpaca的启发,使用self-instruct进行精调变得愈发流行。借助框架,微调也变得更加容易。其中,xtuning是一个易于使用且优秀的框架。最近,xtuning宣布使用Alpaca-Lora进行INT4调优(使用GPT-4的知识进行调优也是一个不错的想法),进一步推动了数据采集的发展。GLM团队还提出了更加高效的调优方法,如P-tuning-v2。

社区还推崇脱离GPU的独立性。从3月初开始,像llama.cpp和alpaca.cpp这样的工作提供了工程优化,使得我们能够在CPU上运行量化模型。然而需要明白“天下没有免费的午餐”,量化可能会导致精度等方面的损失,因此需要参考上述LLM基准测试以了解更多细节。

值得一提的是,像llama-index和LangChain这样的下游工具支持将这些开源的GPT竞争对手作为替代后端。请参考这些工具的文档,了解使用自定义LLM的更多细节

https://github.com/jerryjliu/llama_index/blob/main/docs/how_to/customization/custom_llms.md)。

4

Alpaca是完美的方法吗?

Alpaca引起了人们对比赛中这些LLM大模型的关注,但我们也必须承认它们存在一些缺点:法律问题、数据偏见、编码和数学问题。

Alpaca使用Llama作为其源结构,但Llama不允许商用,且其权重未公开,除非通过申请。

alpaca_data.json的52000条指令调优数据具有很好的多样性,但随后研究表明其存在质量问题,可在此处找到修复方法:https://github.com/gururise/AlpacaDataCleaned

GPT-4在数学和推理方面的能力已经更加强大,但Alpaca仍然无法获取足够的调优数据以执行此类任务。

5

总结  

在1910年,一架比空气重的飞行器完成了从伦敦到巴黎的旅行,用时25小时11分钟。当时没有人能想到大约50年后人类会登上月球,这一壮举只有通过人类共同努力探索所有可能性才能实现。

我相信Alpaca是AIGC时代最早的“飞行器”之一,我们很快就会有开源实现来超越GPT模型。

题图源:Midjourney

其他人都在看

  • “ChatGPT们”的淘金时代

  • 大型语言模型的推理演算

  • GPT-4创造者:第二次改变AI浪潮的方向

  • 谷歌科学家:ChatGPT秘密武器的演进与局限

  • 比快更快,开源Stable Diffusion刷新作图速度

  • OneEmbedding:单卡训练TB级推荐模型不是梦

  • GLM训练加速:性能最高提升3倍,显存节省1/3

欢迎Star、试用OneFlow: github.com/Oneflow-Inc/oneflow/http://github.com/Oneflow-Inc/oneflow/文章来源地址https://www.toymoban.com/news/detail-424393.html

到了这里,关于狂追ChatGPT:开源社区的“平替”热潮的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ChatGPT 火了,一大批开源平替也来了

    ChatGPT 凭一己之力让全球为 AI 沸腾,引发了科技巨头之间的聊天机器人军备竞赛。 众所周知,ChatGPT 的背后技术是 GPT(Generative Pre-trained Transformer)模型。GPT 是一种基于 Transformer 模型的自然语言处理模型,由 OpenAI 公司开发。它可以通过学习大量的自然语言数据来生成自然流畅

    2023年04月20日
    浏览(42)
  • ChatGPT全球最大开源平替OpenAssistant:基于Pythia和LLaMA微调而来

    论文地址:https://drive.google.com/file/d/10iR5hKwFqAKhL3umx8muOWSRm7hs5FqX/view 项目地址:https://github.com/LAION-AI/Open-Assistant 数据集地址:https://huggingface.co/datasets/OpenAssistant/oasst1 体验地址:https://open-assistant.io/chat 观看公告视频:https://youtu.be/ddG2fM9i4Kk OpenAssistant介绍 最近火爆的ChatGPT使用如

    2024年02月15日
    浏览(39)
  • 开发者笑疯了! LLaMa惊天泄露引爆ChatGPT平替狂潮,开源LLM领域变天

    来源: 新智源  微信号:AI-era Meta的LLaMA模型开源,让文本大模型迎来了Stable Diffustion时刻。谁都没想 谁能想到,一次意外的LLaMA泄漏,竟点燃了开源LLM领域最大的创新火花。 一系列表现出色的ChatGPT开源替代品——「羊驼家族」,随后眼花缭乱地登场。 开源和基于 API 的分发之

    2024年02月10日
    浏览(79)
  • 【ChatGPT】ColossalChat:目前最接近 ChatGPT 原始技术方案的实用开源项目——以 LLaMA 为基础预训练模型,推出 ColossalChat

        www.colossalai.org GitHub - hpcaitech/ColossalAI: Making large AI models cheaper, faster and more accessible   目录

    2023年04月14日
    浏览(78)
  • SolidUI社区-从开源社区角度思考苹果下架多款ChatGPT应用

    随着文本生成图像的语言模型兴起,SolidUI想帮人们快速构建可视化工具,可视化内容包括2D,3D,3D场景,从而快速构三维数据演示场景。SolidUI 是一个创新的项目,旨在将自然语言处理(NLP)与计算机图形学相结合,实现文生图功能。通过构建自研的文生图语言模型,SolidUI 利用

    2024年02月14日
    浏览(46)
  • ​ | AI顶会论文很多附带源代码?不少是假开源!

    看到一篇绝佳的AI论文,非常期待作者能提供源代码,全文搜索HTTP,可惜出来的都不是源代码的链接。好不容易碰到一篇附带源代码的论文,点进去却是大大的404。终于发现某个不是404的源代码仓库,结果只是放上了几句说明,写着“代码coming soon”,然后一等就是一万年.

    2023年04月24日
    浏览(42)
  • 如何抓住ChatGPT的热潮,打造小红书爆款

    前两周我看到一个小红书才申请了没多久就已经有好几万的粉丝,于是我让我老婆也赶紧注册一个,毕竟小红书也有着不错的用户群体 那么我们如何通过GPT辅助我们快速创作呢?先来看下ChatGPT的回答: 在互联网时代,社交平台已成为人们传递资讯和观点的主要渠道。小红书

    2024年02月04日
    浏览(43)
  • 新的风口:继ChatGPT热潮后,OpenAI又推出视频生成新浪潮

    先来总结 如果非要用三个词来总结Sora,那就是“ 60s 超长长度 ”、“ 单视频多角度镜头 ”和“ 世界模型 ”。 官网 :https://openai.com/sora 首页   :   官网首页 介绍 :   官网介绍 翻译后内容: 作为世界模拟器的视频生成模型 我们探索视频数据生成模型的大规模训练。具体

    2024年02月20日
    浏览(52)
  • 「ChatGPT」掀起新一轮AI热潮!超越GPT-4 Turbo,商汤日日新大升级!

    目录 拳打 GPT-4 Turbo ,脚踢 DALL·E 3 端侧大模型,唯快不破 AI 应用落地需要一个即插即用的大模型超市 并不存在 AI 这个行业,只有 AI+行业,强调 AI 需要与传统产业合作,这种关系是结合与赋能,而不是颠覆,其价值在于帮助传统产业提高生产效率,解放生产力。 chat gpt 免费

    2024年04月25日
    浏览(40)
  • 推荐 ChatGpt 平替介绍文章

    chenking2020/FindTheChatGPTer: 汇总那些ChatGPT的平替们 (github.com) Alpaca https://github.com/tatsu-lab/stanford_alpaca Alpaca DEMO: https://alpaca-ai-custom6.ngrok.io OpenChatKit https://github.com/togethercomputer/OpenChatKit ChatGLM https://github.com/THUDM/ChatGLM-6B ChatYuan https://github.com/clue-ai/ChatYuan Colossal AI https://github.com/hpca

    2024年02月03日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包