9个已开源的GPT4平替分享(附开源代码+论文)

这篇具有很好参考价值的文章主要介绍了9个已开源的GPT4平替分享(附开源代码+论文)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

资料整理自网络,有误欢迎指正

对于想要研究大模型的同学来说,目前ChatGPT无疑是最好的学习对象,但等它开源估计是不太可能了,所以学姐今天整理了一些开源的类GPT模型,帮助大家更好的理解大模型背后的机理。

PS:有的功能还不错,也可以上手玩耍玩耍。

开源链接都贴上了,不想复制粘贴的同学看文末直接领

1.Colossal AI

“夸父”AI,大规模并行AI训练系统,基于LLaMA预训练模型。作为ChatGPT的平替,开源了完整的RLHF流水线,包括,监督数据收集、监督微调、奖励模型训练和强化学习微调等。

9个已开源的GPT4平替分享(附开源代码+论文)

  • 优势:高效、简单、可扩展,功能多,包含AIGC

  • 缺点:不完全支持中文,基于GPT-3

  • 模型能力:集成现有的GPT-3 、GPT-2模型,能够提升模型效率

  • 训练:
    • 第一阶段(stage1_sft.py):SFT监督微调阶段,该开源项目没有实现,这个比较简单,因为ColossalAI无缝支持Huggingface,本人直接用Huggingface的Trainer函数几行代码轻松实现,在这里我用了一个gpt2模型,从其实现上看,其支持GPT2、OPT和BLOOM模型;

    • 第二阶段(stage2_rm.py):奖励模型(RM)训练阶段,即项目Examples里train_reward_model.py部分;

    • 第三阶段(stage3_ppo.py):强化学习(RLHF)阶段,即项目train_prompts.py。

代码中的cores即原始工程中的chatgpt,cores.nn在原始工程中变成了chatgpt.models。

开源地址:https://github.com/hpcaitech/ColossalAI

9个已开源的GPT4平替分享(附开源代码+论文)

2.ChatGLM

智谱AI研发,基于千亿参数大模型的支持中英双语的对话机器人。

9个已开源的GPT4平替分享(附开源代码+论文)

  • 优势:支持中英双语、开源平替里面参数规模较大的对话大模型

  • 缺点:模型记忆和语言能力较弱,数学、编程类解答能力较弱

  • 模型能力:
    • 自我认识

    • 提纲写作

    • 文案写作

    • 邮件写作助手

    • 信息抽取

    • 角色表演

    • 评论比较

    • 旅游方向

  • 训练:
    • 62亿参数

    • 针对中文提问和对话进行了优化

    • 经过约1T标准符号的中英双语训练,辅以监督微调、反施自助、人类反施强化学习等技术的支持

开源地址:https://github.com/THUDM/ChatGLM-6B

9个已开源的GPT4平替分享(附开源代码+论文)

3.LLaMa

Meta打造的一个650 亿参数的大语言模型,可以在非商业许可下提供给政府、社区和学术界的研究人员和实体工作者。

  • 优势:在生成文本、对话、总结书面材料、等任务上方面表现良好,支持20种语言。

  • 缺点:对中文支持不足

开源地址:https://github.com/facebookresearch/llama

4.LLaMa-ChatLLaMA

由于 LLaMA 大模型系列没有使用 RLHF 方法,因此初创公司 Nebuly AI 开源了 RLHF 版 LLaMA(ChatLLaMA)的训练方法。

  • 优势:
    • 更便宜,完整的开源实现,允许用户基于预训练的 LLaMA 模型构建 ChatGPT 风格的服务;

    • LLaMA 架构更小,使得训练过程和推理速度更快,成本更低;

    • 内置了对 DeepSpeed ZERO 的支持,以加速微调过程;

    • 支持各种尺寸的 LLaMA 模型架构,用户可以根据自身偏好对模型进行微调

  • 缺点:不支持中文

5.BELLE

精通中文,基于斯坦福 Alpaca项目,70 亿参数的中文对话大模型。

  • 优势:
    • 数据:参考斯坦福大学的Alpaca项目,针对中文场景进行了优化,利用ChatGPT生了多样化、高质量的数据,包括日常对话、知识问答、文本生成等,有助于模型在各种中文场景中的表现。

    • 模型:基于Bloom和LLAMA,训练了出具效果的对话模型,并完全开放了这些模型的参数,大大降低使用和科研的门槛

    • 轻量化:开源了对话模型的量化版本,包括8bit, 4bit, 其中4bit版本模型checkpoint大小仅为6.9G,运行仅需8.4G显存。

开源地址:https://github.com/LianjiaTech/BELLE

9个已开源的GPT4平替分享(附开源代码+论文)

6.PaLM-rlhf-pytorch

作者Phil Wang,在 PaLM 架构之上实现 RLHF,它基本上是使用 PaLM 的 ChatGPT

9个已开源的GPT4平替分享(附开源代码+论文)

  • 优势:
    • 基于谷歌语言大模型PaLM架构,以及使用从人类反馈中强化学习的方法(RLHF)

    • 采用了ChatGPT一样的强化学习机制,能让AI的回答更加符合情景要求,降低模型毒性

开源地址:https://github.com/lucidrains/PaLM-rlhf-pytorch

9个已开源的GPT4平替分享(附开源代码+论文)

7.OpenAssistant

旨在让每一个人都可以访问基于聊天的大语言模型。

9个已开源的GPT4平替分享(附开源代码+论文)

  • 优势:
    • 开源聊天助手,其可以理解任务、与第三方系统交互、动态检索信息。

    • 据说是第一个在人类数据上进行训练的完全开源的大规模指令微调模型

  • 缺点:中文效果不佳、受底层模型的限制

开源地址:https://github.com/LAION-AI/Open-Assistant

9个已开源的GPT4平替分享(附开源代码+论文)

8.OpenChatKitk

前OpenAI研究员所在的Together团队,以及LAION、Ontocord.ai团队共同打造,包含200亿个参数,用GPT-3的开源版本GPT-NoX-20B进行微调

  • 优势:
    • 提供了一个强大的的开源基础,为各种应用程序创建专用和通用的聊天机器人

    • 该 kit 包含了一个经过指令调优的 200 亿参数语言模型、一个 60 亿参数调节模型和一个涵盖自定义存储库最新响应的可扩展检索系统

开源地址:https://github.com/togethercomputer/OpenChatKit

9个已开源的GPT4平替分享(附开源代码+论文)

9.stanford_alpaca

Stanford Alpaca是一个Instruction-following的LLaMA模型,即一个对LLaMA模型进行指令调优的结果模型

9个已开源的GPT4平替分享(附开源代码+论文)

开源地址:https://github.com/tatsu-lab/stanford_alpaca

关注下方《学姐带你玩AI》🚀🚀🚀

回复“大模型”获取开源代码+必读论文

码字不易,欢迎大家点赞评论收藏!文章来源地址https://www.toymoban.com/news/detail-492001.html

到了这里,关于9个已开源的GPT4平替分享(附开源代码+论文)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Github万星项目lobe-chat,连接GPT4&GPTs,平替chatgpt-plus

    Lobe Chat - 一个开源、高性能的聊天机器人框架,支持语音合成、多模态和可扩展的函数调用插件系统。支持一键免费部署您的私人 ChatGPT/LLM Web 应用程序。 项目地址: GitHub - lobehub/lobe-chat: 🤯 Lobe Chat - an open-source, modern-design LLMs/AI chat framework. Supports Multi AI Providers( OpenAI / Cla

    2024年04月14日
    浏览(39)
  • GPT-4平替版:MiniGPT-4,支持图像理解和对话,现已开源

    项目地址 :https://minigpt-4.github.io/  论文链接 :https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf 代码 :https://github.com/Vision-CAIR/MiniGPT-4 视频 :https://youtu.be/__tftoxpBAw 数据集 :https://drive.google.com/file/d/1nJXhoEcy3KTExr17I7BXqY5Y9Lx_-n-9/view Demo地址 :https://6b89c70eb5e14dca33.gradio.live/ Demo备

    2024年02月06日
    浏览(110)
  • 【GPT4账号】ChatGPT/GPT4科研技术应用与AI绘图及论文高效写作

    2023年我们进入了AI2.0时代。微软创始人比尔盖茨称ChatGPT的出现有着重大历史意义,不亚于互联网和个人电脑的问世。360创始人周鸿祎认为未来各行各业如果不能搭上这班车,就有可能被淘汰在这个数字化时代,如何能高效地处理文本、文献查阅、PPT编辑、编程、绘图和论文写

    2024年02月06日
    浏览(67)
  • GPT4All 一个开源 ChatGPT

    ChatGPT 正在迅速发展与传播,新的大型语言模型 (LLM) 正在以越来越快的速度开发。就在过去几个月,有了颠覆性的 ChatGPT 和现在的 GPT-4。明确定义,GPT 代表(Generative Pre-trained Transformer),是底层语言模型,而 ChatGPT是为会话设计的具体实现。比尔·盖茨 (Bill Gates) 回顾 OpenAI

    2023年04月17日
    浏览(48)
  • 如何用GPT 运行python?GPT4科研应用与AI绘图及论文高效写作

    详情点击链接:如何用GPT 运行python?GPT4科研应用与AI绘图及论文高效写作 一OpenAI 1.最新大模型GPT-4 Turbo 2.最新发布的高级数据分析,AI画图,图像识别,文档API 3.GPT Store 4.从0到1创建自己的GPT应用 5. 模型Gemini以及大模型Claude2 二定制自己的GPTs 1.自定义GPTs使用 2.聊天交流的方式

    2024年01月19日
    浏览(52)
  • 最新ChatGPT/GPT4科研应用与AI绘图及论文高效写作

    详情点击链接:最新ChatGPT/GPT4科研应用与AI绘图及论文高效写作 一OpenAI 1.最新大模型GPT-4 Turbo 2.最新发布的高级数据分析,AI画图,图像识别,文档API 3.GPT Store 4.从0到1创建自己的GPT应用 5. 模型Gemini以及大模型Claude2 二定制自己的GPTs 1.自定义GPTs使用 2.聊天交流的方式制作自己

    2024年01月19日
    浏览(57)
  • ChatGPT/GPT4科研实践应用与AI绘图技术及论文高效写作

    2023年随着OpenAI开发者大会的召开,最重磅更新当属GPTs,多模态API,未来自定义专属的GPT。微软创始人比尔盖茨称ChatGPT的出现有着重大历史意义,不亚于互联网和个人电脑的问世。360创始人周鸿祎认为未来各行各业如果不能搭上这班车,就有可能被淘汰在这个数字化时代,如

    2024年01月25日
    浏览(53)
  • 七月论文审稿GPT第2版:从Meta Nougat、GPT4审稿到Mistral、LongLora Llama

    如此前这篇文章《学术论文GPT的源码解读与微调:从ChatPaper到七月论文审稿GPT第1版》中的第三部分所述,对于论文的摘要/总结、对话、翻译、语法检查而言,市面上的学术论文GPT的效果虽暂未有多好,可至少还过得去,而如果涉及到论文的修订/审稿,则市面上已有的学术论

    2024年02月05日
    浏览(33)
  • 本地免费GPT4?Llama 2开源大模型,一键部署且无需硬件要求教程

            目前扎克布格带来了最新的Llama 2开源NLP大模型,目前有三个版本分别是70亿参数量,130亿参数量和700亿参数量,庞大的数据集和参数量保证了模型的强大,官网宣称性能与gpt4相比不落下风,又因为开源使得我们可以实现本地化gpt4的梦想并且免费!我们可以通过微

    2024年02月11日
    浏览(63)
  • 分享一个国内可用的免费GPT4-AI提问AI绘画网站工具

    ChatGPT GPT4.0,Midjourney绘画,相信对大家应该不感到陌生吧?简单来说,GPT-4技术比之前的GPT-3.5相对来说更加智能,会根据用户的要求生成多种内容甚至也可以和用户进行创作交流。 然而,GPT-4对普通用户来说都是需要额外付费才可以使用。所以今天小编就整理一个真正免费的

    2024年02月05日
    浏览(63)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包