ChatGPT 相关资料收集

这篇具有很好参考价值的文章主要介绍了ChatGPT 相关资料收集。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文地址:blog.lucien.ink/archives/538

本文用来收集各种和生成式模型相关的内容,由于 ChatGPT 是其代表,也是会被写入人类历史进程的一个名字,所以便用 ChatGPT 作为标题的一部分,以表示我对 OpenAI 团队由衷的敬佩。

2023-04-02 更新

  • Improving Language Understanding by Generative Pre-Training (2018)

    • 介绍了 GPT 的结构和训练方式,文章提到未来可以继续拓展的几个方向。其中一个便是模型在 ZERO-SHOT 的设定下,模型的表现与堆叠的解码器层数有直接的正相关性。
  • Language Models are Unsupervised Multitask Learners (2019)

    • 文章认为对单任务单领域的训练是模型缺乏泛化能力的主要原因,实践验证仅靠预训练 + 提示 + 预测就在8/9个任务里达到了SOTA。
  • Language Models are Few-Shot Learners (2020)

    • 继续探索了在不对下游任务进行适配(模型结构不更改、参数不更新)的情况下,模型的表现。
  • Training language models to follow instructions with human feedback (2022)

    • 探索了指示学习和基于人工反馈的强化学习训练,基本上约等于 ChatGPT。
  • LoRA: Low-Rank Adaptation of Large Language Models (2021)

    • 提出通过训练一个低秩参数矩阵来进行模型微调,相较于直接微调整个模型,能在损失较少精度的情况下大幅降低训练成本。
  • Self-Instruct: Aligning Language Model with Self Generated Instructions(2022)

    • 让模型尝试通过半监督的方式自己去生成指令样本,能取得不错的效果。
  • LLaMA: Open and Efficient Foundation Language Models

    • 训练了从 7B 到 65B 的一组模型,全部贡献给开源社区,且 LLaMA-13B 在多数基准测试中优于 GPT-3(175B)。
    • 验证了公开数据集的可行性,以及小模型(相比 OpenAI 的规模)的潜力。
    • 开源模型地址:huggingface.co/decapoda-research
  • Stanford Alpaca: An Instruction-following LLaMA Model

    • 花了 $500 去调用 OpenAI 的 text-davinci-003 并收集数据,然后用这些数据花了 $100 来微调 LLaMA-7B 模型,得到了一个效果还不错的模型,取名为 Alpaca,模型未开源。
    • 公开了生成数据的代码,以及对应的数据集:alpaca_data.json
  • Guanaco: A Multilingual Instruction-Following Language Model Based on LLaMA 7B

    • 同样是对 LLaMA-7B 进行微调,不同的是在 alpaca_data.json 的基础上增加了对繁简体中文及日语的指令,共计 534530 条,数据集地址:Guanaco Dataset。
  • Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality

    • 花了 $300 左右,使用 用户共享的数据 来对 LLaMA-13B 进行微调,可以在 GPT-4 的评测 下达到 ChatGPT 90% 的水平。
    • Demo: Vicuna Online Demo,源码:FastChat,暂未公开模型。
    • ShareGPT Github: domeccleston/sharegpt
  • BELLE: Be Everyone’s Large Language model Engine

    • 来自 链家 的技术团队,提供了训练代码、数据、模型,包含一些中文改进。HuggingFace 主页:BelleGroup
  • Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model

    • 在 LLaMA 的基础上使用 BELLE 和 Guanaco 训练了 lora,提供了代码和训练过的 Lora。HuggingFace 主页:Chinese-Vicuna

暂时先收集这些,总结下来就一句话:OpenAI 不够体面,开源社区帮他体面。以及作为马后炮,我认为在对 GPT 现代化改进的加持下,于多数日常任务来说,10B 左右的规模应该是足够的。

2023-04-04 更新

  • 今天 vicuna 放出了他们的模型:lmsys/vicuna-13b-delta-v0

2023-04-06 更新

  • Koala: A Dialogue Model for Academic Research
    • 主要是使用 EasyLM 提升了训练速度,使用 8 张 A100 完成两轮 epoch 只需要 6 个小时,大大降低了训练成本。评测效果优于 Alpaca,达到 ChatGPT 50% 的性能。

2023-04-09 更新

  • 链家放出了 13B 的模型:BelleGroup/BELLE-LLAMA-13B-2M
    • 同时还放出了更多的数据集
  • 一个跟进 LLM 的 Repo:Awesome-LLM: a curated list of Large Language Model

2023-04-22 更新

当前的开源社区大致有 3 个方向:文章来源地址https://www.toymoban.com/news/detail-406699.html

  1. 复现 ChatGPT 的效果
  2. 加速(模型轻量化、更底层的训练/推理加速)
  3. 应用(插件、Auto-GPT、ViedoChat、提示魔法)
  • Auto-GPT: An Autonomous GPT-4 Experiment
    • 会上网、使用工具,能根据人类给出的任务,自己定目标、思考、执行。
    • 在线 DEMO:AgentGPT
  • MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models
    • 用小模型复现了 GPT-4 的多模态能力,已开源
    • 项目主页:MiniGPT-4
    • 模型:Vision-CAIR/MiniGPT-4
  • Generative Agents: Interactive Simulacra of Human Behavior
    • 令若干个独立的基于 GPT 的 Agent “生活”在一起,会产生很多类似人类的社会行为
    • DEMO 在国内打不开,在这里只放出论文
  • ChatGPT 中文指南
    • 这是一个很早以前就有的项目,只是每次都得根据回忆去重新搜出来,不如就直接记在这里
  • 复旦大学的 MOSS
    • 昨天(4 月 22 日)刚刚开源,给出了模型、数据、代码
    • 并且 MOSS 支持插件,如科学计算、上网、绘图,据我了解这是开源社区的首次支持
    • 关于插件如何使用,可参考这里:plugin模型,有用python代码写的使用例子吗?而非只是动态图片,截止到写下这行文字,作者还没有实际测试过。

2023-04-23 更新

  • Awesome ChatGPT Prompts
    • ChatGPT 中文指南 的英文版本
  • ChatGPT 学术优化
    • 科研工作专用ChatGPT/GLM拓展,特别优化学术Paper润色体验,模块化设计支持自定义快捷按钮&函数插件,支持代码块表格显示,Tex公式双显示,新增Python和C++项目剖析&自译解功能,PDF/LaTex论文翻译&总结功能,支持并行问询多种LLM模型,支持gpt-3.5/gpt-4/chatglm
  • Chat with any PDF
    • 可以将 PDF GPT 作为上下文,然后可以问他任何问题,比如摘要、理解、建议等。

到了这里,关于ChatGPT 相关资料收集的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • WGS84地球坐标系,GCJ02火星坐标系,BD09百度坐标系简介与转换 资料收集

    高性能、低功耗 GPS、北斗双模定位模块 STM32 GPS定位_为了维护世界和平_的博客-CSDN博客 秉火多功能调试助手上位机开源!共六款软件,学到你吐... , - 电脑上位机 - 野火电子论坛 - Powered by Discuz! https://www.firebbs.cn/forum.php?mod=viewthreadtid=11985fromuid=64 地图坐标系之间的转换(百度

    2024年02月11日
    浏览(45)
  • ChatGPT学习相关资料整理

    ChatGPT能力起源:https://mp.weixin.qq.com/s/4l0ADjdsCxSVvBeVKxSqWA ChatGPT的发展历程:https://zhuanlan.zhihu.com/p/590655677 ChatGPT研究框架:https://mp.weixin.qq.com/s/Zx14jYl8Mc8Q6cqCgp9DnA ChatGPT带来的研究范式变革:https://mp.weixin.qq.com/s/60_h5biTOlBAa3Rt2tMn6A ChatGPT训练过程:https://www.zhihu.com/zvideo/15849416705078

    2023年04月22日
    浏览(51)
  • [技术杂谈][chatgpt]chatgpt相关开源代码地址汇总

    1、有预训练模型且可以训练自己的数据集: OpenChatKit: GitHub - togethercomputer/OpenChatKit Contribute to togethercomputer/OpenChatKit development by creating an account on GitHub. https://github.com/togethercomputer/OpenChatKit dolly: GitHub - databrickslabs/dolly: Databricks’ Dolly, a large language model trained on the Databricks Mac

    2023年04月24日
    浏览(51)
  • 【微信小程序】如何获得自己当前的定位呢?本文利用逆地址解析、uni-app带你实现

    目录 前言 效果展示 一、在腾讯定位服务配置微信小程序JavaScript SDK 二、使用uni-app获取定位的经纬度 三、 逆地址解析,获取精确定位 四、小提示 在浏览器搜索腾讯定位服务,找到官方网站,利用微信或者其他账号注册登录,登录后如下图操作 点进去之后,可以看到如下图

    2024年01月19日
    浏览(87)
  • ChatGPT的前世今生,到如今AI领域的竞争格局,本文带你一路回看!

      73年前,“机器思维”的概念第一次被计算机科学之父艾伦·图灵(Alan Turing)提出,从此,通过图灵测试成为了人类在AI领域为之奋斗的里程碑目标。 73年后的今天,在AI历经了数十年的不断进化、迭代后,目前为止仍旧没有任何一款AI从真正意义上的通过图灵测试。 而Ch

    2024年02月04日
    浏览(37)
  • elasticsearch 相关资料

    IDEA中debug Elasticsearch源码之环境搭建_pilaf1990的博客-CSDN博客_idea debug elasticsearch 源码 拉源码 【重点】需要jdk11版本,在idea的cmd命令窗口查询jdk版本时也需要是11版本的,如果不是重启电脑再看看 在项目根目录 运行 gradlew idea 命令 在idea中刷新导入依赖 es 6源码debug环境搭建 el

    2024年02月04日
    浏览(35)
  • AI相关资料

    文心一格收费,有免费额度 通义万相_AI创意作画_AI绘画_人工智能-阿里云 AI AIchatOS 即时 AI - 生成式图像创作及 UI 设计工具 Framer — The internet is your canvas

    2024年01月22日
    浏览(37)
  • 大模型相关资料整理

    GPT-3 175B模型的参数如下: 网络层(Number of layers): 96 句子长度(Sequence length): 2048 隐藏层大小(Hidden layer size): 12288 词汇表(Vocabulary size):51200 总参数量:约175B 175B的模型,一个原生没有经过优化的框架执行,各部分大概需要的显存空间: 模型参数:700 GB (175B * 4byte

    2024年02月09日
    浏览(47)
  • Linux系列文章 —— vim的基本操作(误入vim退出请先按「ESC」再按:q不保存退出,相关操作请阅读本文)

    vim-操作篇 进程概念篇 进程地址空间篇 Linux,是一种免费使用和自由传播的类UNIX操作系统,是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用

    2024年02月03日
    浏览(46)
  • 《手机维修600G资料》云盘下载地址

    无意中发现一个生财之道,哈哈哈,就是发现有人在一些视频平台,发手机维修之类的视频吸引客户。这样自己就不用开店也可以接生意了。问题剩下就一个了,把手机维修技术学好,一技在手,天上我有。 《手机维修600G资料》云盘下载地址。万事不求人,自学成才。学一

    2024年04月28日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包