1. Toy模板网首页
  2. > Toy博客

开源大语言模型(LLM)汇总（持续更新中）

9月前 作者：JarodYv 分类：Toy博客 阅读(39) 违法举报

这篇具有很好参考价值的文章主要介绍了开源大语言模型(LLM)汇总（持续更新中）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

开源大语言模型(LLM)汇总

开源大语言模型(LLM)汇总（持续更新中）

随着ChatGPT的火爆，越来越多人希望在本地运行一个大语言模型。为此我维护了这个开源大语言模型汇总，跟踪每天不发的大语言模型和精调语言模型。

我将根据个模型采用的基础大模型进行分类，每个大模型下列出各派生模型。

Alpaca (Stanford)

斯坦福Alpaca：一种指令遵从型 LLaMA 模型。

  • 🏠Alpaca 官网: https://crfm.stanford.edu/2023/03/13/alpaca.html
  • ❤️Alpaca GitHub: https://github.com/tatsu-lab/stanford_alpaca
  • 💵是否可以商用: 否

以下是基于 Stanford Alpaca 项目的衍生模型或类似模型：

  • Alpaca.cpp
  • Alpaca-LoRA
  • Baize
  • Cabrita
  • BELLE
  • Luotuo
  • Vicuna
  • Chinese-Vicuna
  • GPT4All
  • Koala
  • llama.cpp
  • Lit-LLaMA ️

Alpaca.cpp

一个可以在本地设备上快速运行的类ChatGPT模型。视频中演示的模型具有4G权重，运行在M2芯片的Macbook Air上。视频是原始速度，没有加速。

  • GitHub: https://github.com/antimatter15/alpaca.cpp

Alpaca-LoRA

该项目使用低秩适应 (LoRA) 重现Stanford Alpaca。

项目提供了一个与 text-davinci-003 质量相似的指令模型，可以在 Raspberry Pi 上运行（用于研究），代码可以很容易地扩展到 13B、30B 和 65B 模型。

  • ❤️GitHub: https://github.com/tloen/alpaca-lora
  • 💻Demo: Alpaca-LoRA — a Hugging Face Space by tloen

Baize

Baize 是一个使用 LoRA 微调的开源聊天模型。 它使用与 ChatGPT 聊天生成的 100k 对话进行训练。 还使用 Alpaca 的数据来提高其性能。 目前已经发布了 7B、13B 和 30B 规模模型。

  • ❤️GitHub: https://github.com/project-baize/baize
  • 📑论文: 2304.01196.pdf (arxiv.org)

Cabrita

基于LLaMA的葡萄牙语微调模型

  • ❤️GitHub: https://github.com/22-hours/cabrita

BELLE

BELLE 基于斯坦福的 Alpaca 完成，对中文做了优化，并对生成代码进行了一些修改，模型调优仅使用由 ChatGPT 生产的数据（不包含任何其他数据）。

  • ❤️GitHub: https://github.com/LianjiaTech/BELLE

Luotuo

来自商汤科技和华中科技大学开源中文语言模型骆驼 Luotuo，该项目基于 LLaMA、Stanford Alpaca、Alpaca LoRA、Japanese-Alpaca-LoRA 等完成，单卡就能完成训练部署。

  • ❤️GitHub: https://github.com/LC1332/Luotuo-Chinese-LLM
  • ❤️GitHub: https://github.com/LC1332/Chinese-alpaca-lora

Vicuna (FastChat)

一个达到ChatGPT 90%效果的开源聊天机器人。

  • ❤️GitHub: https://github.com/lm-sys/FastChat
  • 🎬视频: Vicuna — 90% of ChatGPT quality by using a new dataset? — YouTube

Chinese-Vicuna

一个中文低资源的LLaMA + LoRA方案，结构参考Alpaca

  • ❤️GitHub: https://github.com/Facico/Chinese-Vicuna

GPT4All

基于 LLaMA，用大约 800k GPT-3.5-Turbo 生成数据训练的助手式大语言模型。

  • ❤️GitHub: https://github.com/nomic-ai/gpt4all
  • 🎬视频: Is GPT4All your new personal ChatGPT? — YouTube

Koala

Koala 是一个在 LLaMA 上微调的语言模型。

  • 📖博客: Koala: A Dialogue Model for Academic Research — The Berkeley Artificial Intelligence Research Blog
  • ❤️GitHub: EasyLM/koala.md at main · young-geng/EasyLM (github.com)
  • 💻Demo: FastChat (lmsys.org)
  • 🎬视频: Investigating Koala a ChatGPT style Dialogue Model — YouTube

llama.cpp

用纯C/C++实现的LLaMA模型推理。支持3个模型：LLaMA, Alpaca和GPT4All

  • ❤️GitHub: https://github.com/ggerganov/llama.cpp

Lit-LLaMA ️

LLaMA 的独立实现，支持量化、LoRA微调和预训练。在 Apache 2.0 许可下完全开源。 此实现基于 nanoGPT。

  • ❤️GitHub: https://github.com/Lightning-AI/lit-llama

BLOOM (BigScience)

BigScience 大型开放科学开放存取多语言模型。

  • ❤️Hugging Face: bigscience/bloom · Hugging Face
  • 💻Hugging Face Demo: Bloom Demo — a Hugging Face Space by huggingface

以下是基于 BigScience BLOOM 项目的衍生模型或类似模型：

  • BLOOM-LoRA
  • Petals

BLOOM-LoRA

各种指令调优数据集的低秩适应模型。

  • ❤️GitHub: https://github.com/linhduongtuan/BLOOM-LORA

Petals

使用分布式 176B 参数 BLOOM 或 BLOOMZ 生成文本，并根据您自己的任务对其进行微调。

  • ❤️GitHub: https://github.com/bigscience-workshop/petals

Flamingo (Google/Deepmind)

使用单一视觉语言模型处理多项任务

  • 🏠官网: Tackling multiple tasks with a single visual language model

以下是基于 Flamingo 项目的衍生模型或类似模型：

  • Flamingo — Pytorch
  • OpenFlamingo

Flamingo — Pytorch

在 Pytorch 中实现 Flamingo。包括感知器重采样器（包括学习查询贡献要注意的键/值的方案，以及媒体嵌入）、专门的掩码交叉注意力块，以及交叉注意力末端的 tanh 门控 + 相应的前馈块。

  • ❤️GitHub: https://github.com/lucidrains/flamingo-pytorch

OpenFlamingo

DeepMind Flamingo 模型的开源版本。提供了用于训练和评估 OpenFlamingo 模型的 PyTorch 实现。还提供了在新的多模态 C4 数据集（即将推出）上训练的初始 OpenFlamingo 9B 模型。

  • ❤️GitHub: https://github.com/mlfoundations/open_flamingo

FLAN (Google)

包含用于生成指令调优数据集集合的代码。 第一个是原始的 Flan 2021，记录在 Finetuned Language Models are Zero-Shot Learners 中；第二个是扩展版本，被称为 Flan Collection，记录在 The Flan Collection: Designing Data and Methods for Effective Instruction Tuning 中，用于生成 Flan-T5 和 Flan-PaLM。

  • ❤️GitHub: https://github.com/google-research/FLAN

以下是基于 FLAN 项目的衍生模型或类似模型：

  • Flan-Alpaca
  • Flan-UL2

Flan-Alpaca

来自人类和机器的指令调优。 包含用于将 Stanford Alpaca 合成指令调优扩展到现有指令调优模型（例如 Flan-T5）的代码。 HuggingFace 上提供了预训练模型和演示。

  • ❤️GitHub: https://github.com/declare-lab/flan-alpaca

Flan-UL2

Flan-UL2是基于T5架构的编解码器模型。 它使用与去年早些时候发布的 UL2 模型相同的配置。 使用“Flan”提示调整和数据集收集对其进行了微调。

  • ❤️Hugging Face: google/flan-ul2 · Hugging Face
  • 🎬视频: Trying Out Flan 20B with UL2 — Working in Colab with 8Bit Inference — YouTube

GLM (General Language Model)

GLM 是一种使用自回归填空目标进行预训练的通用语言模型，可以针对各种自然语言理解和生成任务进行微调。

以下是基于 GLM 项目的衍生模型或类似模型：

  • GLM-130B
  • ChatGLM-6B

GLM-130B

GLM-130B是一个开放的双语（英汉）双向密集模型，拥有1300亿个参数，使用通用语言模型（GLM）的算法进行预训练。 它旨在在单台A100（40G * 8）或V100（32G * 8）服务器上用具有130B参数模型进行推理任务。 通过 INT4 量化，硬件要求可以进一步降低到具有 4 * RTX 3090（24G）的单个服务器，而性能几乎没有下降。 截至 2022 年 7 月 3 日，GLM-130B 已经接受了超过 4000 亿个文本标记的训练（中文和英文各 200B）。

  • ❤️GitHub: https://github.com/THUDM/GLM-130B

ChatGLM-6B

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

  • 🏠官网: ChatGLM
  • ❤️GitHub: https://github.com/THUDM/ChatGLM-6B

GPT-J (EleutherAI)

GPT-J 是 EleutherAI 开发的开源人工智能语言模型。GPT-J 在各种零样本下游任务上的表现与 OpenAI 的 GPT-3 非常相似，甚至在代码生成任务上的表现优于它。

最新版本 GPT-J-6B 是一种基于名为 The Pile 的数据集的语言模型。The Pile 是一个开源的 825 GB 语言建模数据集，分为 22 个较小的数据集。GPT-J 在能力上与 ChatGPT 类似，虽然它不具有聊天机器人的功能，仅作为文本预测器。

  • ❤️GitHub: https://github.com/kingoflolz/mesh-transformer-jax/#gpt-j-6b
  • 💻Demo: https://6b.eleuther.ai/

以下是基于 GPT-J 项目的衍生模型或类似模型：

  • Dolly

Dolly (Databricks)

Databricks 的 Dolly 是一个在 Databricks 机器学习平台上训练的大型语言模型，它基于开源模型 (GPT-J) 在对 50k的重点语料库(Stanford Alpaca)进行仅 30 分钟的微调 ，就表现出令人惊讶的高质量指令遵循行为。 我们认为这一发现很重要，因为它表明创造强大的人工智能技术的能力比以前意识到的要容易得多。

  • ❤️GitHub: https://github.com/databrickslabs/dolly
  • 🎬视频: Meet Dolly the new Alpaca model — YouTube

Cerebras-GPT (Cerebras)

一系列开源、高效的大型语言模型。 Cerebras 开源了七个 GPT-3 模型，参数从 1.11 亿到 130 亿。 这些模型使用 Chinchilla 公式进行训练，为准确性和计算效率设定了新的基准。

  • 🏠官网: Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models — Cerebras
  • ❤️Hugging Face: cerebras (Cerebras) (huggingface.co)
  • 🎬视频: Checking out the Cerebras-GPT family of models — YouTube

GPT-NeoX

该项目记录了 EleutherAI 用于在 GPU 上训练大规模语言模型的库。 当前的框架基于 NVIDIA 的 Megatron 语言模型，并通过 DeepSpeed 技术以及一些新颖的优化得到了增强。 目标是使这个项目成为一个可访问的集散地，以收集训练大规模自回归语言模型的技术，并加速对大规模训练的研究。

  • ❤️GitHub: https://github.com/EleutherAI/gpt-neox

HuggingGPT

HuggingGPT 是一个协作系统，由作为控制器的 LLM 和作为协作执行者的众多专家模型组成（来自 HuggingFace Hub）。

  • ❤️GitHub: https://github.com/microsoft/JARVIS
  • 📑论文: https://arxiv.org/abs/2303.17580

Polyglot

多语言均衡能力的大型语言模型。 由于对当前多语言模型的非英语性能不满意，Polyglot团队制作了非英语语言性能更高的多语言模型，并将其命名为“Polyglot”。

  • ❤️GitHub: https://github.com/EleutherAI/polyglot

Pythia

跨时间和尺度解释自回归Transformer

  • ❤️GitHub: https://github.com/EleutherAI/pythia

Segment Anything

Segment Anything Model (SAM) 根据输入提示（例如点或框）生成高质量的对象掩码，它可用于为图像中的所有对象生成掩码。 它已经在 1100 万张图像和 11 亿个掩码的数据集上进行了训练，并且在各种分割任务上具有很强的零样本性能。

  • 🏠官网: Introducing Segment Anything: Working toward the first foundation model for image segmentation (facebook.com)
  • ❤️GitHub: https://github.com/facebookresearch/segment-anything

The RWKV Language Model

RWKV：具有 Transformer 级 LLM 性能的可并行化 RNN（RWKV来自Transformer的4 个主要参数：R W K V）

  • ❤️GitHub: https://github.com/BlinkDL/RWKV-LM/RWKV-LM
  • ❤️ChatRWKV: https://github.com/BlinkDL/ChatRWKV
  • 💻Hugging Face Demo: HuggingFace Gradio demo (14B ctx8192)
  • 💻Hugging Face Demo: Raven (7B finetuned on Alpaca) Demo
  • 🎬视频: Raven — RWKV-7B RNN’s LLM Strikes Back — YouTube

XGLM

XGLM 模型是 Few-shot Learning with Multilingual Language Models 中提出的模型。文章来源地址https://www.toymoban.com/news/detail-416280.html

  • ❤️GitHub: https://github.com/facebookresearch/fairseq/tree/main/examples/xglm
  • ❤️Hugging Face: https://huggingface.co/docs/transformers/model_doc/xglm

到了这里，关于开源大语言模型(LLM)汇总（持续更新中）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 大语言模型面试问题【持续更新中】

    大语言模型面试问题【持续更新中】

    transformer中求和与归一化中“求和”是什么意思？ 求和的意思就是残差层求和，原本的等式为y = H(x)转化为y = x + H(x)，这样做的目的是防止网络层数的加深而造成的梯度消失，无法对前面网络的权重进行有效调整，导致神经网络模型退化（这种退化不是由过拟合造成的，而是

    2024年01月18日
    浏览(41)

  • 【最新】生成式人工智能(AIGC)与大语言模型(LLM)学习资源汇总

    a) Andrej Karpathy 的 - 大型语言模型简介：https://www.youtube.com/watch?v=zjkBMFhNj_g 该视频对 LLMs 进行了一般性和高级的介绍，涵盖推理、缩放、微调、安全问题和提示注入等主题。 b) Nvidia 的生成式 AI 介绍：Course Detail | NVIDIA 注意： 本课程需要您先登录 nvidia，然后才能看到详细信息。

    2024年04月26日
    浏览(54)
  • 类ChatGPT的各种语言大模型LLM开源Github模型集合​

    类ChatGPT的各种语言大模型LLM开源Github模型集合​

    作为开发人员，面对堪称科技奇点爆发的ChatGPT，我们如何应对。当然是努力跟进，虽然ChatGPT不开源，但是有诸多不输ChatGPT的各类语言大模型LLM有分享。我们筛选出其中影响力较大的各个开源Github仓库，收录到 类ChatGPT的各种语言大模型开源Github模型集合​ http://www.webhub123.

    2024年02月08日
    浏览(45)
  • 【AI人工智能】LLM 开源中文大语言模型集合

    【AI人工智能】LLM 开源中文大语言模型集合

    整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。 目录 1. Model 2. Application 3. Dataset 4. Evaluation 5. Tutorial 6. R

    2024年02月09日
    浏览(55)

  • LLM、AGI、多模态AI 篇一：开源大语言模型简记

    2024年01月02日
    浏览(49)
  • 【AI实战】开源大语言模型LLMs汇总

    【AI实战】开源大语言模型LLMs汇总

    大语言模型（LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大语言模型可以处理多种自然语言任务，如文本分类、问答、对话等，是通向人工智能的一条重要途径。来自百度百科 发展历史 2020年9月，OpenAI授权微软使用GPT-3模

    2024年02月12日
    浏览(43)
  • Dify开源大语言模型(LLM) 应用开发平台如何使用Docker部署与远程访问

    Dify开源大语言模型(LLM) 应用开发平台如何使用Docker部署与远程访问

    本文主要介绍如何在Linux Ubuntu系统以Docker的方式快速部署Dify,并结合cpolar内网穿透工具实现公网远程访问本地Dify！ Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你

    2024年04月10日
    浏览(45)

  • ChatGLM2-6B_ An Open Bilingual Chat LLM _ 开源双语对话语言模型

    更强大的性能 ：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 [GLM]的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BB

    2024年04月14日
    浏览(41)

  • 一文汇总开源大语言模型，人人都可以拥有自己的ChatGPT

    OpenAI发布的ChatGPT火爆全球以来，全球互联网大厂陆续跟进，纷纷宣布了自家的Chat产品，如Google的Bard，百度的文心一言，阿里的通义千问等等。 这些Chat产品背后都是依赖的大语言模型(Large Language Model)。 如果是做一个垂直领域的Chat产品，有2种方案： 直接使用商业化产品，前

    2024年02月05日
    浏览(55)
  • LLM大语言模型助力DataEase小助手，新增气泡地图，DataEase开源数据可视化分析平台v2.5.0发布

    LLM大语言模型助力DataEase小助手，新增气泡地图，DataEase开源数据可视化分析平台v2.5.0发布

    2024年4月8日，DataEase开源数据可视化分析平台正式发布v2.5.0版本。 这一版本的功能升级包括：新增DataEase小助手支持，通过结合智能算法和LLM（即Large Language Model，大语言模型）能力，DataEase小助手能够准确抓取用户提问的关键信息，针对用户疑问给出高质量的回答，帮助用户

    2024年04月16日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包