LlamaGPT -基于Llama 2的自托管类chatgpt聊天机器人

这篇具有很好参考价值的文章主要介绍了LlamaGPT -基于Llama 2的自托管类chatgpt聊天机器人。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

LlamaGPT一个自托管、离线、类似 ChatGPT 的聊天机器人,由 Llama 2 提供支持。100% 私密,不会有任何数据离开你的设备。

LlamaGPT -基于Llama 2的自托管类chatgpt聊天机器人,llama,chatgpt,机器人

推荐:用 NSDT编辑器 快速搭建可编程3D场景

1、如何安装LlamaGPT

LlamaGPT可以安装在任何x86或arm64系统上。

首先确保你已安装 Docker。然后,克隆此存储库并 进入目录:

git clone https://github.com/getumbrel/llama-gpt.git
cd llama-gpt

现在可以使用以下任何模型运行 LlamaGPT,具体取决于你的硬件:

模型大小 使用的模型 所需的最低 RAM 如何启动 LlamaGPT
7B Nous Hermes Llama 2 7B (GGML q4_0) 8GB docker compose up -d
13B Nous Hermes Llama 2 13B (GGML q4_0) 16GB docker compose -f docker-compose-13b.yml up -d
70B Meta Llama 2 70B Chat (GGML q4_0) 48GB docker compose -f docker-compose-70b.yml up -d

可以通过 http://localhost:3000 访问 LlamaGPT。

要停止 LlamaGPT,请运行:

docker compose down

2、基准测试

我们在以下硬件上测试了 LlamaGPT 模型,并使用默认系统提示和用户提示:“宇宙如何膨胀?” 温度设置为 0 时保证确定性结果。 生成速度是前 10 代的平均值。

  • Nous Hermes Llama 2 7B (GGML q4_0)
设备 生成速度
M1 Max MacBook Pro (10 64GB RAM) 8.2 令牌/秒
Umbrel Home (16GB RAM) 2.7 令牌/秒
Raspberry Pi 4 (8GB RAM) 0.9 令牌/秒
  • Nous Hermes Llama 2 13B (GGML q4_0)
设备 生成速度
M1 Max MacBook Pro (64GB RAM) 3.7 令牌/秒
Umbrel Home (16GB RAM) 1.5 令牌/秒
  • Meta Llama 2 70B 聊天 (GGML q4_0)

不幸的是,我们还没有这个模型的任何基准。


原文链接:LlamaGPT自托管chatbot — BimAnt文章来源地址https://www.toymoban.com/news/detail-659172.html

到了这里,关于LlamaGPT -基于Llama 2的自托管类chatgpt聊天机器人的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于ChatGPT的端到端语音聊天机器人项目实战(三)

    企业级ChatGPT开发入门实战 第1课 基于ChatGPT的端到端语音聊天机器人项目实战 Gavin老师:NLP_Matrix_Space 1.4 使用FastAPI构建语音聊天机器人后端实战 在后端代码(backend)中调用了OpenAI API及其他的服务,如图1-10所示。 图1- 10 后端代码调用OpenAI API openai_requests.py是一个相对比较简单

    2024年02月10日
    浏览(37)
  • 新技术前沿-2023-ChatGPT基于人工智能技术的聊天机器人

    chatgpt镜像网站 一文带你了解爆火的Chat GPT ChatGPT系列文章 为什么ChatGPT这么强?—— 一文读懂ChatGPT原理! ChatGPT是一种基于人工智能技术的聊天机器人,它可以模拟人类对话,回答用户的问题和提供相关信息。ChatGPT使用 自然语言处理技术 ,可以与用户进行语音或文本交互,

    2023年04月15日
    浏览(72)
  • 【ChatGPT】基于GO语言实现的微信聊天和图片生成机器人

    🎨基于GO语言实现的微信聊天和图片生成机器人🎨 个人微信接入ChatGPT,实现和GPT机器人互动聊天,同时支持基于文本生成图像。支持私聊回复和群聊艾特回复。 GitHub源代码地址 实现功能 GPT机器人模型热度可配置 提问增加上下文指令清空上下文 DreamStudio图像生成模型参数可

    2024年02月09日
    浏览(111)
  • “私密离线聊天新体验!llama-gpt聊天机器人:极速、安全、搭载Llama 2,尽享Code Llama支持!”

    一个自托管的、离线的、类似chatgpt的聊天机器人。由美洲驼提供动力。100%私密,没有数据离开您的设备。 https://github.com/getumbrel/llama-gpt/assets/10330103/5d1a76b8-ed03-4a51-90bd-12ebfaf1e6cd “私密离线聊天新体验!llama-gpt聊天机器人 Currently, LlamaGPT supports the following models. Support for runnin

    2024年02月04日
    浏览(41)
  • 非工程师指南: 训练 LLaMA 2 聊天机器人

    本教程将向你展示在不编写一行代码的情况下,如何构建自己的开源 ChatGPT,这样人人都能构建自己的聊天模型。我们将以 LLaMA 2 基础模型为例,在开源指令数据集上针对聊天场景对其进行微调,并将微调后的模型部署到一个可分享的聊天应用中。全程只需点击鼠标,即可轻

    2024年02月03日
    浏览(45)
  • 基于Python+百度语音的智能语音ChatGPT聊天机器人(机器学习+深度学习+语义识别)含全部工程源码 适合个人二次开发

    本项目基于机器学习和语义识别技术,让机器人理解文本并进行合适的答复。伙伴们可以通过该工程源码,进行个人二次开发,比如使用语音与机器人交流,实现智能问答、智能音箱及智能机器宠物等等。 当然针对现在最火爆的 ChatGPT等通用大语言模型 ,伙伴们可以直接将其

    2024年02月07日
    浏览(55)
  • AIGC:ColossalChat(基于LLM和RLHF技术的类似ChatGPT的聊天机器人)的简介、安装、使用方法之详细攻略

    LLMs:ColossalChat(基于LLM和RLHF技术的类似ChatGPT的聊天机器人)/ColossalAI的简介、安装、使用方法之详细攻略 导读 :ColossalChat 是 第一个 基于LLaMA预训练模型 开源完整RLHF pipline实现 ,包括有监督数据收集、有监督微调、奖励模型训练和强化学习微调。只需要 不到100亿个参数 ,就

    2024年02月09日
    浏览(55)
  • 探索ChatGLM-LLaMA-chinese:新一代AI聊天机器人与多语言建模的创新实践

    项目地址:https://gitcode.com/27182812/ChatGLM-LLaMA-chinese-insturct 在人工智能领域,语言模型的进步不断刷新我们的认知。今天,我们将深度剖析一个令人瞩目的开源项目——ChatGLM-LLaMA-chinese,它是一个基于阿里云大模型的多语言聊天机器人,具有丰富的功能和高度的可定制性。 Chat

    2024年04月11日
    浏览(54)
  • ChatGPT聊天机器人问答实录

    最近ChatGPT爆火,我也在网上找到一个ChatGPT的接口(文末附链接),尝试了一下与人工智能对话的乐趣。我下载的这个应用是基于GPT-3的聊天机器人,我与它的几个问答对话实际记录如下: 答:百度和谷歌是世界上最大的搜索引擎之一,虽然它们在不同的市场中运营,但它们

    2024年02月01日
    浏览(52)
  • ChatGPT聊天机器人如何发图片????

    问题一、怎么让聊天机器人ChatGPT回复你一张图片? 有问题可以在评论区留言。

    2024年02月11日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包