Chatbot UI集成LocalAI实现自托管的ChatGPT

这篇具有很好参考价值的文章主要介绍了Chatbot UI集成LocalAI实现自托管的ChatGPT。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Chatbot UI集成LocalAI实现自托管的ChatGPT,群晖,docker,人工智能,AI

本文比惯例提前了一天发,因为明天一早,老苏就踏上回乡的路了,三年没回老家,这次专门请了 2 天的假

难得回家,打算多陪陪家人,和多年不见的朋友聚聚,当然如果有网络条件,还是会正常发文的

在这个中秋和国庆双节即将到来之际,老苏提前预祝大家度过一个愉快的假期,中秋和国庆快乐~


什么是 Chatbot UI ?

Chatbot UI是一个非常实用的聊天机器人 UI 组件库,是 OpenAIChatGPT UI 的开源克隆。可以帮助开发者快速构建个性化的聊天机器人界面,该组件库支持多种聊天机器人平台。可以自定义提示词,支持数据导入导出,还支持谷歌搜索插件,支持最新的 GPT-4模型。

LocalAI 一文中,我们提到了 2 种调用 LocalAI 的方法,而今天要介绍的则是第 3 种,将 Chatbot UI 作为前端,通过一个类似聊天的界面,用于与 AI 模型进行交互。您可以以对话方式输入文本并接收模型的响应,将 LocalAI 打造成一款聊天机器人

Chatbot UI集成LocalAI实现自托管的ChatGPT,群晖,docker,人工智能,AI

能够用来做前端的还有个项目:https://github.com/Dhruvgera/LocalAI-frontend,只是颜值差了点,直接被老苏 pass 掉了

Chatbot UI集成LocalAI实现自托管的ChatGPT,群晖,docker,人工智能,AI

安装

在群晖上以 Docker 方式安装。

镜像下载

镜像没有在 docker hub 上发布,而是发布到了 ghcr.io

SSH 客户端登录到群晖后,执行下面的命令

# 拉取镜像
docker pull ghcr.io/mckaywrigley/chatbot-ui:main

如果拉不动,也可以试试 docker 代理网站:https://dockerproxy.com/,但是会多几个步骤

# 如果拉不动的话加个代理
docker pull ghcr.dockerproxy.com/mckaywrigley/chatbot-ui:main

# 重命名镜像(如果是通过代理下载的)
docker tag ghcr.dockerproxy.com/mckaywrigley/chatbot-ui:main ghcr.io/mckaywrigley/chatbot-ui:main

# 删除代理镜像(如果是通过代理下载的)
docker rmi ghcr.dockerproxy.com/mckaywrigley/chatbot-ui:main

下载完成后,可以在 映像 中找到

Chatbot UI集成LocalAI实现自托管的ChatGPT,群晖,docker,人工智能,AI

如果你还没有下载 LocalAI 的镜像,可以看看前文

文章传送门:搭建本地人工智能框架LocalAI

docker-compose 安装

如果你之前已经安装过 LocalAI,建议用下面合并后的 docker-compose.yml 文件

version: '3.6'

services:
  api:
    image: quay.io/go-skynet/local-ai:latest
    container_name: localai-api
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:8080/readyz"]
      interval: 1m
      timeout: 20m
      retries: 20
    ports:
      - 8668:8080
    volumes:
      - ./models:/models:cached
    environment:
      - MODELS_PATH=/models
      - DEBUG=true
      - 'PRELOAD_MODELS=[{"url": "github:go-skynet/model-gallery/gpt4all-j.yaml", "name": "gpt-3.5-turbo"}]'
    command: ["/usr/bin/local-ai" ]

  chatgpt:
    image: ghcr.io/mckaywrigley/chatbot-ui:main
    container_name: localai-web
    ports:
      - 8669:3000
    environment:
      - 'OPENAI_API_KEY=sk-XXXXXXXXXXXXXXXXXXXX'
      - 'OPENAI_API_HOST=http://api:8080'
    depends_on:
      api:
        condition: service_healthy
  • PRELOAD_MODELS:启动期间预加载模型。为了允许 API 在首次启动时启动所有需要的模型;
  • OPENAI_API_KEY :用于 OpenAI 身份验证的默认 API 密钥。但我们用的是本地搭建的 LocalAI,所以这里并不需要真正的 OpenAI API Key,因此不需要修改,直接照抄即可;
  • OPENAI_API_HOST:指向 LocalAI的地址,也不需要修改;

更多的环境变量,请参考官方文档:https://github.com/mckaywrigley/chatbot-ui#configuration

然后执行下面的命令

# 进入 localai 目录
cd /volume1/docker/localai

# 更新目录下原来的 docker-compose.yml 文件

# 一键启动
docker-compose up -d

原来的 models 目录会多出 4 个文件,时间取决于你的网络情况

Chatbot UI集成LocalAI实现自托管的ChatGPT,群晖,docker,人工智能,AI

  • bin:是模型文件;
  • yaml: 是设置文件;
  • tmpl:是模板文件;

如果你网络下载遇到了问题,建议直接下载老苏分享到阿里云盘的文件:https://www.aliyundrive.com/s/XEc19L766Lz

运行

在浏览器中输入 http://群晖IP:8669 就能看到主界面

Chatbot UI集成LocalAI实现自托管的ChatGPT,群晖,docker,人工智能,AI

生成温度老苏还是设置为了 0.7,然后就可以开始提问了,这回老苏换了个问题

Chatbot UI集成LocalAI实现自托管的ChatGPT,群晖,docker,人工智能,AI

再问个中文的问题,居然回答是英文的

Chatbot UI集成LocalAI实现自托管的ChatGPT,群晖,docker,人工智能,AI

上难度

Chatbot UI集成LocalAI实现自托管的ChatGPT,群晖,docker,人工智能,AI

有没有发现一个问题?每次都会把之前的回复又输出一遍?不知道是 bug 还是模板设置问题

Chatbot UI集成LocalAI实现自托管的ChatGPT,群晖,docker,人工智能,AI

每次提问时,从 Finalshell 看日志, 发现 CPU 都是满负荷在工作

Chatbot UI集成LocalAI实现自托管的ChatGPT,群晖,docker,人工智能,AI

当然这都不是关键,关键是怎么才能把它真正搞成生产力工具呢?欢迎大家一起交流

参考文档

LocalAI/examples/chatbot-ui/docker-compose.yaml at master · go-skynet/LocalAI
地址:https://github.com/go-skynet/LocalAI/blob/master/examples/chatbot-ui/docker-compose.yaml

mckaywrigley/chatbot-ui: An open source ChatGPT UI.
地址:https://github.com/mckaywrigley/chatbot-ui

Chatbot UI
地址:https://www.chatbotui.com

Chatbot UI does not seems to be working · Issue #165 · go-skynet/LocalAI
地址:https://github.com/go-skynet/LocalAI/issues/165文章来源地址https://www.toymoban.com/news/detail-723431.html

到了这里,关于Chatbot UI集成LocalAI实现自托管的ChatGPT的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ChatGPT提示词工程(七):Chatbot聊天机器人

    这是吴恩达 《ChatGPT Prompt Engineering for Developers》 的课程笔记系列。 本文是第八讲的内容:Chatbot 参考: ChatGPT提示词工程(一):Guidelines准则 的第二节 其中,辅助函数有变化: 这里,可以自定义消息, message 里面的 role ,可以是 system 、 user 、 assistant : system :系统辅助模

    2024年02月06日
    浏览(43)
  • 【Jenkins】持续集成与交付 (六):Gitlab代码托管服务安装

    💖The Begin💖点点关注,收藏不迷路💖

    2024年04月28日
    浏览(39)
  • 我开发了一个温柔的智能客服聊天机器人ChatBot,并回答为什么不是ChatGPT(附思路和代码)

    若问2023年科技领域什么最火,那当然是ChatGPT了,这么智能的对话机器人,给人带来无限的想象,围绕着ChatpGPT的各种热点和创意层出不穷。作为一个多年从事编程开发的程序员,我对于这么大的一个热点也很兴奋,每天琢磨着围绕ChatGPT干点啥。 当然还是先要认清现实,心再

    2023年04月20日
    浏览(101)
  • LlamaGPT -基于Llama 2的自托管类chatgpt聊天机器人

    LlamaGPT一个自托管、离线、类似 ChatGPT 的聊天机器人,由 Llama 2 提供支持。100% 私密,不会有任何数据离开你的设备。 推荐:用 NSDT编辑器 快速搭建可编程3D场景 LlamaGPT可以安装在任何x86或arm64系统上。 首先确保你已安装 Docker。然后,克隆此存储库并 进入目录: 现在可以使用

    2024年02月12日
    浏览(49)
  • 【ChatGPT】在20分钟内使用 LangChain + Ray构建自托管问答服务

    This is part 3 of a blog series. In this blog, we’ll show you how to build an LLM question and answering service. In future parts, we will optimize the code and measure performance: cost, latency and throughput. 这是博客系列的第 3 部分。在本博客中,我们将向您展示如何构建LLM问答服务。在以后的部分中,我们将优化代码

    2024年02月03日
    浏览(54)
  • 将 ChatGPT 与 ReactJS 集成以实现更智能的对话界面

    在本博客中,我们将探讨如何使用 Kommunicate 平台将 ChatGPT 与 ReactJS 集成,从而更轻松地在网站上部署和管理聊天机器人。 随着技术世界的不断发展,聊天机器人已成为许多企业不可或缺的一部分,提供高效、个性化的客户交互。在众多可用的人工智能聊天机器人解决方案中

    2024年02月10日
    浏览(57)
  • 使用 ChatGPT 在短短 5 分钟内创建您的个人简历网站(并免费托管)

    在这篇博文中,我们将向您展示如何使用 ChatGPT 这种强大的语言模型,在短短 5 分钟内创建一个个人简历网站。我们还将向您展示如何在 ChatGPT 的帮助下免费托管您的网站! 在当今的数字时代,拥有强大的在线形象至关重要,尤其是在寻找新工作时。展示您的技能和经验的最

    2024年02月04日
    浏览(57)
  • 关于 java如何集成chatgpt,如何集成到html5前端界面,如何实现多伦对话,如何申请域名,如何申请服务器,搭建环境(一)

    Java如何集成ChatGPT,如何集成到HTML5前端界面,如何实现多伦对话 随着人工智能技术的不断发展,聊天机器人已经成为了人们日常生活中不可或缺的一部分。ChatGPT是一种基于自然语言处理技术的聊天机器人,它可以通过对话来理解用户的需求,并给出相应的回答。在本文中,

    2024年02月03日
    浏览(74)
  • Flowise+LocalAI部署--Agent应用

    Flowise Flowise 是一个开源的用户界面可视化工具,它允许用户通过拖放的方式来构建自定义的大型语言模型(LLM)流程。 Flowise基于LangChain.js,是一个非常先进的图形用户界面,用于开发基于LLM的应用程序。Flowise还支持Docker和NodeJS,可以在本地或者在容器中运行。如果有需求修

    2024年01月19日
    浏览(32)
  • 搭建本地人工智能框架LocalAI

    什么是 LocalAI LocalAI 是一个用于本地推理的,与 OpenAI API 规范兼容的 REST API 。它允许您在本地使用消费级硬件运行 LLM (不仅如此),支持与 ggml 格式兼容的多个模型系列。不需要 GPU 。 最吸引老苏的有两点,一个是不需要 GPU ,另一点上可以使用消费级硬件,所以准备搭一个

    2024年02月08日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包