Chatbot UI 和 ChatGLM2-6B 的集成

这篇具有很好参考价值的文章主要介绍了Chatbot UI 和 ChatGLM2-6B 的集成。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

0. 背景

尝试将 Chatbot UI 和 ChatGLM2-6B 的进行集成, ChatGLM2-6B 提供 API 服务,Chatbot UI 提供模仿 OpenAI 聊天模型的 ChatGPT 界面和功能。

效果展示,

Chatbot UI 和 ChatGLM2-6B 的集成,LINUX,Chatbot UI,ChatGPT,ChatGLM2-6B,ChatGLM,清华大学开源

1. 部署 Chatbot UI

请参考文章 本地部署 Chatbot UI。

2. 部署 ChatGLM2-6B

请参考文章 本地部署 ChatGLM2-6B。

3. 修改 ChatGLM2-6B 项目的 openai_api.py

直接启动 openai_api.py 会报发生以下错误,

PydanticDeprecatedSince20: The `json` method is deprecated; use `model_dump_json` instead. Deprecated in Pydantic V2.0 to be removed in V3.0. See Pydantic V2 Migration Guide at https://errors.pydantic.dev/2.0.2/migration/
  yield "{}".format(chunk.json(exclude_unset=True, ensure_ascii=False))

略

  File "/root/miniconda3/envs/chatglm2/lib/python3.10/site-packages/pydantic/main.py", line 926, in json
    raise TypeError('`dumps_kwargs` keyword arguments are no longer supported.')
TypeError: `dumps_kwargs` keyword arguments are no longer supported.

具体错误描述可以参考 https://errors.pydantic.dev/2.0.2/migration/ 的说明。

解决方法如下,

vi openai_api.py

--- 修改内容,有3处
    #yield "{}".format(chunk.json(exclude_unset=True, ensure_ascii=False))
    yield "{}".format(chunk.model_dump_json(exclude_unset=True))
---

(可选)为了实现更高的适配性,增加非 /v1 开头的 API 端点。

class ChatCompletionResponse(BaseModel):
    略
    usage: Optional[Dict[str, int]] = {'prompt_tokens': 1, 'completion_tokens': 1, 'total_tokens': 2}

@app.get("/models", response_model=ModelList)
async def list_models():
    global model_args
    model_card = ModelCard(id="gpt-3.5-turbo")
    return ModelList(data=[model_card])

@app.post("/chat/completions", response_model=ChatCompletionResponse)
async def create_v1_chat_completion(request: ChatCompletionRequest):
    return RedirectResponse("/v1/chat/completions", status_code=307)

修改完成后,启动 openai_api.py,

python openai_api.py

4. 修改 Chatbot UI 的配置

修改 .env.local 的配置,

vi .env.local

---
OPENAI_API_HOST=http://localhost:8000
OPENAI_API_KEY=none
---

启动 Chatbot UI,

npm run dev

5. 访问 Chatbot UI

使用浏览器打开 http://localhost:3000,

Chatbot UI 和 ChatGLM2-6B 的集成,LINUX,Chatbot UI,ChatGPT,ChatGLM2-6B,ChatGLM,清华大学开源
问它一个问它,清华大学在哪?

Chatbot UI 和 ChatGLM2-6B 的集成,LINUX,Chatbot UI,ChatGPT,ChatGLM2-6B,ChatGLM,清华大学开源
完结!文章来源地址https://www.toymoban.com/news/detail-741471.html

到了这里,关于Chatbot UI 和 ChatGLM2-6B 的集成的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 腾讯云部署清华大学ChatGLM-6B实战

    简介(来自官方) ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文

    2024年02月11日
    浏览(49)
  • 清华大学开源的chatGLM-6B部署实战

    win10 通过wsl部署 常见问题: torch.cuda.OutOfMemoryError: CUDA out of memory. 在Windows的系统环境变量中增加 变量名: PYTORCH_CUDA_ALLOC_CONF 变量值: max_split_size_mb:32 文档书写时使用3090 24G显存配置,其他规格酌情调整 32 至其他值,如未设置变量默认值128极大概率导致 CUDA OOM 无法正常启动

    2024年02月04日
    浏览(58)
  • Windows下cpu部署运行清华大学ChatGLM-6B语言模型(详解)

    ChatGLM-6B 清华大学实现的 一个开源的、支持中英双语 、 支持图像理解 的对话语言模型 。 它 基于

    2024年02月12日
    浏览(56)
  • 在矩池云使用ChatGLM-6B & ChatGLM2-6B

    ChatGLM-6B 和 ChatGLM2-6B都是基于 General Language Model (GLM) 架构的对话语言模型,是清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同发布的语言模型。模型有 62 亿参数,一经发布便受到了开源社区的欢迎,在中文语义理解和对话生成上有着不凡的表现。 ChatGLM-6B 可以在消费级的显卡

    2024年02月14日
    浏览(51)
  • ChatGLM2-6B

    ChatGLM2-6B 项目基本情况 GitHub:https://github.com/THUDM/ChatGLM2-6B/tree/main 参考:https://mp.weixin.qq.com/s/11jCCeOpg1YbABIRLlnyvg 主要贡献 更强大的性能:基于 ChatGLM 初代模型的开发经验,我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数,经过了 1.4T 中英标识符的预

    2024年02月15日
    浏览(46)
  • ChatGLM2-6B 部署

    这是ChatGLM2-6B 部署的阅读笔记,主要介绍了ChatGLM2-6B模型的部署和一些原理的简单解释。 它是单卡开源的对话模型。 充分的中英双语预训练 较低的部署门槛 FP16半精度下,需要至少13G的显存进行推理,甚至可以进一步降低到10G(INT8)和6G(INT4) 更长的序列长度 ChatGLM-6B 序列长度达

    2024年02月09日
    浏览(55)
  • ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战

    介绍 ChatGLM-6B是开源的文本生成式对话模型,基于General Language Model(GLM)框架,具有62亿参数,结合模型蒸馏技术,实测在2080ti显卡训练中上(INT4)显存占用 6G 左右, 优点 :1.较低的部署门槛: FP16 半精度下,ChatGLM-6B 需要至少 13GB 的显存进行推理,结合模型量化技术,一需求可以进一步

    2024年02月12日
    浏览(59)
  • 三个开源大模型(chatglm2-6B, moss, llama)-chatglm2的测试

    chatglm2-6B 是清华大学开源的一款支持中英双语的对话语言模型。经过了 1.4T 中英标识符的预训练与人类偏好对齐训练,具有62 亿参数的 ChatGLM2-6B 已经能生成相当符合人类偏好的回答。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6G

    2024年02月11日
    浏览(66)
  • ChatGLM2-6B下载与部署

    我们首先来看一下 ChatGLM2-6B 模型的 requirements : 可以看到,要求 torch=2.0 ,这就产生了一个问题: torch 与 cuda 版本的匹配问题。本地机器中 CUDA=10.0 ,于是在费了半天时间配置好 ChatGLM2-6B 所需环境,从 github 和 huggingface 下载好了 ChatGLM2-6B 模型,但是在 run 的过程中报错 Torch

    2024年02月06日
    浏览(68)
  • Chatbot UI集成LocalAI实现自托管的ChatGPT

    本文比惯例提前了一天发,因为明天一早,老苏就踏上回乡的路了,三年没回老家,这次专门请了 2 天的假 难得回家,打算多陪陪家人,和多年不见的朋友聚聚,当然如果有网络条件,还是会正常发文的 在这个中秋和国庆双节即将到来之际,老苏提前预祝大家度过一个愉快

    2024年02月07日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包