从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型,本地知识库(完结篇)

这篇具有很好参考价值的文章主要介绍了从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型,本地知识库(完结篇)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

相关文章:
从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型,本地知识库(一)
https://blog.csdn.net/hya168/article/details/131460230

从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型,本地知识库(二)
https://blog.csdn.net/hya168/article/details/135870440

五、配置、启动langchain-chatchat

5.1 配置文件修改

生成默认配置文件

cd /data/webui/langchainchatchat
python copy_config_example.py

此命令会在/data/webui/langchainchatchat/langchainchatchat/config下生成一份默认配置文件,如下图:

ubuntu 安装 langchain chatglm,langchain

主要修改model_config.py这个文件。

cd /data/webui/langchainchatchat/langchainchatchat/config
vi model_config.py

1)第9行, 修改成EMBEDDING_MODEL = "bge-large-zh"

ubuntu 安装 langchain chatglm,langchain

2) 第29行,只保留chatglm3-6b即可

ubuntu 安装 langchain chatglm,langchain

3) 第155行,修改bge-large-zh向量模型路径,改成本地实际存储路径,如本文中的/data/models/bgelargezh

ubuntu 安装 langchain chatglm,langchain

4) 168行,chatglm3-6b模型路径,改成本地实际存储路径,如本文中的/data/models/chatglm36b

如果使用其他模型,对应改下模型名称后面的路径即可。

ubuntu 安装 langchain chatglm,langchain

保存文件。

5.2 初始化向量库

删除默认知识库中的知识文件,然后初始化向量库。

cd /data/webui/langchainchatchat
rm -rf knowledge_base/samples
python init_database.py --recreate-vs

初始化向量库执行结果类似下图:ubuntu 安装 langchain chatglm,langchain

5.3 启动大模型

python startup.py -a

ubuntu 安装 langchain chatglm,langchain

当看到

You can now view your Streamlit app in your browser. 

URL: http://0.0.0.0:8501

时,表明大模型已经加载启动完毕,这时可以通过浏览器打开 http://ip:8501 访问了

ubuntu 安装 langchain chatglm,langchain

浏览器访问:

ubuntu 安装 langchain chatglm,langchain

5.3 创建新知识库

点击左侧“知识库管理”,在右侧,新建知识库,输入知识库名(只能使用英文),知识库简介(可以使用中英文),向量库类型 faiss, embedding模型 bge-large-zh,点击新建。

ubuntu 安装 langchain chatglm,langchain

5.4 添加本地文件到知识库

        选择刚才创建的知识库,浏览需要录入的文件,比如我用的是“公司制度”,最后点击“添加文件到知识库”。

      单段文本最大长度,相邻文本重合长度这两个参数,请参照此篇文章。

ubuntu 安装 langchain chatglm,langchain

上传过程中如果出现libGL.so.1: cannot open shared object file错误,

2024-01-29 16:52:20,348 - utils.py[line:377] - ERROR: ImportError: 从文件 gongsizhidu/规章制度2023.pdf 加载文档时出错:libGL.so.1: cannot open shared object file: No such file or directory

错误信息类似如下图:ubuntu 安装 langchain chatglm,langchain

解决方案:停止大模型,用pip安装一下opencv

pip install opencv-python-headless -i https://mirrors.aliyun.com/pypi/simple/

等待下载、安装完成

ubuntu 安装 langchain chatglm,langchain

重新启动大模型,将原来的pdf在知识库中删除,重新上传,命令行可以看到文档向量化的过程

ubuntu 安装 langchain chatglm,langchain

回到对话模式,对话模式改为“知识库问答”,知识库选择“gongsizhidu”, 然后比如提问“年假有几天?”, langchain-chatchat会从知识库中检索最匹配的内容,然后通过chatglm3-6b大模型组织语言进行输出回答。

ubuntu 安装 langchain chatglm,langchain

至此完成从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型、本地知识库,欢迎大家留言交流。文章来源地址https://www.toymoban.com/news/detail-830746.html

到了这里,关于从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型,本地知识库(完结篇)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Ubuntu 22上安装Anaconda3。下载、安装、验证详细教程

    在Ubuntu 22上安装Anaconda3,你可以遵循以下步骤: 更新系统存储库 : 打开终端并运行以下命令来更新系统存储库: 安装curl包 : 下载Anaconda安装脚本通常需要使用curl工具。如果系统中没有安装curl,可以通过以下命令安装: 下载Anaconda安装脚本 : 使用curl下载Anaconda的安装脚本

    2024年04月15日
    浏览(33)
  • pytorch安装教程(Ubuntu22.04.1,Anaconda3-2023.03)

    本文主要讲述了在Linux系统中,通过anaconda安装pytorch的具体步骤,即需要在Ubuntu已经安装好anaconda,其安装步骤可以参考此篇博客:Ubuntu安装Anaconda详细步骤(Ubuntu22.04.1,Anaconda3-2023.03) Nvidia安装的cuda主要包含三部分: 1.CUDA toolkit 2.CUDA driver 3.NVIDIA GPU driver CUDA分为两种:驱动

    2024年02月11日
    浏览(31)
  • 从零开始搭建高颜值社区:Cpolar+HYBBS论坛在Ubuntu上的部署方法

    在国内互联网刚刚起步时,网上的内容远没有现今这般丰富,甚至当下耳熟能详的各个互联网大厂,彼时都还没有诞生。那时候的网民上网,大多数时候只能浏览门户网站的新闻,或者到各个BBS上灌水发帖。随着时代发展,互联网的内容和应用逐渐丰富,曾经风光无二的BBS论

    2024年02月07日
    浏览(27)
  • Windows 11 上从零开始基于 wsl-ubuntu 搭建 AI 学习环境及部署多种私有 ChatGPT

    今天(2023/6/2)刚刚换了 1 块 4TB 的硬盘,在 Windows 11 上从零开始,基于 Windows Subsystem for Linux 搭建一套 AI 学习环境。 其中包括,安装 Python、安装 Miniconda3、安装 CUDA Toolkit、安装 git lfs、配置 Hugging Face 的缓存路径、本地部署 ChatGLM-6B、本地部署 VisualGLM-6B等等内容。 安装 Ubuntu-

    2024年02月07日
    浏览(43)
  • 从零开始配置深度学习环境:CUDA+Anaconda+Pytorch+TensorFlow

    本文适用于电脑有GPU(显卡)的同学,没有的话直接安装cpu版是简单的。CUDA是系统调用GPU所必须的,所以教程从安装CUDA开始。 可以配合视频教程食用:https://www.bilibili.com/video/BV12m4y1m7pq/?vd_source=06e4e8652ea90d79dadb7a59ff8acd36 CUDA是加速深度学习计算的工具,诞生于NVIDIA公司,是一

    2023年04月14日
    浏览(39)
  • 从零开始系列(1)—— Anaconda + PyCharm + PyTorch(GPU) + 虚拟环境(全步骤,多图警告)

    感谢 姜小敏 同学对我的支持、鼓励和鞭策! 进入 Anaconda 下载界面 ,单击 Download 下载。 下载好之后,进行 安装 。 安装路径 全英文 。 不勾选 第二项。 接下来配置 环境变量 。 基于自定义的 安装路径 ,添加以下三个路径。 将以下图标从 开始菜单 中拖拽到 桌面 上,方便

    2023年04月09日
    浏览(30)
  • 从零开始搭建Ubuntu CTF-pwn环境

    最近因为学校考试所以没怎么看pwn,但是中间虚拟机崩掉过,问题还挺严重。前几天发现能正常打开了,但是一用gdb就会出现下面让人窒息的提醒: 怎么调都不知道是怎么回事,很奇怪的是只有在开gdb的时候才会弹出这个错误,其他都是正常的。问过师傅时候无奈只能放弃这

    2024年01月16日
    浏览(74)
  • Linux系统安装Anaconda3

    1、下载anaconda 没翻墙情况下清华镜像站 下载anaconda 的速度较官网上要快很多 注意:anaconda 与python的对应关系传送 2、服务器上使用 wget + 链接 来下载 选择的一个linux版本并 右键复制链接 3、sh命令安装Anaconda 回车继续 这是具体的协议内容,一直空格到底部,然后输入yes —

    2024年02月13日
    浏览(36)
  • Anaconda3安装教程---图文讲解

    Hello,大家好,我是霜淮子,今天分享一篇Anaconda3的安装教程。 Anaconda,中文大蟒蛇,是一个开源的python发行版本,其包含了conda、Python等180多个科学的依赖项。Anaconda能让你轻松安装在数据科学工作中经常使用的包,还将使用它创建虚拟环境,以便更轻松地处理多个项目。

    2024年02月17日
    浏览(38)
  • docker从零开始(2)----应用部署/dockerfile

    通信 容器内的网络服务和外部机器不能直接通信 外部机器和宿主机可以直接通信 宿主机和机器可以直接通信 当容器中的网络服务需要被外部机器访问时,可以将容器中提供服务的端口映射到宿主机的端口上。外部机器访问宿主机的该端口,从而间接访问容器的服务。这种操

    2024年02月07日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包