CentOS7上部署langchain-chatglm或stable-diffusion可能遇到的Bug的解决方案

这篇具有很好参考价值的文章主要介绍了CentOS7上部署langchain-chatglm或stable-diffusion可能遇到的Bug的解决方案。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

第一步官网官方驱动 | NVIDIA下载驱动

# 切换root账号操作
# 进行一些依赖库的升级也很必要, eg:
# yum -y install epel-release
# yum -y install gcc gcc-c++ kernel-headers kernel-devel dkms

# 卸载驱动和cuda（非必要操作，直接更新cuda即可）
# nvidia-uninstall
# cuda-uninstaller
#安装（非必要操作，直接更新cuda即可）
# chmod a+x NVIDIA-Linux-x86_64-515.76.run
# ./NVIDIA-Linux-x86_64-470.86.run

# nvidia 安装成功
# nvidia-smi

# 安装cuda：
sh cuda_11.7.1_515.65.01_linux.run #默认更新driver从495到515，cuda从11.5到11.7
# 不要勾选 nvidia-fs(mofed是啥？)

# 成功之后按照提示添加路径：
vim /etc/profile
export CUDA_HOME=/usr/local/cuda-11.7
export LD_LIBRARY_PATH=${CUDA_HOME}/lib64:${CUDA_HOME}/extras/CUPTI/lib64
export PATH=${CUDA_HOME}/bin:${PATH}
source /etc/profile

第二步下载官方代码包

git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

安装python环境，此处建议使用conda管理环境。

conda create -n glm python=3.10.6

比如glm就 conda activate glm

sd 就conda activate sd

第三步重新更新你的cuda的支持(非常重要)

进入你的代码目录下

pip install -r requment.txt

下载依赖
这里可能有的朋友会有问题会出现某些包下载不了，这里建议直接使用阿里源即可，在确定你的cuda版本之后(使用nvidia-smi确定cuda版本)
命令行执行

pip uninstall torch torchvision torchaudio

卸载掉刚才pip安装的版本!!!!因为此处安装的版本还缺少cuda的支持，确定卸载掉之后
执行

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cuX

此处X为你的cuda版本，例如你的cuda版本为11.8那么此处就是118。
在安装完成后执行pip list，如果此处是这样的 CentOS7上部署langchain-chatglm或stable-diffusion可能遇到的Bug的解决方案,langchain,stable diffusion,bug

那么恭喜你，成功了

第四步下载对应的模型包

无论是chatglm-6b还是int4 int8的量化版本都可以，根据自己服务器的显存来决定

第五步进入代码目录，修改config/model_config.py文件

将里面的模型目录修改为你本地的即可

第六步启动项目

python webui.py

启动，这一步很多人会出现报错，大部分人都会报错，但按照第三步来执行操作，基本99%不会出问题

另外：

有少部分报错会提示cudnn没有运行，那是因为你真的没有安装cuda，直接百度搜索即可解决。
如果报out of memory 是你的显存太小了运行不起来。
如果代码运行起来了，你上传docx知识库报错，那么你需要安装libreoffice扩展，看该文章https://blog.csdn.net/an129/article/details/126766228进行安装，安装后有少部分朋友还是会报这个错误，你需要把你安装目录加入到环境变量(/etc/profile)中，如下图所示

CentOS7上部署langchain-chatglm或stable-diffusion可能遇到的Bug的解决方案,langchain,stable diffusion,bug
该问题即可解决。文章来源地址https://www.toymoban.com/news/detail-579770.html