相关文章:
从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型,本地知识库(一)
https://blog.csdn.net/hya168/article/details/131460230
从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型,本地知识库(二)
https://blog.csdn.net/hya168/article/details/135870440
五、配置、启动langchain-chatchat
5.1 配置文件修改
生成默认配置文件
cd /data/webui/langchainchatchat
python copy_config_example.py
此命令会在/data/webui/langchainchatchat/langchainchatchat/config下生成一份默认配置文件,如下图:
主要修改model_config.py这个文件。
cd /data/webui/langchainchatchat/langchainchatchat/config
vi model_config.py
1)第9行, 修改成EMBEDDING_MODEL = "bge-large-zh"
2) 第29行,只保留chatglm3-6b即可
3) 第155行,修改bge-large-zh向量模型路径,改成本地实际存储路径,如本文中的/data/models/bgelargezh
4) 168行,chatglm3-6b模型路径,改成本地实际存储路径,如本文中的/data/models/chatglm36b
如果使用其他模型,对应改下模型名称后面的路径即可。
保存文件。
5.2 初始化向量库
删除默认知识库中的知识文件,然后初始化向量库。
cd /data/webui/langchainchatchat
rm -rf knowledge_base/samples
python init_database.py --recreate-vs
初始化向量库执行结果类似下图:
5.3 启动大模型
python startup.py -a
当看到
You can now view your Streamlit app in your browser.
URL: http://0.0.0.0:8501
时,表明大模型已经加载启动完毕,这时可以通过浏览器打开 http://ip:8501 访问了
浏览器访问:
5.3 创建新知识库
点击左侧“知识库管理”,在右侧,新建知识库,输入知识库名(只能使用英文),知识库简介(可以使用中英文),向量库类型 faiss, embedding模型 bge-large-zh,点击新建。
5.4 添加本地文件到知识库
选择刚才创建的知识库,浏览需要录入的文件,比如我用的是“公司制度”,最后点击“添加文件到知识库”。
单段文本最大长度,相邻文本重合长度这两个参数,请参照此篇文章。
上传过程中如果出现libGL.so.1: cannot open shared object file错误,
2024-01-29 16:52:20,348 - utils.py[line:377] - ERROR: ImportError: 从文件 gongsizhidu/规章制度2023.pdf 加载文档时出错:libGL.so.1: cannot open shared object file: No such file or directory
错误信息类似如下图:
解决方案:停止大模型,用pip安装一下opencv
pip install opencv-python-headless -i https://mirrors.aliyun.com/pypi/simple/
等待下载、安装完成
重新启动大模型,将原来的pdf在知识库中删除,重新上传,命令行可以看到文档向量化的过程
回到对话模式,对话模式改为“知识库问答”,知识库选择“gongsizhidu”, 然后比如提问“年假有几天?”, langchain-chatchat会从知识库中检索最匹配的内容,然后通过chatglm3-6b大模型组织语言进行输出回答。
文章来源:https://www.toymoban.com/news/detail-830746.html
至此完成从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型、本地知识库,欢迎大家留言交流。文章来源地址https://www.toymoban.com/news/detail-830746.html
到了这里,关于从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型,本地知识库(完结篇)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!