LangChain+ChatGLM大模型应用落地实践（一）-Toy模板网

这篇具有很好参考价值的文章主要介绍了LangChain+ChatGLM大模型应用落地实践（一）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、简介

LangChain是一个近期非常活跃的开源代码库，目前也还在快速发展中，旨在让大家快速构建自己的LLM对话产品。当然，该框架也支持自定义接入其他机构、企业开源的LLMs的API和模型（比如：ChatGLM、文心一言等）。

届时，LangChain的版本已经更新到0.0.123，目前保持着每天1发版的更新速度。

LangChain主要包括以下几个主要的模块：

Prompt Templates：支持自定义Prompt工程的快速实现以及和LLMs的对接；
LLMs：提供基于OpenAI API封装好的大模型，包含常见的OpenAI大模型，也支持自定义大模型的封装；
Utils：大模型常见的植入能力的封装，比如搜索引擎、Python编译器、Bash编译器、数据库等等；
Chains（重点）：大模型针对一系列任务的顺序执行逻辑链；
Agents（重点）：通常Utils中的能力、Chains中的各种逻辑链都会封装成一个个工具（Tools）供Agents进行智能化调用；
其中，Chains和Agents两个模块是LangChain的亮点，也是后续教程中会重点展开的内容。

目前LangChain支持调用的OpenAI模型可以在官方文档（[文档, OpenAI, Models]）中查询；

LangChain 支持大量用例，例如：

针对特定文档的问答：根据给定的文档回答问题，使用这些文档中的信息来创建答案。
聊天机器人：构建可以利用 LLM 的功能生成文本的聊天机器人。
Agents：开发可以决定行动、采取这些行动、观察结果并继续执行直到完成的代理。

二、LangChain源码

Github 地址
https://github.com/imClumsyPanda/langchain-ChatGLM

https://github.com/hwchase17/langchain

三、租用云服务器实例

https://www.lanrui-ai.com/
注意收费有点贵，只用于训练时使用！！！

四、部署实例

实例开启后，选择JupyterLab进入后，启动命令行。

LangChain+ChatGLM大模型应用落地实践（一）,AI,langchain,ChatGLM,OpenAi,Pyhton,LLM

环境准备与数据下载：

#克隆LangChain-ChatGLM项目
git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

 进入langchain-ChatGLM文件夹
cd langchain-ChatGLM/

#项目中 pdf 加载由先前的 detectron2 替换为使用 paddleocr，如果之前有安装过 detectron2 需要先完成卸载避免引发 tools 冲突
pip uninstall detectron2
如果不需要对 pdf 格式文件读取，可不安装 detectron2；如需对 pdf 文件进行高精度文本提取，建议按照如下方法安装：
$ git clone https://github.com/facebookresearch/detectron2.git
$ cd detectron2
$ pip install -e .

#安装依赖
pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple

#安装protobuf   --- 安装失败也可以跳过
pip install protobuf==3.20.1

#安装peft
pip install peft

#将gradio升级到3.28.3
pip install --upgrade gradio

#安装git1fs
git lfs install

#如果安装安装git1fs时出现以下错误：git: 'lfs' is not a git command. See 'git --help'. 则使用以下指令。

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs

#退回根目录
cd ~

#创建存放数据的文件夹（autodl-tmp为数据盘，将模型下载到数据盘中）
mkdir data/your_path/

#下载LLM模型（文件比较大需要等一会）
git clone https://huggingface.co/THUDM/chatglm-6b data/your_path//chatglm-6b

#下载Embedding模型
git clone https://huggingface.co/GanymedeNil/text2vec data/your_path/text2vec

修改配置文件

在langchain-ChatGLM/configs/model_config.py中修改Embedding、LLM模型名称及地址：

修改LLM模型地址：

LLM_MODEL = “chatglm-6b” //LLM名称

OPEN_CROSS_DOMAIN = True // 开启跨域

在langchain-ChatGLM/webui.py中修改端口号为6006。
LangChain+ChatGLM大模型应用落地实践（一）,AI,langchain,ChatGLM,OpenAi,Pyhton,LLM

启动对话web页面
进入langchain-ChatGLM文件中
```
python webui.py
```
启动成功

langchain-ChatGLM WebUI成功部署，就可以导入自己的知识库进行测试了。
LangChain+ChatGLM大模型应用落地实践（一）,AI,langchain,ChatGLM,OpenAi,Pyhton,LLM 文章来源地址https://www.toymoban.com/news/detail-625352.html