LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持 FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embe

本地模型

联网模型

本地 LLM 模型接入基于 FastChat 实现，支持模型如下：

• meta-llama/Llama-2-7b-chat-hf
• Vicuna, Alpaca, LLaMA, Koala
• BlinkDL/RWKV-4-Raven
• camel-ai/CAMEL-13B-Combined-Data
• databricks/dolly-v2-12b
• FreedomIntelligence/phoenix-inst-chat-7b
• h2oai/h2ogpt-gm-oasst1-en-2048-open-llama-7b
• lcw99/polyglot-ko-12.8b-chang-instruct-chat
• lmsys/fastchat-t5-3b-v1.0
• mosaicml/mpt-7b-chat
• Neutralzz/BiLLa-7B-SFT
• nomic-ai/gpt4all-13b-snoozy
• NousResearch/Nous-Hermes-13b
• openaccess-ai-collective/manticore-13b-chat-pyg
• OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5
• project-baize/baize-v2-7b
• Salesforce/codet5p-6b
• StabilityAI/stablelm-tuned-alpha-7b
• THUDM/chatglm-6b
• THUDM/chatglm2-6b
• tiiuae/falcon-40b
• timdettmers/guanaco-33b-merged
• togethercomputer/RedPajama-INCITE-7B-Chat
• WizardLM/WizardLM-13B-V1.0
• WizardLM/WizardCoder-15B-V1.0
• baichuan-inc/baichuan-7B
• internlm/internlm-chat-7b
• Qwen/Qwen-7B-Chat/Qwen-14B-Chat
• HuggingFaceH4/starchat-beta
• FlagAlpha/Llama2-Chinese-13b-Chat and others
• BAAI/AquilaChat-7B
• all models of OpenOrca
• Spicyboros + airoboros 2.2
• VMware's OpenLLaMa OpenInstruct
• baichuan2-7b/baichuan2-13b
• 任何 EleutherAI 的 pythia 模型，如 pythia-6.9b
• 在以上模型基础上训练的任何 Peft 适配器。为了激活，模型路径中必须有 peft 。注意：如果加载多个peft模型，你可以通过在任何模型工作器中设置环境变量 PEFT_SHARE_BASE_WEIGHTS=true 来使它们共享基础模型的权重。

以上模型支持列表可能随 FastChat 更新而持续更新，可参考 FastChat 已支持模型列表。

支持的联网模型

• ChatGPT
• Azure OpenAI
• Claude
• 智谱AI
• MiniMax
• 讯飞星火
• 百度千帆
• 阿里云通义千问

本地模型

联网模型

本项目支持调用 HuggingFace 中的 Embedding 模型，已支持的 Embedding 模型如下：

MokaAI系列嵌入模型

• moka-ai/m3e-small
• moka-ai/m3e-base
• moka-ai/m3e-large

BAAI系列嵌入模型

• BAAI/bge-small-zh
• BAAI/bge-base-zh
• BAAI/bge-large-zh
• BAAI/bge-small-zh-v1.5
• BAAI/bge-base-zh-v1.5
• BAAI/bge-large-zh-v1.5
• BAAI/bge-large-zh-noinstruct
• BAAI/bge-reranker-large
• BAAI/bge-reranker-base

text2vec系列嵌入模型

• shibing624/text2vec-base-chinese-sentence
• shibing624/text2vec-base-chinese-paraphrase
• shibing624/text2vec-base-multilingual
• shibing624/text2vec-base-chinese
• shibing624/text2vec-bge-large-chinese
• GanymedeNil/text2vec-large-chinese

其他模型

• sensenova/piccolo-base-zh
• sensenova/piccolo-large-zh
• nghuyong/ernie-3.0-nano-zh
• nghuyong/ernie-3.0-base-zh

除本地模型外，本项目也支持直接接入 OpenAI的在线嵌入模型。 支持的联网模型

• OpenAI/text-embedding-ada-002

Langchain 中的分词器

自定义分词器

本项目支持调用 Langchain 的 Text Splitter 分词器以及基于此改进的自定义分词器，已支持的 Text Splitter 类型如下：

• CharacterTextSplitter
• LatexTextSplitter
• MarkdownHeaderTextSplitter
• MarkdownTextSplitter
• NLTKTextSplitter
• PythonCodeTextSplitter
• RecursiveCharacterTextSplitter
• SentenceTransformersTokenTextSplitter
• SpacyTextSplitter

已经支持的定制分词器如下：

• AliTextSplitter
• ChineseRecursiveTextSplitter
• ChineseTextSplitter

本地向量数据库

联网向量数据库

目前支持的本地向量数据库列表如下：

• FAISS
• Milvus
• PGVector

联网向量数据库

• Zilliz

本地工具

联网工具

本地工具

• 翻译工具，实现对输入的任意语言翻译。
• 数学工具，使用LLMMathChain 实现数学计算。
• 高级知识库工具，智能选择调用多个或者单个知识库并查询内容。
• 进阶知识库工具，智能选择调用一个最相近的知识库并查询内容。
• 基础知识库工具，选择指定的一个知识库并回答。

联网工具

• 天气工具，使用自定义的LLMWetherChain实现天气查询，调用和风天气API。

• 搜索工具，使用我们的搜索API来实现搜索并概括内容。

• 我们支持Langchain支持的Agent工具，在代码中，我们已经提供了Shell和Google Search两个工具的实现。

• 我们期待开发者共享更多的工具，帮助项目生态完善

默认配置

在默认的配置文件中，我们提供了以下模型组合
LLM: Chatglm2-6b

Embedding Models: m3e-base

TextSplitter: ChineseRecursiveTextSplitter

Kb_dataset: faiss

模型微调

我们推荐开发者根据自己的业务需求进行模型微调，如果不需要微调且配置充足，可选择以下性能较好的配置

model_config.py

LLM: Qwen-14B-Chat 或 Baichuan2-13B-Chat

Embedding Models: piccolo-large-zh 或 bge-large-zh-v1.5

HISTORY_LEN = 20

TEMPERATURE = 0.1

模型使用

使用该模型将需要更高的硬件要求

1张 RTX A6000 或者 A40 等 48GB 显存以上的显卡。推荐 1 x A100 以上。

(使用多张显卡拼接也能运行，但是速度非常慢，2张4090拼接运行大概为一秒一个字的速度)

64GB 内存用于加载模型而不被Kill

服务器级的CPU，推荐 Xeon(R) Platinum 8358P 以上

Agent 功能

>>如果开发者想使用更全面的 Agent 功能，我们推荐开发者使用以下配置

LLM: Qwen-14B-Chat 或 GPT-4

Tools 的工具控制在10个之内

注意事项

>>如果开发者知识库较大，有大量文档，大文件，我们推荐开发者使用 pg 向量数据库；

>>如果开发者的知识库具有一定的关键词特征，例如：

问答对文件(以Q + A 为一个组合的json文件)

Markdown文件

并排的pdf文件

具有多个表格的pdf文件

我们推荐开发者自行开发分词器，以达到更好的效果。

简介

要顺利运行本代码，请按照以下系统要求进行配置

已经测试过的系统

已经测试过的系统

Windows 11 Version 22H2

Linux Ubuntu 22.04.5 keenel version 6.5

其他系统可能出现极少数的系统兼容性问题。

最低要求

最低要求

Python 版本: >= 3.8.5, < 3.11

CUDA 版本: >= 12.0 (低于这个版本可能出现xformers无法安装)

推荐要求

推荐要求

开发者在以下环境下进行代码调试，在该环境下能够避免最多环境问题。

Python 版本 == 3.10.12

CUDA 版本: == 12.2

简介

如果想要顺利在GPU运行本地模型的 int4 量化版本，你至少需要以下的硬件配置:

ChatGLM2-6B & LLaMA-7B

最低显存要求: 7GB

推荐显卡: RTX 3060, RTX 2060

LLaMA-13B

最低显存要求: 11GB

推荐显卡: RTX 2060 12GB, RTX 3060 12GB, RTX 3080, RTX A2000

Qwen-14B-Chat

最低显存要求: 13GB

推荐显卡: RTX 3090

LLaMA-30B

最低显存要求: 22GB

推荐显卡: RTX A5000, RTX 3090, RTX 4090, RTX 6000, Tesla V100, RTX Tesla P40

LLaMA-65B

最低显存要求: 40GB

推荐显卡: A100, A40, A6000

注意事项

>>若使用 int8 推理，则显存大致为 int4 推理要求的 1.5 倍；

>>若使用 fp16 推理，则显存大致为 int4 推理要求的 2.5 倍。

��� 例如：使用 fp16 推理 Qwen-7B-Chat 模型，则需要使用 16GB 显存。

以上数据仅为估算，实际情况以 nvidia-smi 占用为准。 请注意，如果使用最低配置，仅能保证代码能够运行，但运行速度较慢，体验不佳。

同时，Embedding 模型将会占用 1-2G 的显存，历史记录最多会占用数 G 显存，因此，需要多冗余一些显存。

内存最低要求: 内存要求至少应该比模型运行的显存大。 例如，运行Chatglm2-6b FP16模型，显存占用10G，推荐使用16G以上内存。

AutoDL镜像云端部署

AutoDL 镜像中 v5 版本所使用代码已更新至本项目 0.2.0 版本。

Docker 镜像本地部署

Docker 镜像

首先，定位到下载的项目文件夹下

其次，一行命令运行 Docker：

docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.0

Docker 镜像地址: registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.0)

docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.0

>> 该版本镜像大小 33.9GB，使用 v0.2.0，以 nvidia/cuda:12.1.1-cudnn8-devel-ubuntu22.04 为基础镜像；

>> 该版本内置一个 embedding 模型：m3e-large，内置 chatglm2-6b-32k；

>> 该版本目标为方便一键部署使用，请确保您已经在Linux发行版上安装了NVIDIA驱动程序；

>> 请注意，您不需要在主机系统上安装CUDA工具包，但需要安装 NVIDIA Driver 以及 NVIDIA Container Toolkit，请参考安装指南；

>> 首次拉取和启动均需要一定时间，首次启动时请参照下图使用 docker logs -f <container id> 查看日志；

>> 如遇到启动过程卡在 Waiting.. 步骤，建议使用 docker exec -it <container id> bash 进入 /logs/ 目录查看对应阶段日志；

软件需求

本项目已在 Python 3.8.1 - 3.10，CUDA 11.7 环境下完成测试。已在 Windows、ARM 架构的 macOS、Linux 系统中完成测试。

环境检查

# 首先，确信你的机器安装了 Python 3.8 - 3.10 版本

$ python --version

Python 3.8.13

# 如果低于这个版本，可使用conda安装环境

$ conda create -p /your_path/env_name python=3.8

# 激活环境

$ source activate /your_path/env_name

# 或，conda安装，不指定路径, 注意以下，都将/your_path/env_name替换为env_name

$ conda create -n env_name python=3.8

$ conda activate env_name # Activate the environment

# 更新py库

$ pip3 install --upgrade pip

# 关闭环境

$ source deactivate /your_path/env_name

# 删除环境

$ conda env remove -p  /your_path/env_name

项目依赖

# 拉取仓库

$ git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

# 进入目录

$ cd langchain-ChatGLM

# 安装全部依赖

$ pip install -r requirements.txt

# 默认依赖包括基本运行环境（FAISS向量库）。如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。

此外，为方便用户 API 与 webui 分离运行，可单独根据运行需求安装依赖包。

T1、如果只需运行 API，可执行：

$ pip install -r requirements_api.txt

# 默认依赖包括基本运行环境（FAISS向量库）。如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。

T2、如果只需运行 WebUI，可执行：

$ pip install -r requirements_webui.txt

注：使用 langchain.document_loaders.UnstructuredFileLoader 进行 .docx 等格式非结构化文件接入时，可能需要依据文档进行其他依赖包的安装，请参考 langchain 文档。

复制模板文件

修改路径：复制模型相关参数配置模板文件 configs/model_config.py.example 存储至项目路径下 ./configs 路径下，并重命名为 model_config.py文件。

复制服务相关参数配置模板文件 configs/server_config.py.example 存储至项目路径下 ./configs 路径下，并重命名为 server_config.py。

检查模型参数

在开始执行 Web UI 或命令行交互前，请先检查 configs/model_config.py 和 configs/server_config.py 中的各项模型参数设计是否符合需求：

>> 请确认已下载至本地的 LLM 模型本地存储路径写在 llm_model_dict 对应模型的 local_model_path 属性中，如:

llm_model_dict={

                "chatglm2-6b": {

                        "local_model_path": "/Users/xxx/Downloads/chatglm2-6b",

                        "api_base_url": "http://localhost:8888/v1",  # "name"修改为 FastChat 服务中的"api_base_url"

                        "api_key": "EMPTY"

                    },

                }

>> 请确认已下载至本地的 Embedding 模型本地存储路径写在 embedding_model_dict 对应模型位置，如：

embedding_model_dict = {

                        "m3e-base": "/Users/xxx/Downloads/m3e-base",

                       }

老用户

如果您是从 0.1.x 版本升级过来的用户，针对已建立的知识库，请确认知识库的向量库类型、Embedding 模型 configs/model_config.py 中默认设置一致，如无变化只需以下命令将现有知识库信息添加到数据库即可：

$ python init_database.py

新用户

如果您是第一次运行本项目，知识库尚未建立，或者配置文件中的知识库类型、嵌入模型发生变化，需要以下命令初始化或重建知识库：

$ python init_database.py --recreate-vs

启动服务

在项目根目录下，执行 server/llm_api.py 脚本启动 LLM 模型服务：

$ python server/llm_api.py

多卡加载

项目支持多卡加载，需在 llm_api.py 中修改 create_model_worker_app 函数中，修改如下三个参数:

gpus=None,

num_gpus=1,

max_gpu_memory="20GiB"

其中，gpus 控制使用的显卡的ID，如果 "0,1";

num_gpus 控制使用的卡数;

max_gpu_memory 控制每个卡使用的显存容量。

注意事项

注意:

>> llm_api_stale.py脚本原生仅适用于linux,mac设备需要安装对应的linux命令,win平台请使用wls;

>> 加载非默认模型需要用命令行参数--model-path-address指定模型，不会读取model_config.py配置;

启动服务

在项目根目录下，执行 server/llm_api_stale.py 脚本启动 LLM 模型服务：

$ python server/llm_api_stale.py

多worker启动

该方式支持启动多个worker，示例启动方式：

$ python server/llm_api_stale.py --model-path-address model1@host1@port1 model2@host2@port2

解决端口占用

如果出现server端口占用情况，需手动指定server端口,并同步修改model_config.py下对应模型的base_api_url为指定端口:

$ python server/llm_api_stale.py --server-port 8887

多卡加载

如果要启动多卡加载，示例命令如下：

$ python server/llm_api_stale.py --gpus 0,1 --num-gpus 2 --max-gpu-memory 10GiB

停止服务

注：以如上方式启动LLM服务会以nohup命令在后台运行 FastChat 服务，如需停止服务，可以运行如下命令：

$ python server/llm_api_shutdown.py --serve all

亦可单独停止一个 FastChat 服务模块，可选 [all, controller, model_worker, openai_api_server]

简介

本项目基于 FastChat 加载 LLM 服务，故需以 FastChat 加载 PEFT 路径，即保证路径名称里必须有 peft 这个词，配置文件的名字为 adapter_config.json，peft 路径下包含 model.bin 格式的 PEFT 权重。

执行代码

示例代码如下：

PEFT_SHARE_BASE_WEIGHTS=true python3 -m fastchat.serve.multi_model_worker \

    --model-path /data/chris/peft-llama-dummy-1 \

    --model-names peft-dummy-1 \

    --model-path /data/chris/peft-llama-dummy-2 \

    --model-names peft-dummy-2 \

    --model-path /data/chris/peft-llama-dummy-3 \

    --model-names peft-dummy-3 \

    --num-gpus 2

详见 FastChat 相关 PR

简介

本地部署情况下，按照 5.1 节启动 LLM 服务后，再执行 server/api.py 脚本启动 API 服务；

在线调用API服务的情况下，直接执执行 server/api.py 脚本启动 API 服务；

调用命令

调用命令示例：

$ python server/api.py

启动 API 服务后，可访问 localhost:7861 或 {API 所在服务器 IP}:7861 FastAPI 自动生成的 docs 进行接口查看与测试。

FastAPI docs 界面

T1、默认启动

按照 5.2 节启动 API 服务后，执行 webui.py 启动 Web UI 服务（默认使用端口 8501）

$ streamlit run webui.py

T2、主题色启动

使用 Langchain-Chatchat 主题色启动 Web UI 服务（默认使用端口 8501）

$ streamlit run webui.py --theme.base "light" --theme.primaryColor "#165dff" --theme.secondaryBackgroundColor "#f5f5f5" --theme.textColor "#000000"

T3、指定端口号启动

或使用以下命令指定启动 Web UI 服务并指定端口号

$ streamlit run webui.py --server.port 666

一键启动脚本

更新一键启动脚本 startup.py,一键启动所有 Fastchat 服务、API 服务、WebUI 服务，示例代码：

$ python startup.py --all-webui

关闭运行服务

并可使用 Ctrl + C 直接关闭所有运行服务。

可选参数包括 --all-webui, --all-api, --llm-api, --controller, --openai-api, --model-worker, --api, --webui，其中：

--all-webui 为一键启动 WebUI 所有依赖服务；

--all-api 为一键启动 API 所有依赖服务；

--llm-api 为一键启动 Fastchat 所有依赖的 LLM 服务；

--openai-api 为仅启动 FastChat 的 controller 和 openai-api-server 服务；

其他为单独服务启动选项。

若想指定非默认模型，需要用 --model-name 选项，示例：

$ python startup.py --all-webui --model-name Qwen-7B-Chat

注意事项

注意：

1. startup 脚本用多进程方式启动各模块的服务，可能会导致打印顺序问题，请等待全部服务发起后再调用，并根据默认或指定端口调用服务（默认 LLM API 服务端口：127.0.0.1:8888,默认 API 服务端口：127.0.0.1:7861,默认 WebUI 服务端口：本机IP：8501)

2.服务启动时间示设备不同而不同，约 3-10 分钟，如长时间没有启动请前往 ./logs目录下监控日志，定位问题。