前言
LaWGPT 是一系列基于中文法律知识的开源大语言模型。该系列模型在通用中文基座模型(如 Chinese-LLaMA、ChatGLM等)的基础上扩充法律领域专有词表、大规模中文法律语料预训练,增强了大模型在法律领域的基础语义理解能力。LaWGPT是本人尝试使用和微调的第一个法律专业领域的大语言模型,自我感觉该模型很适合作为法律垂直领域大模型的入门级选手,无论是部署配置还是推理微调都十分方便。本文主要介绍如何配置部署LaWGPT和LaWGPT推理基本步骤,希望可以帮助大家使用LaWGPT。
一、下载和部署
1.1 下载
首先执行git clone git@github.com:pengxiao-song/LaWGPT.git
下载项目仓库,但是可能会因为网络问题而失败,因此可以直接在Github上下载LawGPT的基本框架。
之后需要下载权重文件chinese-alpaca-plus-7b-merged
和基础模型lawgpt-lora-7b-v2
。下载地址为:chinese-llama-7b-merged和lawgpt-lora-7b-v2。下载好之后将基础模型lawgpt-lora-7b-v2
放在entity303
文件夹中(需要新建),chinese-alpaca-plus-7b-merged
放在minlik
文件夹中(需要新建)。
1.2 环境安装
服务器的版本为RTX 3090,内存为24GB。Python版本为3.10,ubuntu的版本为20.04,Cuda的版本为11.6。
库名 | 版本 |
---|---|
transformers | 4.35.2 |
cd LaWGPT/
conda create -n lawgpt python=3.10 -y
source activate lawgpt
pip install -r requirements.txt
其中requirements.txt
修改如下,其中peft库我是在官网上下载至LaWGPT目录下再进行pip install peft
安装的:
accelerate
appdirs
bitsandbytes
black
black[jupyter]
datasets
fire
transformers == 4.35.2
gradio
sentencepiece
wandb
scipy
socksio
1.3 模型推理
模型推理部分我直接是调用了infer.py
而不是infer.sh
,需要额外安装fire
库。infer.py文件中需要自己添加一下base_model
,lora_weight
和prompt_template
的路径,两个部分别为:
成功运行infer.py
的截图如下所示:
文章来源:https://www.toymoban.com/news/detail-800424.html
总结
LaWGPT对于专业的法律问题回答能力优秀,希望大家可以通过我的分享来测试它❤️❤️❤️文章来源地址https://www.toymoban.com/news/detail-800424.html
到了这里,关于LaWGPT安装和使用教程的复现版本【细节满满】的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!