【书生·浦语】大模型实战营——第五次课程作业-Toy模板网

这篇具有很好参考价值的文章主要介绍了【书生·浦语】大模型实战营——第五次课程作业。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

基础作业——使用LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署InternLM-Chat-7B模型，生成300字的小故事

环境准备

除了安装所需依赖之后，重要的是进行模型转化（转换成TurboMind格式），这里需要注意转化命令的具体用法：

# lmdeploy convert 模型类型/模型名 模型权重文件地址
lmdeploy convert internlm-chat-7b /path/to/internlm-chat-7b

运行上述命令后，会在当前目录新建workspace文件夹，里面存放着转化后的权重文件。以开始以为运行命令参数是 l~~mdelpoy convert 大模型原始路径转化后的模型路径（实际不是）。~~

TurboMind推理 + 命令行本地对话

运行命令：

# Turbomind + Bash Local Chat
lmdeploy chat turbomind ./workspace

【书生·浦语】大模型实战营——第五次课程作业,语言模型,python

TurboMind推理 + API服务

运行命令：

# ApiServer+Turbomind   api_server => AsyncEngine => TurboMind
lmdeploy serve api_server ./workspace \
	--server_name 0.0.0.0 \
	--server_port 23333 \
	--instance_num 64 \
	--tp 1


# 新开一个终端
lmdeploy serve api_client http://localhost:23333

注意：需要做一下ssh转发。另外直接点击终端中出现的网址没法访问，最后我是在浏览器栏中输入的http://localhost:23333

【书生·浦语】大模型实战营——第五次课程作业,语言模型,python