LMDeploy 大模型量化部署实践
1 大模型部署背景
1.1 模型部署及大模型特点
1.2 大模型部署挑战及方案
2 LMDeploy简介
2.1 核心功能-量化
2.2 核心功能-推理引擎TurboMind
2.1 核心功能-推理服务api server
3 动手实践及作业
按照文档LMDeploy 的量化和部署中的步骤在InternStudio中的 A100(1/4) 机器上一步步操作即可！
3.1 基础作业
使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事（需截图）
3.1.1 本地对话形式
3.1.2 API服务形式
3.1.3 网页Gradio形式
TurboMind 服务作为后端:
TurboMind 推理作为后端
文章来源：https://www.toymoban.com/news/detail-805078.html
参考文献：
1、文档：LMDeploy 的量化和部署
2、视频：LMDeploy 大模型量化部署实践文章来源地址https://www.toymoban.com/news/detail-805078.html
到了这里，关于书生·浦语大模型实战营第五节课笔记及作业的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![[书生·浦语大模型实战营]——XTuner 大模型单卡低成本微调](https://imgs.yssmx.com/Uploads/2024/01/808781-1.png)
