大模型部署背景
大模型部署是指将训练好的模型在特定的软硬件环境中启动的过程,使模型能够接收输入并返回预测结果。大模型的内存开销巨大,7B模型仅权重需要14G内存。另外大模型是自回归生成,需要缓存Attention的 k/v。
LMDeploy 简介如下:
推理性能如图所示:
核心功能-量化
量化可以大大降低显存,同时提升推理速度。LLM 是典型的访存密集型任务
Weight Only 量化:
核心功能——推理引擎 TurboMind
主要包括四个部分:1. 持续批处理;2. 有状态的推理; 3. Blocked k/v cache; 4. 高性能 cuda kernel。
1. 持续批处理
2. 有状态的推理
3. Blocked K/V Cache
4. Cuda Kernel (算子融合可以有效减少访存次数)
核心功能-推理服务 api server如图所示:文章来源:https://www.toymoban.com/news/detail-817222.html
文章来源地址https://www.toymoban.com/news/detail-817222.html
到了这里,关于大模型实战营Day5笔记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!