大模型实战营Day5笔记

这篇具有很好参考价值的文章主要介绍了大模型实战营Day5笔记。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

大模型部署背景
        大模型部署是指将训练好的模型在特定的软硬件环境中启动的过程,使模型能够接收输入并返回预测结果。大模型的内存开销巨大,7B模型仅权重需要14G内存。另外大模型是自回归生成,需要缓存Attention的 k/v。

LMDeploy 简介如下:

大模型实战营Day5笔记,跟着无神学机器学习,笔记,AIGC,人工智能,prompt


推理性能如图所示:

大模型实战营Day5笔记,跟着无神学机器学习,笔记,AIGC,人工智能,prompt


核心功能-量化
        量化可以大大降低显存,同时提升推理速度。LLM 是典型的访存密集型任务 

        Weight Only 量化:


核心功能——推理引擎 TurboMind
        主要包括四个部分:1. 持续批处理;2. 有状态的推理; 3. Blocked k/v cache; 4. 高性能 cuda kernel。

1. 持续批处理

2. 有状态的推理
3. Blocked K/V Cache

4. Cuda Kernel (算子融合可以有效减少访存次数)

核心功能-推理服务 api server如图所示:大模型实战营Day5笔记,跟着无神学机器学习,笔记,AIGC,人工智能,prompt


 文章来源地址https://www.toymoban.com/news/detail-817222.html

到了这里,关于大模型实战营Day5笔记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 嵌入式学习-网络编程-Day5

    1.使用poll实现TCP服务器的并发 使用select实现TCP客户端的并发

    2024年01月20日
    浏览(59)
  • 【Node.js学习 day5——包管理工具】

    包是什么 包(package),代表了一组特定功能的源码集合 包管理工具 管理包的应用软件,可以对包进行下载安装,更新,删除,上传等操作 借助包管理工具,可以快速开发项目,提升开发效率 常用的包管理工具 下面列举了前端常用的包管理工具 · npm · yarn · cnpm 搜索包的方

    2024年02月01日
    浏览(51)
  • 机器学习和深度学习-- 李宏毅(笔记与个人理解)Day10

    这节课主要介绍机器学习和深度学习任务中常见的问题分类以及相应的解决之道 这张图总体的概述了一个任务中的大小坎坷,不认得英文? 去Google吧~ training Loss 不够的case Loss on Testing data over fitting 为什么over fitting 留到下下周哦~~ 期待 solve CNN卷积神经网络 Bias-Conplexiy Trade

    2024年04月17日
    浏览(41)
  • 机器学习 day30(正则化参数λ对模型的影响)

    λ对Jcv和Jtrain的影响 假设该模型为四阶多项式 当λ很大时,在最小化J的过程中,w会很小且接近0,此时模型f(x)近似于一个常数,所以此时模型欠拟合,Jtrain和Jcv都很大 当λ很小时,表示模型几乎没有正则化,而四阶多项式的模型十分弯曲,所以此时模型过拟合,Jtrain很小,

    2024年02月15日
    浏览(33)
  • 机器学习和深度学习--李宏毅(笔记与个人理解)Day9

    中间打了一天的gta5,图书馆闭馆正好+npy 不舒服那天+天气不好,哈哈哈哈哈总之各种理由吧,导致昨天没弄起来,今天补更! 这里重点注意一下, 这个 output值是概率哈,也就是说式子整体表示的含义是 x 属于c1的概率是多大 这个老师真的是讲到我的心坎子里区了,这个lo

    2024年04月17日
    浏览(46)
  • C/C++运算符超详细讲解(系统性学习day5)

    目录 前言 一、运算符的概念与分类 二、算术运算符 三、关系运算符  四、逻辑运算符 五、赋值运算符 六、运算符的优先级  总结   本篇文章是对运算符的具体讲解。 概念: 运算符就是一种告诉编译器执行特定的数学或逻辑操作的符号,用来表示针对数据的特定操作,也

    2024年02月07日
    浏览(40)
  • 机器学习 day24(多类分类模型,Softmax回归算法及其损失函数)

    1. 多类分类 多类分类问题仍然是分类问题,所以预测y的可能结果是少量的,而不是无穷多个,且对于多类分类它>2 如上图:左侧为二分类,右侧为多分类,可以通过决策边界来划分区域 2. Softmax回归算法 对逻辑回归模型,先计算z,再计算g(z)。此时可以将逻辑回归视为计算

    2024年02月13日
    浏览(42)
  • 【AI机器学习入门与实战】训练模型、优化模型、部署模型

    👍【 AI机器学习入门与实战 】目录 🍭 基础篇 🔥 第一篇:【AI机器学习入门与实战】AI 人工智能介绍 🔥 第二篇:【AI机器学习入门与实战】机器学习核心概念理解 🔥 第三篇:【AI机器学习入门与实战】机器学习算法都有哪些分类? 🔥 第四篇:【AI机器学习入门与实战】

    2024年02月12日
    浏览(50)
  • 机器学习实战六步法之训练模型、优化模型、部署模型(七)

    👍【 AI机器学习入门与实战 】目录 🍭 基础篇 🔥 第一篇:【AI机器学习入门与实战】AI 人工智能介绍 🔥 第二篇:【AI机器学习入门与实战】机器学习核心概念理解 🔥 第三篇:【AI机器学习入门与实战】机器学习算法都有哪些分类? 🔥 第四篇:【AI机器学习入门与实战】

    2024年02月08日
    浏览(37)
  • 机器学习实战-SVM模型实现人脸识别

    首先进行导包 我们加载sklearn已经帮我们收集好的人脸数据 查看结果: 我们取出其中的数据进行查看: 运行结果: 我们随机选取一个人的图片并通过索引获取名字: 结果展示: 由于原来的数据很大,而且数据量多,我们首先对原始数据进行PCA降维 结果展示: 然后对降维后

    2024年02月04日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包