书生·浦语大模型实战营第四次课堂笔记

这篇具有很好参考价值的文章主要介绍了书生·浦语大模型实战营第四次课堂笔记。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

先来看看参考作业

哈哈到这才想起来写笔记
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
倒回去看发现要求将不要葱姜蒜换成自己的名字和昵称!
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记

好好好我就是不配玩(换成管理员也不行!)
诶怎么能进这个环境?要进双系统ubuntu?
现在看视频发现原来是我进入成功了,可以接着往下做omygod!!!!
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
但是
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
还是看看视频吧
微调是在海量的文本内容的基础上以无监督或半监督的方式进行训练的
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
qlora是对lora的一种改进~感觉就是更高级点的工具
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
对话模版~

书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
XTuner介绍~
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
XTuner快速上手:
1.安装(指定版本,在这之前需要创建conda环境

pip install xtuner

2.挑选配置模板

xtuner list-cfg -p internlm_20b

3.一键训练

xtuner train interlm_20b_qlora_512_e3

Config 命名规则
模型名 internlm_20b 无chat代表是基座模型
使用算法 qlora
数据集 oasst1
数据长度 512
Epoch e3,epoch 3

自定义微调
1.拷贝配置模版

xtuner copy-cfg internlm_20b_qlora_oasst1_512_e3 ./

2.修改配置模版

vi internlm_20b_qlora_oasst1_512_e3_copy.py

3.启动训练

xtuner train internlm_20b_qlora_oasst1_512_e3_copy.py

常用超参:

data_path   数据路径或HuggingFace 仓库名
max_length  单条数据最大Token数,超时则截断
pack_to_max_length  是否将多条短数据拼接到max_length,提高GPU利用率
accumulative_counts  梯度累积,每多少backward更新一次参数
evaluation_inputs 训练过程中,会根据给定的问题进行推理,便于观测训练状态
evaluation_freq Evaluation的评测间隔iter

训练完成之后
我们就得到了这个Adapter文件就是所谓的lora文件,我们就需要在加载底座模型的基础上同时加载这个Adapter也就是lora来进行与模型的对话与测试。

为了便于开发者查看训练效果,Xtuner提供了一键对话接口
Float 16模型对话

xtuner chat internlm/internlm-chat-20b

4bit模型对话

xtuner chat internlm/internlm-chat-20b --bits 4

加载Adapter模型对话

xtuner chat internlm/internlm-chat-20b --adapater $ADAPTER_DIR

书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
deepspeed不是默认启动,需要加默认参数

xtuner train internlm_20b_qlora_oasst1_512_e3\ --deepspeed deepspeed_zero3

书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
通过问不要葱姜蒜大佬知道了它通过ssh连接的话还是在开发机上也不会下载到本地yes太好了我还能玩~

进入:tmux attach -t finetune
退出:ctrl+b 然后再按d
可以关机让它在后台训练~
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
要敲两次回车!看得出来有点慢哈哈
再来写一遍作业
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
啊这是为啥失败了嘛
原来是需要训练!!!是小罗的助手啦~
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记

书生·浦语大模型实战营第四次课堂笔记,大模型,笔记

书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
还在加载中
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记

书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
到46%了感觉我的网速有点慢啊~
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记
好好好发现自己
书生·浦语大模型实战营第四次课堂笔记,大模型,笔记

算啦算啦其实差不多了文章来源地址https://www.toymoban.com/news/detail-806532.html

到了这里,关于书生·浦语大模型实战营第四次课堂笔记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 书生·浦语大模型实战营-学习笔记4

    常见的两种微调策略:增量预训练、指令跟随 指令跟随微调 数据是一问一答的形式 对话模板构建 每个开源模型使用的对话模板都不相同 指令微调原理: 由于只有答案部分是我们期望模型来进行回答的内容,所以我们只对答案部分进行损失的计算 增量预训练微调 数据都是

    2024年01月22日
    浏览(45)
  • 【书生·浦语大模型实战】“PDF阅读小助手”学习笔记

    《新版本Lmdeploy量化手册与评测》 项目主页:【tcexeexe / pdf阅读小助手】 在InternStudio平台中选择 A100 (1/4) 的配置,镜像选择 Cuda11.7-conda ,可以选择已有的开发机 langchain ; Note: /home/tcexeexe/data/model/sentence-transformer :此路径来自于make_knowledge_repository.py 以上脚本会生成数据库文

    2024年01月24日
    浏览(44)
  • 【 书生·浦语大模型实战营】学习笔记(一):全链路开源体系介绍

    🎉 AI学习星球推荐: GoAI的学习社区 知识星球是一个致力于提供《机器学习 | 深度学习 | CV | NLP | 大模型 | 多模态 | AIGC 》各个最新AI方向综述、论文等成体系的学习资料,配有全面而有深度的专栏内容,包括不限于 前沿论文解读、资料共享、行业最新动态以、实践教程、求

    2024年04月23日
    浏览(41)
  • [书生·浦语大模型实战营]——XTuner 大模型单卡低成本微调

    在未经过微调的pretrained LLM中,模型只会尽量去拟合你的输入,也就是说模型并没有意识到你在提问,因此需要微调来修正。 1.1常用的微调模式 LLM的下游应用中, 增量预训练 和 指令跟随 是经常会用到的两种的微调模式。 增量预训练微调 使用场景:让基座模型学习到一些新知

    2024年01月20日
    浏览(78)
  • 【书生·浦语大模型实战营05】《(5)LMDeploy 大模型量化部署实践》学习笔记

    课程文档:《LMDeploy 的量化和部署》 定义 将训练好的模型在特定软硬件环境中启动的过程,使模型能够接收输入并返回预测结果 为了满足性能和效率的需求,常常需要对模型进行优化,例如模型压缩和硬件加速 产品形态 云端、边缘计算端、移动端 内存开销巨大 庞大的参数

    2024年01月22日
    浏览(49)
  • 书生浦语大模型--开源体系

    一、大模型的发展   大模型与通用人工智能(AGI),大模型通常被视为发展通用人工智能的重要途径。AI研究从专用模型向通用模型转变,在过去的一二十年中,研究重点在于针对特定任务的专用模型。 专用模型的已经再多个领域取得显著成就,包裹大规模语音识别、图像识

    2024年01月20日
    浏览(52)
  • 书生·浦语大模型开源体系(二)笔记

    💗💗💗欢迎来到我的博客,你将找到有关如何使用技术解决问题的文章,也会找到某个技术的学习路线。无论你是何种职业,我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章,也欢迎在文章下方留下你的评论和反馈。我期待着与你分享知识、互

    2024年04月09日
    浏览(89)
  • 书生·浦语大模型开源体系(四)笔记

    💗💗💗欢迎来到我的博客,你将找到有关如何使用技术解决问题的文章,也会找到某个技术的学习路线。无论你是何种职业,我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章,也欢迎在文章下方留下你的评论和反馈。我期待着与你分享知识、互

    2024年04月28日
    浏览(31)
  • 书生·浦语大模型--第二节课笔记

    大模型 定义:参数量巨大、拥有庞大计算能力和参数规模的模型 特点:大量数据训练、数十亿甚至千亿数据、惊人性能 InternLM系列 InternLM:轻量级训练框架 Lagent:轻量级、开源的基于大语言模型得到智能体框架,将大语言模型转变为多种智能体 浦语灵笔:视觉语言大模型,

    2024年01月22日
    浏览(42)
  • 书生·浦语大模型全链路开源体系-第6课

    为了推动大模型在更多行业落地应用,让开发人员更高效地学习大模型的开发与应用,上海人工智能实验室重磅推出书生·浦语大模型实战营,为开发人员提供大模型学习和开发实践的平台。 本文是书生·浦语大模型全链路开源体系-第6课的课程实战。 InternLM项目地址 https:/

    2024年04月22日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包