XTuner 微调 课程学习

这篇具有很好参考价值的文章主要介绍了XTuner 微调 课程学习。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

大语言模型于海量的文本内容上,以无监督和半监督的方式进行训练的
模型微调的目的:使其在具体的使用场景或领域中输出更好的回答
XTuner 微调 课程学习,学习,人工智能,机器学习
增量预训练——给模型喂新的领域知识;
指令跟随或指令微调——
XTuner 微调 课程学习,学习,人工智能,机器学习
基于海量的预训练数据训练出来的模型通常叫做——base模型或预训练模型,在没有进行指令微调的模型上进行测试,模型只是单纯的对给定的输入进行在训练数据集上的拟合,而不能意识到在对模型进行提问,为了让模型在测试过程中有更好的表现,需要对基座模型进行指令微调。

指令微调

XTuner 微调 课程学习,学习,人工智能,机器学习
在对基座模型进行指令微调时,首先需要对训练数据进行角色指定
在给模型投喂的一条数据中,数据由一问一答的形式构成,问题和结果分别指定为user和assistant两个角色,system部分的数据按照自己微调的目标领域来书写,如果想微调一个医疗的ai助手,那system的内容可以为:你是一个专业的医生,你总能输出专业且正确的细致且耐心的这种回答。
在同一次微调,同一个数据集中,system的内容往往由于目标的唯一性,是确定的
以上的内容为 对话模板的构建

XTuner 微调 课程学习,学习,人工智能,机器学习
在与模型进行对话的过程中(部署的阶段),用户不需要进行角色的分配,用户输入的内容被默认放入user的部分,system部分由模板自动添加,具体的模板在启动预测的时候可以进行自定义,计算损失时,只需要进行assistant部分的损失

指令微调的原理

XTuner 微调 课程学习,学习,人工智能,机器学习

增量预训练微调

XTuner 微调 课程学习,学习,人工智能,机器学习
进行指令微调的过程中,每条数据都由一问一答的形式构成,但增量训练的数据不需要问题,只需要回答,或者说增量训练的数据,都是一个一个的陈述句,所以每一条训练的数据中system和user的部分只需要留空,增量训练的数据放入到assistant中即可,计算损失时也只需要计算assistant的部分的损失

X Turner中使用的原理——LoRA和QLoRA

XTuner 微调 课程学习,学习,人工智能,机器学习
使用LoRA的理由——如果对整个模型的所有参数进行调整,需要非常大的显存才能训练,而LoRA不需要非常大的显存开销
LoRA是一种在原有的模型的线路旁,新增一个旁路分支Adapter,该分支包含两个小的部分(LoRA模型文件 指的就是旁路分支Adapter文件)
QLoRA是对LoRA的一种改进
全参数微调,LoRA和QLoRA的对比
XTuner 微调 课程学习,学习,人工智能,机器学习
全参数微调和LoRA微调,模型的参数都需要先加载到显存中,但对LoRA,其参数优化器只需要保存LoRA部分的参数优化器即可;而QLoRA,在加载模型时,就使用4比特量化的方式加载,其优化器也可以在cpu和gpu之间进行调度,即若显存满了,就自动在内存中跑

XTuner

XTuner 微调 课程学习,学习,人工智能,机器学习
XTuner 微调 课程学习,学习,人工智能,机器学习
XTuner 微调 课程学习,学习,人工智能,机器学习
一些trick的训练策略文章来源地址https://www.toymoban.com/news/detail-791652.html

到了这里,关于XTuner 微调 课程学习的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 人工智能课程设计毕业设计——基于机器学习的手写汉字识别系统

    《机器学习》课程设计实验 报告 题目:基于深度学习的手写汉字识别系统 目录 基于深度学习的手写汉字识别系统实验报告 1. 绪论 ............................................................................................................................................................ 1 1.1 研究背景及意义..

    2024年02月20日
    浏览(70)
  • 飞浆AI studio人工智能课程学习(3)-在具体场景下优化Prompt

    01 常见应用场景与优化示例 02 优质Prompt模板化 03 大作业指引:Prompt作品积分赛 01 常见应用场景与优化示例 内容产业规模庞大、领域众多,大模型强大的生成能力给工作和生活带来了极大的想象力。 ?弹幕说一说,哪些AIGC场景是你最感兴趣的?先来看几类常见的: ·产品海报背景

    2024年02月06日
    浏览(52)
  • Python人工智能教学之掌握机器学习深度学习并提升实战能力(共72个视频教学+课程资料)云盘下载

    人工智能是未来的发展方向,掌握了人工智能,就掌握了钱图。。。 Python人工智能教学之掌握机器学习深度学习并提升实战能力(共72个视频教学+课程资料) 下载地址: 链接:https://pan.baidu.com/s/1ryJd5PNx1tLDDU-Q6JFXPQ?pwd=n6o8 提取码:n6o8 --来自百度网盘超级会员V2的分享 └─ 批

    2024年04月29日
    浏览(60)
  • 打造你的专属大模型,学完即可使用上岗!技术人的大模型课程(人工智能/机器学习/深度学习)

    技术人的大模型课 让一部分人在大模型时代,先拥抱AI,为编程专家开启AI新篇章 在2024年,大模型不再是可选技能,而是技术行业的必备。你是否曾在夜深人静时想象,从一名代码专家转型为AI行业的引领者? 如果你的答案是肯定的,那么这门课程正是为你量身定制, 针对

    2024年04月27日
    浏览(49)
  • Python+Django+Mysql开发简单在线课程推荐系统简单教程 基于用户的协同过滤推荐算法 个性化课程推荐系统 爬虫 可视化数据分析 机器学习 人工智能 个性化推荐 相关推荐

    1、开发工具和使用技术 Python3及以上版本,Django3.6及以上版本,mysql8,navicat数据库管理工具或者sqlyog数据库管理工具,html页面,javascript脚本,jquery脚本,echarts.js可视化图表工具,自定义星星评分功能(使用font-awesome星星图标字体)等。 2、实现功能 前台首页地址:http://1

    2024年02月05日
    浏览(110)
  • 《人工智能》课程作业4

    1. (单选题)在证据理论中,信任函数与似然函数对(Bel(A),Pl(A))的值为(0,0)时,表示( )。 A. A为假 B. 对A为真有一定信任 C. A为真 D. 对A一无所知 正确答案: A 2. (单选题)在可信度方法中,若证据A的可信度CF(F)=0, 这意味:( )。 A.证据A可信 B. 证据A不可信 C. 对证

    2024年01月16日
    浏览(52)
  • 《人工智能》课程作业3

    1. (单选题, 2分)以下关于合式公式的性质错误的是()。 A. (P∧Q)∧R ≡ P∧(Q∧R) B. P=Q ≡ ~P→ ~Q C. P∨Q ≡ ~P→Q D. P=Q ≡ ~Q → ~P 正确答案: B 2. (单选题, 2分)运用消解推理规则的前提是( )。 A. 被作用的两个公式都是合取范式 B. 被作用的两个子句中存在互补对 C. 任意两个公式

    2024年02月03日
    浏览(69)
  • 人工智能课程心得

            我第一次听说人工智能这个词源自初中的时候AlphaGo与李世石的围棋比赛,印象中的AlphaGo以大比分的优势击败了李世石,后来经过了解知道了在2016年比赛时的李世石是近十年来获得世界冠军最多的棋手。从表面上来看,李世石当时是和一台机器下棋,实际上也是与

    2024年02月12日
    浏览(52)
  • 《人工智能安全》课程总体结构

    人工智能安全观:人工智能安全问题、安全属性、技术体系等基本问题进行了归纳整理。 人工智能安全的主要数据处理方法,即非平衡数据分类、噪声数据处理和小样本学习。 人工智能技术赋能网络空间安全攻击与防御:三个典型实例及攻击图的角度介绍典型人工智能方法

    2024年02月03日
    浏览(40)
  • 北大肖臻老师《区块链技术与应用》系列课程学习笔记[25]以太坊-智能合约-5

    智能合约-1 智能合约-2 智能合约-3 智能合约-4 网上竞拍第二版:由投标者自己取回出价 (1)存在的问题         重入攻击,如果有黑客写了一个如下方程序会怎么样?         这个hack_bid跟前面的那个黑客合约hack_bid合约是一样的,通过调用拍卖bid函数参与竞拍,ha

    2024年03月11日
    浏览(65)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包