【AIGC】如何采集数据指令集打造定制化ChatGPT

这篇具有很好参考价值的文章主要介绍了【AIGC】如何采集数据指令集打造定制化ChatGPT。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

对于我们目前的Chatgpt,如何能更有效的为自己或者公司生成个性化的数据是非场重要的,指令集对个性化定制使用Chatgpt至关重要,因为不同的用户有各自的偏好、需求和习惯,他们期望从Chatgpt得到的结果也会不同。定制化的指令集可以帮助用户根据自己的需求进行优化和限制,提高Chatgpt的效果。

例如,在一个医疗领域的Chatgpt模型中,有些用户可能更关心疾病的治疗方案,而另外一些用户可能更关心预防和健康维护方面的信息。针对不同的用户,我们可以定制专属的指令集,让Chatgpt更好地适应他们的使用习惯和需求,提供更贴合个性化的服务。

除此之外,个性化定制使用Chatgpt的指令集还可以减少用户学习和使用Chatgpt的成本,简化操作流程,提高使用效率。

而且(Instruction)是ChatGPT模型取得突破性进展的关键因素,可以让语言模型的输出更符合「人类的偏好」。

但指令的标注工作需要耗费大量的人力,即便有了开源的语言模型,资金不足的学术机构、小公司也很难训练出自己ChatGPT.

最近微软的研究人员利用之前提出的Self-Instruct技术,首次尝试使用GPT-4模型来自动生成语言模型所需的微调指令数据。

在基于Meta开源的LLaMA模型上的实验结果表明,由 GPT-4生成的5.2万条英语和汉语instruction-following数据在新任务中的表现优于以前最先进的模型生成的指令数据,研究人员还从GPT-4中收集反馈和比较数据,以便进行全面的评估和奖励模式训练。

训练数据

数据收集

研究人员重用了斯坦福大学发布的Alpaca模型用到的5.2万条指令,其中每条指令都描述了模型应该执行的任务,并遵循与Alpaca相同的prompting策略,同时考虑有输入和无输入的情况,作为任务的可选上下文或输入;使用大型语言模型对指令输出答案。

在Alpaca 数据集中,输出是使用GPT-3.5(text-davinci-003)生成的,但在这篇论文中,研究人员选择使用GPT-4来生成数据,具体包括以下四个数据集:

  1. 英文Instruction-Following Data:对于在Alpaca中收集的5.2万条指令,为每一条指令都提供一个英文GPT-4答案。如下代码

    Algorithm 1: Pseudo code for prompt engineering, GPT-4 call and hyper-parameters in data
    generation. Each instruction instance is used as variables in the prompt template, the data flow is
    highlighted in blue.
    
    
    1 PROMPT DICT{
    2 prompt input: (
    3 “Below is an instruction that describes a task, paired with an input that provides further context.”
    4 “Write a response that appropriately completes the request.\n\n”
    5 “### Instruction: \n {instruction} \n\n ### Input: {input} \n\n ### Response:”
    6 ),
    7 prompt no input: (
    8 “Below is an instruction that describes a task. ”
    9 “Write a response that appropriately completes the request.\n \n”
    10 “### Instruction: \n {instruction} \n\n ### Response:” )
    11 }
    12 output = openai.ChatCompletion.create(
    13 model="gpt-4",
    14 messages=["role": "user", "content": prompt],
    15 temperature = 1.0,
    16 top p=1.0, # nucleus sampling over entire vocabulary
    17 max tokens=512 # the max number of generated tokens
    18 )
    

未来的工作为遵循迭代的过程,使用GPT-4和self-instruct构建一个全新的数据集。

  1. 中文Instruction-Following Data:使用ChatGPT将5.2万条指令翻译成中文,并要求GPT-4用中文回答这些指令,并以此建立一个基于LLaMA的中文instruction-following模型,并研究指令调优的跨语言泛化能力。
  2. 对比数据(Comparison Data):要求GPT-4对自己的回复提供从1到10的评分,并对GPT-4, GPT-3.5和OPT-IML这三个模型的回复进行评分,以训练奖励模型。

【AIGC】如何采集数据指令集打造定制化ChatGPT

​ 3.非自然指令的答案:GPT-4的答案是在6.8万条(指令,输入,输出)三元组的数据集上解码的,使用该子集来量化GPT-4和指令调优后的模型在规模上的差距。

数据统计

研究人员对比了GPT-4和GPT-3.5的英语输出回复集合:对于每个输出,都提取了根动词(root verb)和直接宾语名词(direct-object noun),在每个输出集上计算了独特的动词-名词对的频率。

【AIGC】如何采集数据指令集打造定制化ChatGPT

输出序列长度的频率分布对比

可以看到,GPT-4倾向于生成比GPT-3.5更长的序列,Alpaca中GPT-3.5数据的长尾现象比GPT-4的输出分布更明显,可能是因为Alpaca数据集涉及到一个迭代的数据收集过程,在每次迭代中去除相似的指令实例,在目前的一次性数据生成中是没有的。

尽管这个过程很简单,但GPT-4生成的instruction-following数据表现出更强大的对齐性能。

指令调优语言模型

Self-Instruct 调优

研究人员基于LLaMA 7B checkpoint有监督微调后训练得到了两个模型:LLaMA-GPT4 是在GPT-4生成的5.2万条英文instruction-following数据上训练的;LLaMA-GPT4-CN是在GPT-4的5.2万条中文instruction-following数据上训练的。

两个模型被用来研究GPT-4的数据质量以及在一种语言中进行指令调优的LLMs时的跨语言泛化特性。

奖励模型

从人类反馈中进行强化学习(Reinforcement Learning from Human Feedback,RLHF)旨在使LLM行为与人类的偏好相一致,以使语言模型的输出对人类更加有用。

RLHF的一个关键组成部分是奖励建模,其问题可以被表述为一个回归任务,以预测给定提示和回复的奖励评分,该方法通常需要大规模的比较数据,即对同一提示的两个模型反应进行比较。

现有的开源模型,如Alpaca、Vicuna和Dolly,由于标注对比数据的成本很高,所以没有用到RLHF,并且最近的研究表明,GPT-4能够识别和修复自己的错误,并准确判断回复的质量。

【AIGC】如何采集数据指令集打造定制化ChatGPT

为了促进对RLHF的研究,研究人员使用GPT-4创建了对比数据;为了评估数据质量,研究人员训练一个基于OPT 1.3B的奖励模型,以对不同的回复进行评分:对一个提示和K个回复,GPT-4为每个回复提供一个1到10之间的评分。

实验结果

在 GPT-4数据上评估以前从未见过的任务的self-instruct调优模型的性能仍然是一项困难的任务。

由于主要目标是评估模型理解和遵守各种任务指示的能力,为了实现这一点,研究人员利用三种类型的评估,并通过研究结果证实,「利用 GPT-4生成数据」相比其他机器自动生成的数据来说是一种有效的大型语言模型指令调优方法。

1.人类评估

为了评估该指令调优后的大型语言模型对齐质量,研究人员遵循之前提出的对齐标准:如果一个助手是有帮助的、诚实的和无害的(HHH),那它就是与人类评估标准对齐的,这些标准也被广泛用于评估人工智能系统与人类价值观的一致性程度。

几个名词解析:

帮助性(helpfulness):是否能帮助人类实现他们的目标,一个能够准确回答问题的模型是有帮助的。

诚实性(honesty):是否提供真实信息,并在必要时表达其不确定性以避免误导人类用户,一个提供虚假信息的模型是不诚实的。

无害性(harmlessness):是否不会对人类造成伤害,一个产生仇恨言论或提倡暴力的模型不是无害的。

基于HHH对齐标准,研究人员使用众包平台Amazon Mechanical Turk对模型生成结果进行人工评估。

如下给出了LLaMA-GPT4 和LLA-GPT3 以及LLaMA-GPT4 和GPT4 的比较图

【AIGC】如何采集数据指令集打造定制化ChatGPT

1.从图a的比较来看两个模型分别在GPT-4和GPT-3生成的数据上进行了微调,可以看到LLaMA-GPT4 以54.12%的占比在帮助性上要大大优于在GPT-3上微调的Alpaca(19.74%),而在诚实性和 无害性标准下,基本上差距不大,GPT-3还要更略胜一筹。

2.从图b在和原版GPT-4对比时,可以发现二者在三个标准上基本保持一致,即GPT-4指令调优后的LLaMA表现与原始的GPT-4类似。

2. GPT-4自动评估

受 Vicuna 的启发,研究人员也选择用GPT-4来评估不同聊天机器人模型对80个未见过的问题所生成回答的质量,从 LLaMA-GPT-4(7B)和 GPT-4模型中收集回复,并从以前的研究中获得其他模型的答案,然后要求GPT-4对两个模型之间的回复质量进行评分,评分范围从1到10,并将结果与其他强竞争模型(ChatGPT 和 GPT-4)进行比较。

【AIGC】如何采集数据指令集打造定制化ChatGPT

评估结果显示,反馈数据和奖励模型对提高 LLaMA 的性能是有效的;用GPT-4对LLaMA进行指令调优,往往比用text-davinci-003调优(即Alpaca)和不调优(即LLaMA)的性能更高;7B LLaMA GPT4的性能超过了13B Alpaca和LLaMA,但和GPT-4等大型商业聊天机器人相比,仍有差距。

【AIGC】如何采集数据指令集打造定制化ChatGPT

进一步研究中文聊天机器人的性能时,首先使用GPT-4将聊天机器人的问题也从英文翻译成中文,用GPT-4获得答案,可以得到两个有趣的观察结果:

  1. 可以发现GPT-4评价的相对分数指标是相当一致的,无论是在不同的对手模型(即ChatGPT或GPT-4)和语言(即英语或中文)方面。

  2. 仅就GPT-4的结果而言,翻译后的回复比中文生成的回复表现得更好,可能是因为GPT-4是在比中文更丰富的英文语料库中训练的,所以具有更强的英文instruction-following能力。

非自然指令评估(Unnatural Instruction Evaluation)

【AIGC】如何采集数据指令集打造定制化ChatGPT

从平均ROUGE-L得分来看,Alpaca优于LLaMA-GPT4 和GPT-4,可以注意到,LLaMA-GPT4

和GPT4在ground truth回复长度增加时逐渐表现得更好,最终在长度超过4时表现出更高的性能,意味着当场景更具创造性时,可以更好地遵循指令。

在不同的子集中,LLaMA-GPT4 跟GPT-4的行为相差无几;当序列长度较短时,LLaMA-GPT4 和GPT-4都能生成包含简单的基本事实答案的回复,但会增加额外的词语,使回复更像聊天,可能会导致ROUGE-L得分降低。

参考资料:资料地址

gitHub地址:代码地址

如果大家对java架构相关感兴趣,可以关注下面公众号,会持续更新java基础面试题, netty, spring boot,spring cloud,AGIC等系列文章,一系列干货随时送达

【AIGC】如何采集数据指令集打造定制化ChatGPT文章来源地址https://www.toymoban.com/news/detail-444519.html

到了这里,关于【AIGC】如何采集数据指令集打造定制化ChatGPT的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • DeepSpeed-Chat 打造类ChatGPT全流程 笔记二之监督指令微调

    DeepSpeed-Chat 打造类ChatGPT全流程 笔记一 【DeepSpeed 教程翻译】三,在 DeepSpeed中使用 PyTorch Profiler和Flops Profiler DeepSpeed结合Megatron-LM训练GPT2模型笔记(上) 【DeepSpeed 教程翻译】二,Megatron-LM GPT2,Zero 和 ZeRO-Offload 【DeepSpeed 教程翻译】开始,安装细节和CIFAR-10 Tutorial 在 DeepSpeed-C

    2024年02月12日
    浏览(46)
  • 奥威BI数据可视化工具:个性化定制,打造独特大屏

    每个人都有自己独特的审美,因此即使是做可视化大屏,也有很多人希望做出不一样的报表,用以缓解审美疲劳的同时提高报表浏览效率。因此这也催生出了数据可视化工具的个性化可视化大屏制作需求。 奥威BI数据可视化工具:个性化定制,打造独特可视化大屏 奥威BI数据

    2024年02月12日
    浏览(55)
  • 使用影刀采集大众点评数据:打造自动化数据采集工具

    在本教程中,我将向大家介绍如何使用影刀(YinDao)来采集大众点评的数据。影刀是一款强大的自动化流程处理工具,可以帮助我们自动执行网页操作、数据提取等任务,极大地提高了数据采集的效率和准确性。通过本教程,你将学会如何使用影刀来构建一个自动化的数据采

    2024年04月17日
    浏览(57)
  • 「AIGC」如何助力个人创意,打造属于你的独特时代?

    当今时代,人工智能(AI)不仅仅是科幻电影中的概念,也已经广泛应用于各行各业。其中,AI在创意领域的应用越来越受到关注。从AI生成的诗歌、绘画、音乐等作品的出现,到AI辅助创意产生的创意设计、广告营销等领域的应用,都为我们展示了AI在创意领域的无限可能。 AI生

    2024年02月11日
    浏览(55)
  • 物联网网关助力水表数据采集,打造节水型高校

    近日,教育部、水利部、国家机关事务管理局联合印发《全面建设节水型高校行动方案(2023—2028年)》,加快推动全面建设节水型高校。其中要求建立健全节水管理制度和目标责任制,对漏损严重的老旧管网及设备实施改造,加大智慧用水监管平台建设应用;同时教育、水

    2024年02月21日
    浏览(40)
  • 如何调教一个定制化的ChatGPT私人助理,接入自家知识库

    大家好,欢迎来到 Crossin的编程教室 ! 我在之前的文章里介绍过,如何利用 OpenAI 开放的 API,将 ChatGPT 接入自己开发的程序: 把 ChatGPT 加到你自己的程序里 当时开放的模型还是 text-davinci-003。 文章发布后没多久,gpt-3.5 的模型,也就是大家熟知的 ChatGPT,就在 API 中开放了,

    2024年02月10日
    浏览(42)
  • AIGC大模型时代下,该如何应用高性能计算PC集群打造游戏开发新模式?

    ACT | SIM | ETC | FTG | RAC AVG | RPG | FPS | MUG | PUZ ACT、SIM、ETC、FTG、RAC、RTS、STG、AVG、RPG、FPS、MUG、PUZ、SLG、SPG等游戏类型,需要高性能的计算机来支持运行。为了满足这些游戏的需求,国内服务器厂商不断推出新的产品,采用液冷散热技术,大模型构建和PC集群一体机等技术来提高

    2024年02月09日
    浏览(56)
  • 如何抓住ChatGPT的热潮,打造小红书爆款

    前两周我看到一个小红书才申请了没多久就已经有好几万的粉丝,于是我让我老婆也赶紧注册一个,毕竟小红书也有着不错的用户群体 那么我们如何通过GPT辅助我们快速创作呢?先来看下ChatGPT的回答: 在互联网时代,社交平台已成为人们传递资讯和观点的主要渠道。小红书

    2024年02月04日
    浏览(43)
  • 如何优雅的使用ChatGPT指令,指令大全

    我希望你充当Linux终端。我将键入命令,您将回复终端应显示的内容。我希望你只回复一个唯一代码块中的终端输出,没有别的。不要写解释。除非我指示你这样做,否则不要键入命令。当我需要用英语告诉你一些事情时,我会把文本放在大括号里{像这样}。我的第一个命令是

    2024年02月05日
    浏览(63)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包