论文笔记:(INTHE)WILDCHAT:570K CHATGPT INTERACTION LOGS IN THE WILD

这篇具有很好参考价值的文章主要介绍了论文笔记:(INTHE)WILDCHAT:570K CHATGPT INTERACTION LOGS IN THE WILD。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

iclr 2024 spotlight reviewer 评分 5668

1 intro

  • 由大型语言模型驱动的对话代理(ChatGPT,Claude 2Bard,Bing Chat)
    • 他们的开发流程通常包括三个主要阶段
      • 预训练语言模型
      • 在被称为“指令调优”数据集上进行微调,以使模型的行为与人类偏好保持一致
      • 可选地应用基于人类反馈的强化学习(RLHF),以进一步优化模型的响应
    • 虽然基础模型训练数据丰富且容易获得,但关键的指令调优数据集往往是专有的,这导致希望推进该领域的研究人员在可访问性上存在差距
  • 现有的用户-聊天机器人互动数据集主要有两种类型
    • 自然使用案例
      • 包括实际用户互动,大多是专有的
    • 专家策划的集合
      • 研究人员通常不得不依赖专家策划的数据集
      • 这些数据集在分布上通常与现实世界的互动不同,而且通常限于单轮对话
  • 为了弥补这一差距,本文介绍了(INTHE)WILDCHAT数据集
    • 一个全面的多轮、多语种数据集
    • 包括通过ChatGPT和GPT-4 API支持的聊天机器人服务收集的570,000次完整对话,涵盖超过150万次互动轮次
  • WILDCHAT服务于多个研究目的
    • 提供了比现有聊天机器人数据集更接近现实世界的多轮、多语种用户-聊天机器人互动的近似,填补了研究社区可用资源的重要空白
    • 分析表明,WILDCHAT在语言和语义方面比现有数据集更具多样性
    • 在这个数据集中发现了令人惊讶的高水平的毒性——超过10%的互动
    • 展示了该数据集用于指令调优聊天机器人的有效性——仅在原始数据集上进行微调的语言模型就超过了最先进的开源聊天机器人

2 数据收集

2.1 收集方法

  • 为了收集WILDCHAT数据集,论文部署了两个聊天机器人服务,一个基于GPT-3.5-turbo API,另一个基于GPT-4 API
  • 这两个服务都托管在Hugging Face Spaces上,并向公众开放

论文笔记:(INTHE)WILDCHAT:570K CHATGPT INTERACTION LOGS IN THE WILD,论文笔记,chatgpt,人工智能

2.2 用户同意机制

论文笔记:(INTHE)WILDCHAT:570K CHATGPT INTERACTION LOGS IN THE WILD,论文笔记,chatgpt,人工智能

2.3 数据预处理

  • 上述数据收集步骤产生了1,543,271条对话日志,其中包括部分对话和完整对话。
  • 为了识别并移除部分对话,论文检查一个对话日志是否是任何其他对话日志的前缀;
    • 这一处理步骤产生了586,031条完整对话。
  • 然后论文尽最大努力移除对话中的个人身份信息(PII)。
  • 论文还过滤掉了13,638条对话,这些对话中要么是用户连续发言,要么是助手连续发言,以保持一致的用户-助手轮换格式。
  • ——>这些预处理步骤共留下了572,393条对话。

3 数据分析

论文笔记:(INTHE)WILDCHAT:570K CHATGPT INTERACTION LOGS IN THE WILD,论文笔记,chatgpt,人工智能

论文笔记:(INTHE)WILDCHAT:570K CHATGPT INTERACTION LOGS IN THE WILD,论文笔记,chatgpt,人工智能

论文笔记:(INTHE)WILDCHAT:570K CHATGPT INTERACTION LOGS IN THE WILD,论文笔记,chatgpt,人工智能

4  毒性分析

论文笔记:(INTHE)WILDCHAT:570K CHATGPT INTERACTION LOGS IN THE WILD,论文笔记,chatgpt,人工智能

论文笔记:(INTHE)WILDCHAT:570K CHATGPT INTERACTION LOGS IN THE WILD,论文笔记,chatgpt,人工智能

论文笔记:(INTHE)WILDCHAT:570K CHATGPT INTERACTION LOGS IN THE WILD,论文笔记,chatgpt,人工智能

5 使用WILDCHAT进行instruction tuning

在WILDCHAT上训练了一个Llama-2 7B模型,从而产生了一个称为WILDLLAMA的新模型

论文笔记:(INTHE)WILDCHAT:570K CHATGPT INTERACTION LOGS IN THE WILD,论文笔记,chatgpt,人工智能

论文笔记:(INTHE)WILDCHAT:570K CHATGPT INTERACTION LOGS IN THE WILD,论文笔记,chatgpt,人工智能

第6章 局限性

6.1 用户人口统计学

鉴于聊天机器人服务托管在Hugging Face Spaces上,与之交互的大多数用户可能是开发者或与IT社区密切相关的人士。这一人群可能并不反映一般人口,并且可能也解释了数据集中出现的特定类型的对话,如编程问题。

6.2 毒性选择偏见

用户使用论文提供的聊天机器人服务的一个潜在原因是它提供匿名性。论文怀疑,这些用户可能更倾向于产生他们在需要账户注册的平台上不会分享的内容。作为一个典型的例子,如Hacker News中的讨论所示,匿名平台有时可能吸引更多毒性质的内容。然而,我们服务的匿名性使得更详细地分析我们用户群的人口统计学变得具有挑战性。文章来源地址https://www.toymoban.com/news/detail-854343.html

到了这里,关于论文笔记:(INTHE)WILDCHAT:570K CHATGPT INTERACTION LOGS IN THE WILD的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 3D Clothed Human Reconstruction in the Wild论文笔记

    论文地址:https://arxiv.org/pdf/2207.10053.pdf 作者:Moon, Gyeongsik, Nam, Hyeongjin, Shiratori, Takaak 发表:CVPR 2022 链接:https://github.com/hygenie1228/ClothWild_RELEASE 最近的大多数三维人体重建方法都需要三维扫描来进行训练;因此,它们是在合成数据集上训练的,这些数据集由3D扫描和从扫描中渲

    2024年01月19日
    浏览(49)
  • 论文阅读 - Social bot detection in the age of ChatGPT: Challenges and opportunities

    论文链接:https://www.researchgate.net/publication/371661341_Social_bot_detection_in_the_age_of_ChatGPT_Challenges_and_opportunities 目录 摘要: 引言 1.1. Background on social bots and their role in society 1.2. The rise of AI-generated chatbots like ChatGPT 1.3. The importance of social bot detection 1.4. Scope and objectives of the paper  2. T

    2024年02月14日
    浏览(51)
  • Cross-modal Moment Localization in Videos论文笔记

    2018年 Cross-modal Moment Localization in Videos 一种称为“语言-时间注意力网络”的方法,该方法利用视频中的时间上下文信息学习单词的注意力。因此,我们的模型可以自动选择“听哪些单词”以定位所需的瞬间。 以一个具有代表性的查询来说:一个摩天轮首先进入视野。之前的模

    2024年02月09日
    浏览(51)
  • 论文笔记--Distilling the Knowledge in a Neural Network

    标题:Distilling the Knowledge in a Neural Network 作者:Hinton, Geoffrey, Oriol Vinyals, Jeff Dean 日期:2015 期刊:arxiv   文章提出了一种将大模型压缩的新的思路:蒸馏distillation。通过蒸馏,可以将很大的模型压缩为轻量级的模型,从而提升推理阶段的速率。   随着模型的参数量越来越

    2024年02月15日
    浏览(51)
  • [论文笔记]ON LAYER NORMALIZATION IN THE TRANSFORMER ARCHITECTURE

    这是论文ON LAYER NORMALIZATION IN THE TRANSFORMER ARCHITECTURE的阅读笔记。本篇论文提出了通过Pre-LN的方式可以省掉Warm-up环节,并且可以加快Transformer的训练速度。 通常训练Transformer需要一个仔细设计的学习率warm-up(预热)阶段:在训练开始阶段学习率需要设成一个极小的值,然后在一些

    2024年02月12日
    浏览(41)
  • 【时间序列综述】Transformer in Time Series:A Survey 论文笔记

    文章全名:Transformers in Time Series: A Survey 文章链接:[论文地址]([2202.07125v2] Transformers in Time Series: A Survey (arxiv.org)) 来源:IJCAI 2023 完成单位:阿里巴巴达摩院、上海交通大学 Transformer在自然语言处理和计算机视觉领域都取得了诸多成果,Transformer的捕获长距离依赖和交互的能力

    2024年04月26日
    浏览(47)
  • 论文笔记——chatgpt评估+

    论文是从 开放域和限定域 两个角度对chatGPT的**performance、可解释性、校准性(calibration)和可信性(faithfulness)**进行了评估(assessment)。(performance、explainability、calibration、faithfulness四个维度进行测评的) 以上评估是杂7个细粒度知识抽取任务中进行的。 四个维度: perfo

    2024年02月11日
    浏览(51)
  • 【论文阅读笔记】Endoscopic navigation in the absence of CT imaging

      上一篇的导航导论,是需要先验,也就是需要事先拍摄堆叠的图片(比如CT图等),在体外构建相应的3D模型,再与内窥镜图像进行实时匹配。对于很多情况来说,是无法拥有如此充足的先验的。所以,本文探索的是没有额外CT图像的一个内窥镜导航算法,应用场景是鼻腔

    2024年02月11日
    浏览(52)
  • 【论文精读】Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond

    一篇大规模语言模型的指南,指南介绍详细且会随着大模型的发展不断更新,相信初入大模型的朋友一定能有所收获。 本文为LLM的从业者或者其下游任务用户提供了一个全面而实用的指南。首先对现有的LLM进行介绍和总结,其次讨论了预训练数据、训练数据和测试数据的影响

    2024年02月05日
    浏览(54)
  • 论文笔记:FROZEN TRANSFORMERS IN LANGUAGE MODELSARE EFFECTIVE VISUAL ENCODER LAYERS

    iclr 2024 spotlight  reviewer 评分 6668 在CV领域,很多Vision-language Model 会把来自图像的Embedding输入给LLM,并让LLM 作为Decoder 输出文字、类别、检测框等 但是在这些模型中,LLM并不会直接处理来自图像的Token,需要和语言进行交互才可以 ——论文探索的是:LLMs能否有效地直接处理完

    2024年04月13日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包