DetectGPT VS ChatGPT:AI反击战?

这篇具有很好参考价值的文章主要介绍了DetectGPT VS ChatGPT:AI反击战?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.背景

随着 ChatGPT 的持续火爆,现在无论哪个行业,几乎是人尽皆知。同时,利用 ChatGPT 进行造假作弊的情况也是层出不穷,尤其是在教育和传媒行业。在美国的一项千人调查中,有89%的学生表示在家庭作业中使用了 ChatGPT,不亦乐乎😂,并且斯坦福等大学中有部分学生也准备在期末考试中使用 ChatGPT。ChatGPT 能够改编充斥阴谋论和误导性叙述的问题,产生大量令人信服却无信源的内容,或成为传播网络谣言的工具……鉴于以上种种,OpenAI 官方紧急发布了打假工具(判断是否AI生成分为5个等级:极不可能、不太可能、不清楚、可能、非常可能)原以为是造矛又造盾,强强对决,奈何鉴别为非常可能的准确率只有26%,还有9%的概率把人写的文本当成AI写的,整体表现和蒙眼猜差不多😂(人的肉眼分辨也仅仅是略微高出瞎蒙的结果)。

斯坦福大学看不下去了,为了打击高等教育中 LLM(大型语言模型)生成文本,提出了零样本的 DetectGPT 方法,率先打响高校 AI 反击战。

代码链接: DetectGPT

2.DetectGPT

机器生成文本的检测本质还是一个二分类问题,训练一个以此为目标的深度学习模型并不困难,但是这样的模型过度依赖训练数据,而最常用的零样本评估方法是计算生成文本的每个 token 对数概率和阈值的平均值,这种方法忽略了候选文本周围的包含文本来源信息的概率分布。

  • 在本篇论文中,作者首先提出了一个简单的假设:生成文本的轻微改写相较于原始文本倾向于有较低的对数概率,而被轻微改写的手写文本相较于原文本,其对数概率可高可低。意思也就是,模型生成文本往往位于对数概率函数负曲率的区域(局部最大值),如下图:

DetectGPT VS ChatGPT:AI反击战?

  • 设计实验验证以上假设:

DetectGPT VS ChatGPT:AI反击战?

为了判断候选段落  是否由 LLM (如 GPT-3)生成,利用通用的预训练模型(如 T5)对  进行较小的扰动,生成扰动样本  ~ ,然后比较  和每个扰动样本  在  下的对数概率,如果平均对数比率较高,则可能来自源模型 GPT-3。

实验伪代码:

DetectGPT VS ChatGPT:AI反击战?

  • 作者通过经验验证了假设,并且发现其适用于各种 LLM。DetectGPT 的效果也是杠杠的!在检测机器生成文本方面比现有的零样本方法更准确,在检测机器生成的新闻文章时,相较于零样本多源模型的最强基线,AUROC提高了 0.1+。

DetectGPT VS ChatGPT:AI反击战?

3.总结

简单高效的 DetectGPT 理解起来还是比较容易的,作者也打算将这一方法用于 LLM 生成的音频、视频和图像的检测工作中。当然它也有一些缺点:①模型改写的情况会影响曲率估计的质量;②相比于其他检测方法需要更多的计算量等,不过看效果还是比较靠谱。官方鉴别器虽不咋滴,但说明 OpenAI 目前在努力表现出踩刹车的样子,有消息称其正考虑在生成文本中加入隐藏的“水印”,或许从根源解决才是终极大法😄😄😄。文章来源地址https://www.toymoban.com/news/detail-433903.html

到了这里,关于DetectGPT VS ChatGPT:AI反击战?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Bard!谷歌对 ChatGPT 的最强反击,悄咪咪的支持中文了!

    “  ChatGPT、Bard,哪个是更好的AI人工智能大语言模型。 ” 01 — ChatGPT 这么火,而且这款产品是 OpenAI 以谷歌的大模型架构 transformer 为基础迭代的。谷歌自然不甘落后,早在3月份推出自家的人工智能大语言模型 Bard,只是当时还不支持中文。 这不,这段时间国内外的各家大

    2024年02月12日
    浏览(35)
  • 斯坦福大学团队提出AI生成文本检测器DetectGPT,通过文本对数概率的曲率进行可解释判断

    原文链接:https://www.techbeat.net/article-info?id=4583 作者:seven_ 随着以ChatGPT等大型语言模型(large language models,LLMs)的爆火, 学界和工业界目前已经开始重视这些模型的安全性 ,由于ChatGPT强大的 知识存储和推理能力 ,其目前可以针对各种各样的用户输入来产生非常流畅和完整

    2024年02月09日
    浏览(51)
  • AI助手对决:ChatGPT vs 文心一言

    背景介绍                 在当今人工智能技术飞速发展的时代,AI助手已经成为我们日常生活中不可或缺的一部分。而在众多AI助手中,ChatGPT和文心一言可以说是备受瞩目的两大代表,它们在智能回复、语言准确性、知识库丰富度等方面都有着自己的特点和优势。那么

    2024年04月27日
    浏览(41)
  • ChatGPT vs 文心一言(AI助手全面比较)

    随着人工智能的不断发展,ChatGPT(OpenAI)和文心一言都代表了当前先进的自然语言处理技术。它们在智能回复、语言准确性和知识库丰富度等方面都有各自的优势。在下面的比较中,我们将从多个角度探讨这两个AI助手,帮助你更好地选择适合你需求的工具。 ChatGPT: ChatGP

    2024年01月19日
    浏览(52)
  • ChatGPT vs 文心一言: 两大AI助手的较量

    无所不能的人实在一无所能,无所不专的专家实在是一无所专。 随着人工智能技术的发展,ChatGPT和文心一言已成为广受欢迎的AI助手,它们能为用户提供智能回复和丰富的知识支持。在本文中,我们将比较这两个AI助手在智能回复、语言准确性和知识库丰富度方面的表现。请

    2024年01月16日
    浏览(63)
  • AI对决:文心一言 VS ChatGPT 全方面比拼

    目录 背景 对比环节 文章生成 GhatGPT: 文心一言: 故事编写 ChatGPT: 文心一言: 代码生成 ChatGPT: 文心一言: 技术教学 ChatGPT: 文心一言: 评价环节         都知道的国内的大语言模型发展是比较慢的了相对于GhatGPT来说哈,GPT已经在4.0版本大展拳脚了,代码、图文、心

    2024年01月21日
    浏览(53)
  • AI工具 ChatGPT-4 vs Google Bard , PostgreSQL 开发者会pick谁?

    在人工智能 (AI) 进步的快节奏世界中,开发人员正在寻找最高效和突破性的解决方案来加快和提高他们的工作质量。对于 PostgreSQL 开发人员来说,选择理想的 AI 支持的工具以最专业的方式解决他们的查询至关重要。 近年来,人工智能工具的普及率飙升,开发人员越来越认识

    2024年02月10日
    浏览(43)
  • 【SparkDesk vs. ChatGPT4】科大讯飞“星火”实测:AI 写作能力(92分+)ChatGPT 大模型在电商业务中的应用、技术方案、价值创新,5000字。

    ChatGPT4的写作内容参考:【ChatGPT】ChatGPT 在电商业务中的应用、技术方案、价值创新_禅与计算机程序设计艺术的博客-CSDN博客  

    2024年02月09日
    浏览(47)
  • ChatGPT vs. Bing vs. Bard

    随着 2022 年 ChatGTP 的推出, 人工智能聊天机器人 的世界突然走上了一条新道路。如今,密切关注 AI 的人都知道,不同公司推出了几款产品。从谷歌拥有自己的 Bard AI,到微软发布新的 Bing AI Chat,再到 OpenAI 发布 GPT-4 。本文, 我将对比下这 3 个 AI 聊天机器人:ChatGPT vs. Bing

    2024年02月12日
    浏览(35)
  • ChatGLM vs ChatGPT

    所有的 NLP 大模型 都是 transformer 结构 1.Mask attention 的策略不同 2. 训练任务目标不同 国内大模型nb公司:百度、清华智谱 粉色:Encoder-only。 绿色:Encoder-Decoder,尽头智谱ChatGLM。 蓝色:Decoder-only,尽头OpenAI GPT4。 GLM支持国产GPU 轻量化部署 优势 WebGLM,整体思路: 1.网上搜索答

    2024年01月21日
    浏览(28)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包