清华发布首个最全大模型安全评测系统,ChatGPT登榜首!

这篇具有很好参考价值的文章主要介绍了清华发布首个最全大模型安全评测系统,ChatGPT登榜首!。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

清华发布首个最全大模型安全评测系统,ChatGPT登榜首!夕小瑶科技说 原创
作者 | 天于刀刀 Python
当前大型语言模型的火爆程度我们不用再进行赘述了,伴随着百度文心一言打响国内商业大模型第一枪,华为盘古,阿里通义千问,智谱ChatGLM,科大讯飞星火等国内公司纷纷开始布局。

另一方面由于众所周知的政策原因,和如火如荼层出不穷的各个大模型相比,现在国内AIGC内容生成的商业落地产品则是寥寥无几。根据2023年4月11日国家互联网信息办公室发布的生成式人工智能服务管理办法(征求意见稿):

第四条 提供生成式人工智能产品或服务应当遵守法律法规的要求,尊重社会公德、公序良俗... 

第五条 利用生成式人工智能产品提供聊天和文本、图像、声音生成等服务的组织和个人(以下称“提供者”),包括通过提供可编程接口等方式支持他人自行生成文本、图像、声音等,承担该产品生成内容生产者的责任;涉及个人信息的,承担个人信息处理者的法定责任,履行个人信息保护义务。

第六条 利用生成式人工智能产品向公众提供服务前,应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向国家网信部门申报安全评估,并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。

换句话说,哪怕是人工智能也得遵守基本法,需要正能量!

这也就意味着,现在行业中急需一个专门用于检测汉语大型语言模型道德观法律观的评估方法!

而来自清华大学计算机科学与技术系的CoAI小组为我们带来了一套系统的安全评测框架!他们的工作已经整理成论文的形式[1],并且相关的公开基准数据集也已经发布在 HuggingFace 平台[2]。想要进一步对模型进行多样化安全评测的团队和个人也可以联系CoAI团队[3][4],在隐藏测评数据上进行测试。

该团队的一个主要贡献是设计和总结了一个较为完备的安全分类体系:

8种典型安全场景和6种指令攻击的安全场景。

清华发布首个最全大模型安全评测系统,ChatGPT登榜首!清华发布首个最全大模型安全评测系统,ChatGPT登榜首!

下图展示了截至目前在公开测试集上安全性能前10名的模型 leaderboard。

清华发布首个最全大模型安全评测系统,ChatGPT登榜首!

我们可以看到一些商用的大模型,如文心一言和通义千问并没有参加测试,因此并没有上榜。这可能是因为作者团队时间有限导致的。

不过由于大模型生成内容的随机性,作者团队设计的测试流程不可避免地会涉及到一些人工测评的工作。这也是当前评估基准测试流程的一个痛点:效率和成本相互冲突。 作者也在论文中提到他们之后会进一步增加更多有挑战性的攻击性提示,并且会进一步优化评估流程。

不过对于那些急需上线 AIGC 服务的公司来说,这个基准测试集不失为一个快速检验产品能力和局限性的优秀资源。想要利用大模型赚钱的同学们可千万不要错过这个好项目哦。

冲鸭~文章来源地址https://www.toymoban.com/news/detail-456078.html

清华发布首个最全大模型安全评测系统,ChatGPT登榜首!清华发布首个最全大模型安全评测系统,ChatGPT登榜首!
清华发布首个最全大模型安全评测系统,ChatGPT登榜首!
[1]Safety Assessment of Chinese Large Language Models, https://arxiv.org/pdf/2304.10436.pdf
[2]Datasets: thu-coai/Safety-Prompts, https://huggingface.co/datasets/thu-coai/Safety-Prompts
[3]Github: thu-coai/Safety-Prompts, https://github.com/thu-coai/Safety-Prompts
[4]中文大模型安全评测平台, http://coai.cs.tsinghua.edu.cn/leaderboard/

到了这里,关于清华发布首个最全大模型安全评测系统,ChatGPT登榜首!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 百川智能发布首个530亿参数闭源大模型,今年追上GPT-3.5

    4月官宣创业,6月15日发布第一款7B开源模型,7月11日发布第二款13B、130亿参数开源模型。 平均保持2个月一个版本发布速度,8月8日,百川智能发布了创业以来的首个530亿参数闭源大模型——Baichuan-53B(以下简称“53B”)。 光锥智能获悉,53B支持中英双语,在知识性上表现优

    2024年02月13日
    浏览(44)
  • Mistral AI发布首个开源MoE模型,魔搭社区推理微调最佳实践来啦!

    原文:Mistral AI发布首个开源MoE模型,魔搭社区推理微调最佳实践来啦! - 知乎 继Mistral 7B 后,Mistral AI 近日又放出一记大招——发布了引爆开源社区的首个 MoE 开源模型 Mixtral 8x7B,在 Apache 2.0 许可证下可商用。 Mixtral-8x7B 是 一款混合专家模型( Mixtrue of Experts ),由8个拥有70亿

    2024年01月16日
    浏览(49)
  • MistralAI发布全球首个MoE大模型-Mixtral 8x7B,创新超越GPT-4

    引言 MistralAI,一家法国的初创企业,近期在AI界引发了轰动,刚刚发布了 全球首个基于MoE(Mixture of Experts,混合专家) 技术的大型语言模型——Mistral-8x7B-MoE。这一里程碑事件标志着AI技术的一个重要突破,尤其是在模型结构和效率上的创新,让它在业界赢得了“超越GPT-4”的

    2024年02月04日
    浏览(55)
  • CSA GCR大会正式发布全球首个云渗透测试认证专家课程,腾讯安全获评“特别贡献单位”

    4月13日,第六届云安全联盟大中华区大会(CSA GCR Congress)在上海举办,大会由联合国数字安全联盟、上海市经济和信息化委员会、上海市委网络安全和信息化委员会办公室、上海市普陀区人民政府指导,云安全联盟大中华区主办。 会上,CSA GCR正式发布了全球首个云渗透测试

    2024年02月15日
    浏览(38)
  • OpenCloudOS 9.0 发布:首个全自研服务器操作系统

    系统开源社区 OpenCloudOS 正式发布 首个全自研社区 9.0 版本 (以下简称 OC 9.0)。据了解,该版本由腾讯等十余家企业共同开发并长期维护,其内核及用户态软件均为自主选型、独立演进,在操作系统发行版的全链路均实现自主可控。 ​操作系统等基础软件是信息技术的根基,

    2024年02月09日
    浏览(41)
  • 【AI大模型】讯飞版大模型来了!首发通用人工智能评测体系,现场发布四大行业应用成果

    ✍创作者:全栈弄潮儿 🏡 个人主页: 全栈弄潮儿的个人主页 🏙️ 个人社区,欢迎你的加入:全栈弄潮儿的个人社区 📙 专栏地址:AI大模型 【分享几个国内免费可用的ChatGPT镜像】 【10几个类ChatGPT国内AI大模型】 【用《文心一言》1分钟写一篇博客简直yyds】 【用讯飞星火

    2024年02月04日
    浏览(54)
  • ACL2023 | WebCPM:清华发布中文LFQA 数据集,探索搜索引擎和PLM大模型结合新范式

    一、概述 title:WEBCPM: Interactive Web Search for Chinese Long-form Question Answering 论文地址:https://arxiv.org/abs/2305.06849 代码:https://github.com/thunlp/WebCPM 1.1 Motivation 开发一个类似于WebGPT一样的中文版本的数据集,用于检索相关事实,并基于这些事实生成最终回答,并发布一个baseline模型。

    2024年02月12日
    浏览(39)
  • AI时代的生成式3D大模型全面评测 - “ChatGPT时刻”的前夜

    在我过去的所有文章中,我一直把AI分成四个模态去进行分类: AI文本(大语言模型)、AI绘图、AI声音、AI视频 而在我最近的交流和访谈中,有一个游离于这四模态之外的存在,被反复提起。 AI 3D。 12月20号,这个星期三的晚上,我在接受一个朋友的采访很开心的聊了一个小

    2024年02月03日
    浏览(44)
  • 【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程

    目录 感谢B站秋葉aaaki大佬 前言 部署资源 部署流程  实机演示 ChatGML微调(人格炼成)(个人感觉蛮有趣的地方)  分享有趣の微调人格  实机演示(潘金莲人格) 秋葉aaaki的个人空间_哔哩哔哩_bilibili https://space.bilibili.com/12566101 由于ChatGLM-6B的规模较小,目前已知其具有相当

    2024年02月06日
    浏览(49)
  • 首个ChatGPT机器人- Figure 01;李开复旗下零一万物推出Yi系列AI大模型API

    🦉 AI新闻 🚀 首个ChatGPT机器人- Figure 01 摘要 :Figure 01是一个由初创公司Figure联合OpenAI开发的人形机器人。它展示了与人类和环境互动的能力,可以说话、看东西,并且可以执行各种任务,如递食物、捡垃圾、收拾碗筷等。Figure 01还具备推理能力,可以自主识别、计划和执行

    2024年04月23日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包