智谱CEO张鹏说:OpenAI摸着石头过河,我们摸着OpenAI过河。
摸来摸去摸了一年,以每3-4个月升级一次基座模型的速度,智谱摸着OpenAI过河的最新成绩到底怎么样?真如所说吗?
听到GLM-4发布的当天,我就去试用了一下GLM-4,毕竟是国内 全自研第四代基座大模型GLM-4!
实际体验
我依次测试了多模态、ALL Tools、个性化智能定制功能。
多模态
首先测试其图片理解能力,上传了一张猫片:
从结果来看,它基本上理解了这个图片的内容。
上传一张更复杂的图片试试呢?图片里有几个人?几个男人几个女人?
我也是学CV的,它答不准的原因在于底层图片识别、图像分割能力的不足,还需要继续努力。
为了测试它到底是不是真的理解图片里的含义,我上传了五环的图片,它成功的告诉我这个是五环,代表世界五大洲的团结和合作,赞!
All Tools
All Tools其实代表的是模型能否理解复杂指令,自由调用WebGLM搜索增强、Code Interpreter代码解释器和多模态生成能力,完成复杂任务。
我首先提了一个问题来验证联网能力:
它通过联网搜索的方式给出了答案:
总体来说,给出的内容还算不错。
我想进一步看看它的信息整合能力如何,于是让它进行表格的整理,这次等待的时间比较长,因为联网搜索了很久···,甚至还超时失败了,最终也没成功。
代码解释(CodeInterpreter)能力如何呢?先问了一下运行环境,但是无法给出准确的内存限制等,只给出了一些支持的代码或者运行库,值得注意的是,在运行的代码里本身不能联网:
为了测试基本的代码能力,我让它进行python得文件读取和保存:
画图能力如何呢?尝试一个主体进行三种风格的爆改:
怎么说呢,虽然在细节方面还不够好,比不上Dalle-3、SD或者MJ,但是已经基本能够满足要求了。可以满足给小朋友或者简单场景的绘画需求。
GLMs个性化智能体定制
这个功能其实瞄准的就是GPTs了,甚至从官方公告上来看,未来GLMs也将开放出开发者权限,并且进行收益分成(但是现在有个问题,GLM本身是不收费的,怎么盈利分成呢?可能的答案是:进行会员收费;回答里嵌套广告)
MaaS平台和API
按照智谱AI官方的说法,GLM-4性能相比GLM-3提升60%,逼近GPT-4(11月6日最新版本效果) 。
据智谱AI CEO张鹏介绍,GLM-4的整体性能相比上一代大幅提升,逼近GPT-4。 它可以支持更长的上下文,具备更强的多模态能力。同时,它的推理速度更快,支持更高的并发,大大降低推理成本。
此次发布的 GLM-4,在多个评测集上性能已接近或超过GPT-3.5,个别项目上几乎持平GPT-4。其中以下四个能力更新,是 GLM-4 最大的亮点:
- 多模态能力:推出了CogView3代,效果超过开源SD模型,逼近 DALLE-3。
- All Tools能力:GLM-4能自主理解复杂指令,自由调用WebGLM搜索增强、Code Interpreter代码解释器和多模态生成能力,完成复杂任务。
- GLMs个性化智能体定制:用户可以通过智谱清言官方网站创建属于自己的GLM智能体,无需编程基础。
- MaaS平台和API:GLM-4登陆了Maas平台,提供API访问,支持开发者内测Assistant API。
数据指标
数据集表现
MMLU(Massive Multitask Language Understanding):评估大模型的对于知识的理解,目前GLM-4是81.5分,GPT-4得分86.4分,目前能达到GPT4的94% ;
GSM8K(Grade School Math 8K):测试数学能力,小学数学和初中数学水平。GLM-4得分87.6,达到GPT-4的95%;
MATH:数学测试,涉及到一些较难的逻辑推理,GLM-4得分47.9,达到GPT-4的91% ;
BBH(Big Bench Hackathon):偏综合测试,比如翻译、语言理解、逻辑推理等内容。GLM-4得分82.3,达到GPT-4的99%水平;
HellaSwag:偏常识测试,GLM-4得分85.4,达到GPT-4的90%水平;
HumanEval:纯粹的编程任务。评测大模型在算法、代码、编程层面的效果。GLM-4得分72,达到GPT-4的100%水平。
指令跟随能力方面,和GPT-4相比,IFEval在Prompt提示词跟随(中文)方面达到88%,指令跟随(中文)方面达到 90%水平,超过GPT-3.5。
对齐能力上,基于AlignBench数据集,GLM-4超过了GPT-4的6月13日版本,逼近GPT-4最新(11月6日版本)效果。
大海捞针测试, GLM-4模型能够在128K文本长度内实现几乎100%的精度召回,并未出现长上下文全局信息因为失焦而导致的精度下降问题。
展望
在 2023 年,智谱 AI 基于 GLM-130B 研发了 ChatGLM,并经过三个版本的迭代,逐渐增加了多模态理解、代码解释、网络搜索增强等新功能。
去年年初,智谱 AI 承诺要在 2023 年底实现逼近最先进的 GPT-4 性能的全栈自主创新的 GLM-4。作为一年前设定的目标,GLM-4 的性能已经有了显著提升。从标准的大模型评估角度来看,整体上已经逼近了 GPT-4。文章来源:https://www.toymoban.com/news/detail-804894.html
希望国产大模型能够更进一步,我很担心未来在AI领域,又出现被掐脖子的事情~文章来源地址https://www.toymoban.com/news/detail-804894.html
到了这里,关于GLM-4多模态重磅更新!摸着OpenAI过河!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!