你好 ,我是郭震!
这篇文章测评三个AI大模型能力:
常见生成对话式大模型APP,除最早OpenAI发布的ChatGPT外,还有百度文心一言、谷歌Bard等。
今天从代码生成角度,测评三大模型的能力。
为什么选择这个角度?
而不是其他角度?如写周报,写诗等。
因为这些能力怎么判断对错呢?没有统一、明确的评判标准,测评就不会客观了。
相反,代码生成能力不一样,错一点都不行,并且判断标准统一、明确,主要两点:
第一:代码正确解决问题
第二,稳定运行,无bug
明确测评标准后,找一个稍微有些测评技术含量的问题:Python编写一个贪吃蛇游戏。
此游戏的实现逻辑相对复杂,即便有经验的程序员要想满足上面两点,一次写完通过也是很有难度的。我们看看机器的表现如何。
三大AI模型,全部使用各家最好模型。
1 ChatGPT
首先问问ChatGPT,这是其中部分回答截图:
复制代码到PyCharm (Python最常用的集成开发环境)中,运行结果如下所示:
玩玩游戏,看看有无bug,测试3次,结果表明:
1) 一次回复完整代码
2) 一次运行通过,程序正确实现贪吃蛇游戏(按键盘上下左右箭头,黑色方块会移动,当与淡绿色方块接触时,方块消失(被吃))
3)程序测试三次,无bug
2 文心一言
文心一言是百度大模型。提问它编写贪吃蛇游戏,返回的代码部分截图,共58行(写过贪吃蛇游戏的应该也知道,这些代码肯定不完整)
复制到PyCharm中,运行代码,结果显示这样,很明显有问题,且无交互能力:
再给文心一言一次机会,重新生成一遍答案,这次与上次一样代码未写完就终止,这次生成59行终止,继续追问它,它回复未回答完:
稍微有些出乎意料第二次还没回答完,第三次回答终于完成。复制所有代码到PyCharm,运行结果是这样,之后程序异常退出:
3 Bard生成代码
Bard是谷歌研发的大模型,同样问题提问它:
Bard没有效仿ChatGPT打字机的回复形式,而是思考片刻后,一下全部发我代码(最后部分代码截图),速度很快:
同样复制代码到PyCharm中,第一眼竟然出现没有导入random模块:
我手写导入random模块,然后运行程序,贪吃蛇的界面出现两个不同颜色的小方块,1秒钟后程序闪退:
通过录制运行视频,截取帧,找到那转瞬即逝的一帧:
测试总结
1 ChatGPT, 一次生成代码,代码正确无bug
2 文心一言,三次生成代码,代码不正确
3 Bard,一次生成代码,代码不正确
初步结论:ChatGPT目前生成能力是最好的
ChatGPT 2个月用户就破亿,也印证了这点,如果国内再能直接使用上,估计还会更快。
大家知道零基础学习某个技术,刚开始,难以判断生成答案对错。如果答案再有错误,那无疑会增加学习的难度。这就是如今为什么资料那么多,但是却迟迟无法真正掌握一门技术的重要原因之一。
学技术,认准一个最好的,保证在竞争中不输在工具使用上,这是对于我们个体而言,比较重要的一点!
最后说下个人看法,当今AI技术强如Google,大家看到,他们的Bard依然无法生成像ChatGPT那样准确无误的代码。ChatGPT确实独树一帜,其他大模型想超越它,难度不小。
你们觉得呢?欢迎留言
访问网址:http://zglg.work文章来源:https://www.toymoban.com/news/detail-799287.html
或点击下面,阅读更多,登录小蜜蜂AI使用ChatGPT
文章来源地址https://www.toymoban.com/news/detail-799287.html
到了这里,关于ChatGPT,文心一言,Bard 到底哪家强?最新测评来了!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!