本心、输入输出、结果
文心一言 4.0 ERNIE-Bot 4.0 ：ERNIE-Bot 4.0 大模型深度测试体验报告
编辑：简简单单 Online zuozuo
地址：https://blog.csdn.net/qq_15071263
前言
百度文心一言 4.0 ：如何申请百度文心一言 4.0
昨天申请的 文心一言 4.0 ERNIE-Bot 4.0 测试资格，目前已经拿到，我们将开始对 文心一言 4.0 ERNIE-Bot 4.0 进行一些体验测试
相关跳转
文心一言 4.0 ERNIE-Bot 4.0 ，目前对于申请的人员，只提供了 API 测试通道，所以我们需要 API 文档
文心一言 4.0 ERNIE-Bot 4.0 API 对接文档
文心一言 4.0 ERNIE-Bot 4.0 接口简介
该接口调用 = 发起一次对话请求
本接口返回不支持图片内容
接口地址为：POST
https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro
接口文档 如何获取 Access_Token
Bash 请求示例代码
# 步骤一，获取access_token，替换下列示例中的API Key与Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[API Key]&client_secret=[Secret Key]'
# 步骤二，调用本文API，使用步骤一获取的access_token，替换下列示例中的”调用接口获取的access_token“
curl -X POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=[步骤一调用接口获取的access_token]' -d '{
"messages": [
{"role":"user","content":"介绍一下你自己"}
]
}' | iconv -f utf-8 -t utf-8
这是最简单的调用 API 的方式
Windows 模式
日常我们使用 Windows 进行工作的时候，一般使用 PowerShell，那么 Bash 脚本就不适合我们，所以我写了一个 PowerShell 脚本给大家使用
Invoke-WebRequest -Uri 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[这里填写你的 API KEY]&client_secret=[这里填写你的 API Secret]' | Select-Object -ExpandProperty Content | ConvertFrom-Json | ConvertTo-Json -Depth 100
如图，我们就拿到了我们需要的内容
发起沟通请求的 Windows PowerShell 脚本
Invoke-WebRequest -Uri 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=【你的 TOKEN】' -Body '{"messages":[{"role":"user","content":"你好"}]}' -Method Post -ContentType 'application/json;charset=utf-8' | Select-Object -ExpandProperty Content | ConvertFrom-Json | ConvertTo-Json -Depth 100
以下为正常测试返回结果
使用 Python 请求
这里我再贴一下 Python 版本的代码，官方提供的 Python 代码参数上有点问题，我已经修复了
import requests
import json
API_KEY = "你的AK"
SECRET_KEY = "你的SK"
def main():
url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=" + get_access_token()
payload = json.dumps({
"messages": [
{
"role": "user",
"content": "你好"
}
]
})
headers = {
'Content-Type': 'application/json'
}
response = requests.request("POST", url, headers=headers, data=payload)
print(json.dumps(json.loads(response.text), indent=4, ensure_ascii=False))
def get_access_token():
"""
使用 AK，SK 生成鉴权签名（Access Token）
:return: access_token，或是None(如果错误)
"""
url = "https://aip.baidubce.com/oauth/2.0/token"
params = {"grant_type": "client_credentials", "client_id": API_KEY, "client_secret": SECRET_KEY}
return str(requests.post(url, params=params).json().get("access_token"))
if __name__ == '__main__':
main()
测试结果是正确的
如果直接使用官方提供的代码
如果直接使用官方提供的代码会报错，包括官方的调试口子也是会报错的
报错返回的 336006 the length of messages must be an odd number ，文档中也没有说明
代码调试结果
技术文档中，也没有对 336006 的解释
报错的主要原因是：这里的 message 只能携带奇数个参数
参考这个说明
文心一言 4.0 ERNIE-Bot 4.0 API 在线调试平台
虽然只提供了 API 模式，但是我们依然可以利用提供的 API 调试平台直接可视化的使用 文心一言 4.0 ERNIE-Bot 4.0
文心一言 4.0 ERNIE-Bot 4.0 API 在线调试平台
页面如下，我们可以直接进行对话
前提条件：创建一个应用
我们需要在控制台先新建一个应用
在线测试
计费管理中，文心一言 4.0 ERNIE-Bot 4.0 已经免费了，但是实际上，官方并没有完善好在线测试的通道
我们去在线调试里面，是找不到 文心一言 4.0 ERNIE-Bot 4.0 的资源的，其它的都需要付费
进行问题测试
测试思路
- 反应速度
- 常识推理
- 中文理解
- 生蚝问题
- 数学计算
- 代码
反应速度
实测反应速度还是比较慢的，平均需要 3-5 秒
常识推理
中国：三个字命名的城市
理解正确，没有把上海市之类的理解为三个字的
GPT-4
国内代理 GPT-4 的（高级账户）
中文理解
理解：上海自来水来自海上
结果并不理想
生蚝问题
生蚝煮熟了叫什么
他也觉得可以叫熟蚝，但是他知道还是生蚝
GPT-4 会直接认为煮熟了，就不叫生蚝了
数学计算
两个完全一样的梯形拼成一个平行四边形，这个平行四边形的面积是280cm，高是35cm，每个梯形的上底、下底之和是多少cm
代码
使用Python代码生成一个长度为10的随机字符串。
我们直接复制并运行一下这段代码，是可以直接运行的
ERNIE-Bot 4.0 大模型深度测试体验报告：总结
真的已经很惊艳了，比预期值是要高出很多的，唯一不足的地方就是目前响应速度实在是有点慢，不知道是不是测试阶段部署的算力资源不足的问题
其它内容
测试版本的内容里面，还没有提供图片、插件等能力，不知道到时候的结果如何
目前图片生成能力，还没有接入 文心一言 4.0 ERNIE-Bot 4.0
我们看看 文心一言 3.5 的表现
文章来源：https://www.toymoban.com/news/detail-713470.html
弘扬爱国精神
文章来源地址https://www.toymoban.com/news/detail-713470.html
到了这里，关于文心一言 4.0 ERNIE-Bot 4.0 ：ERNIE-Bot 4.0 大模型深度测试体验报告的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
