ChuanhuChatGPT 拥有多端、比较好看的Gradio界面,开发比较完整;
刚好讯飞星火非常大气,免费可以领取大概20w(!!!)的token,这波必须不亏,整上。
重要参考:
- 川虎 Chat 🐯 Chuanhu Chat
- 讯飞星火认知大模型
1 讯飞星火大模型
1.1 web api申请
基本上实名认证后,可以申请个人免费包,然后来到控制台
开启应用,把APPID、APISerect、APIKey记下就可以去开启API了。
这里星火大模型有两个版本:V1.5 V2 免费Token都非常多
1.2 web api调用
因为官方给到的一直报错,这里也可以使用别人已经封装好的,
需要安装:
!pip install websocket
!pip install websocket-client
参考这个开源:sparkdesk_api,安装:
pip install sparkdesk-api==1.3.0
直接流式调用:
from sparkdesk_api.core import SparkAPI
# 默认api接口版本为1.5,开启v2.0版本只需指定 version=2.1 即可
sparkAPI = SparkAPI(
app_id=app_id,
api_secret=api_secret,
api_key=api_key,
# version=2.1
)
# 流式调用
sparkAPI.chat_stream()
# 一次性问答调用
sparkAPI.chat("你想问什么?")
1.3 web api的参数
这里参考这篇文章:讯飞星火大模型 API 封装
1.4 一些报错
{"message":"HMAC signature does not match"
之前笔者报错过,原来是apikey和api_secret写反了…
还有以下的报错:
tearing down on exception can only concatenate str (not "TypeError") to str
也有可能是apikey 与 API secret写反了
2 川虎 Chat 🐯 Chuanhu Chat
环境需要:
一定需要python3.10,而且window/linux/mac都是可以的
部署的时候,如果不在本地下载大模型,可以不用安装GPU之类的。
2.1 川虎 Chat docker部署
笔者之前尝试的是直接使用chuanhu的docker,参考:使用 Docker 部署
但是chuanhu的docker有蛮多问题,如果要自己本地下载大模型,非常不建议使用他们提供的docker,GPU的一些配置需要额外自己配,然后里面的环境比较简单
如果要借用chuanhu下载本地大模型CHATGLM之类的,建议使用阿里云modelscope的docker,好用! 参考:ModelScope 官方提供的 Docker 镜像
拉取镜像并获取配置文件:
docker run --rm tuchuanhuhuhu/chuanhuchatgpt:latest \
cat /app/config_example.json > ~/ChuanhuChatGPT/config.json
运行 Docker 容器
docker run -d --name ChuanhuChat \
-v ~/ChuanhuChatGPT/history:/app/history \
-v ~/ChuanhuChatGPT/config.json:/app/config.json \
-p 7860:7860 \
tuchuanhuhuhu/chuanhuchatgpt:latest
这里强调一下history
是历史记录文件夹;config.json
重要配置文件
其中-v
这里一定要写绝对路径,不然会报路径错误
如果需要安装本地模型所需的依赖,
docker exec -it ChuanhuChat /bin/bash
然后进入 /app 目录,执行以下命令安装依赖:
pip install -r requirements_advanced.txt
此时在config.json
配上星火大模型相关信息:
直接docker run就可以打开 7860端口看到web页面了。
2.2 常规本地部署
本地部署可参考:手动安装(适用于大部分用户)
git clone https://github.com/GaiZhenbiao/ChuanhuChatGPT.git
cd ChuanhuChatGPT
pip install -r requirements.txt
# 如果你还想使用本地运行大模型的功能,请再执行下面的命令:
pip install -r requirements_advanced.txt
然后把config.json
配置一下就可以启动了:
python ChuanhuChatbot.py
如果一切顺利,现在,你应该已经可以在浏览器地址栏中输入 http://localhost:7860
查看并使用 川虎Chat 了。
其中,笔者启动的时候发现port一直会报错,需要将config.json
的server_name
,server_port
不能使用默认的:
关于部署贴一下原文,涉及server_name
, server_port
:
2.3 config.json 详解
整体来说,chuanhu是比较傻瓜启动的,所以,需要了解config.json
这个重要的配置项,可见:配置 config.json
因为chuanhu兼容了非常多模型,所以可配置的东西很多,一般默认是None,里面注释比较清楚:
2.4 页面基础配置项:presets.py
ChuanhuChatGPT/modules/presets.py
是配置里面的内容:文章来源:https://www.toymoban.com/news/detail-823650.html
还有包括,上面的配置项也都是:
文章来源地址https://www.toymoban.com/news/detail-823650.html
到了这里,关于给ChuanhuChatGPT 配上讯飞星火spark大模型V2.0(一)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!