给ChuanhuChatGPT 配上讯飞星火spark大模型V2.0(一)

这篇具有很好参考价值的文章主要介绍了给ChuanhuChatGPT 配上讯飞星火spark大模型V2.0(一)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ChuanhuChatGPT 拥有多端、比较好看的Gradio界面,开发比较完整;
刚好讯飞星火非常大气,免费可以领取大概20w(!!!)的token,这波必须不亏,整上。
讯飞星火大模型本地部署,LLM大模型,fastapi,大模型,讯飞,chuanhu,部署

重要参考:

  • 川虎 Chat 🐯 Chuanhu Chat
  • 讯飞星火认知大模型


1 讯飞星火大模型

1.1 web api申请

讯飞星火大模型本地部署,LLM大模型,fastapi,大模型,讯飞,chuanhu,部署
基本上实名认证后,可以申请个人免费包,然后来到控制台
讯飞星火大模型本地部署,LLM大模型,fastapi,大模型,讯飞,chuanhu,部署
开启应用,把APPID、APISerect、APIKey记下就可以去开启API了。
这里星火大模型有两个版本:V1.5 V2 免费Token都非常多

1.2 web api调用

讯飞星火大模型本地部署,LLM大模型,fastapi,大模型,讯飞,chuanhu,部署
因为官方给到的一直报错,这里也可以使用别人已经封装好的,
需要安装:

!pip install websocket 
!pip install websocket-client

参考这个开源:sparkdesk_api,安装:

pip install sparkdesk-api==1.3.0

直接流式调用:

from sparkdesk_api.core import SparkAPI
# 默认api接口版本为1.5,开启v2.0版本只需指定 version=2.1 即可
sparkAPI = SparkAPI(
    app_id=app_id,
    api_secret=api_secret,
    api_key=api_key,
    # version=2.1
)

# 流式调用
sparkAPI.chat_stream()

# 一次性问答调用
sparkAPI.chat("你想问什么?")

1.3 web api的参数

这里参考这篇文章:讯飞星火大模型 API 封装
讯飞星火大模型本地部署,LLM大模型,fastapi,大模型,讯飞,chuanhu,部署

1.4 一些报错

{"message":"HMAC signature does not match"

之前笔者报错过,原来是apikey和api_secret写反了…

还有以下的报错:

tearing down on exception can only concatenate str (not "TypeError") to str

讯飞星火大模型本地部署,LLM大模型,fastapi,大模型,讯飞,chuanhu,部署
也有可能是apikey 与 API secret写反了


2 川虎 Chat 🐯 Chuanhu Chat

环境需要:
一定需要python3.10,而且window/linux/mac都是可以的

部署的时候,如果不在本地下载大模型,可以不用安装GPU之类的。

2.1 川虎 Chat docker部署

笔者之前尝试的是直接使用chuanhu的docker,参考:使用 Docker 部署
但是chuanhu的docker有蛮多问题,如果要自己本地下载大模型,非常不建议使用他们提供的docker,GPU的一些配置需要额外自己配,然后里面的环境比较简单
如果要借用chuanhu下载本地大模型CHATGLM之类的,建议使用阿里云modelscope的docker,好用! 参考:ModelScope 官方提供的 Docker 镜像

拉取镜像并获取配置文件:

docker run --rm tuchuanhuhuhu/chuanhuchatgpt:latest \
cat /app/config_example.json > ~/ChuanhuChatGPT/config.json

运行 Docker 容器

docker run -d --name ChuanhuChat \
	-v ~/ChuanhuChatGPT/history:/app/history \
	-v ~/ChuanhuChatGPT/config.json:/app/config.json \
	-p 7860:7860 \
	tuchuanhuhuhu/chuanhuchatgpt:latest

这里强调一下history 是历史记录文件夹;config.json重要配置文件
其中-v 这里一定要写绝对路径,不然会报路径错误

如果需要安装本地模型所需的依赖,

docker exec -it ChuanhuChat /bin/bash

然后进入 /app 目录,执行以下命令安装依赖:

pip install -r requirements_advanced.txt

此时在config.json配上星火大模型相关信息:

讯飞星火大模型本地部署,LLM大模型,fastapi,大模型,讯飞,chuanhu,部署
直接docker run就可以打开 7860端口看到web页面了。

2.2 常规本地部署

本地部署可参考:手动安装(适用于大部分用户)

git clone https://github.com/GaiZhenbiao/ChuanhuChatGPT.git
cd ChuanhuChatGPT
pip install -r requirements.txt

# 如果你还想使用本地运行大模型的功能,请再执行下面的命令:
pip install -r requirements_advanced.txt

然后把config.json配置一下就可以启动了:

python ChuanhuChatbot.py

如果一切顺利,现在,你应该已经可以在浏览器地址栏中输入 http://localhost:7860 查看并使用 川虎Chat 了。

其中,笔者启动的时候发现port一直会报错,需要将config.jsonserver_nameserver_port不能使用默认的:
讯飞星火大模型本地部署,LLM大模型,fastapi,大模型,讯飞,chuanhu,部署
关于部署贴一下原文,涉及server_name , server_port

讯飞星火大模型本地部署,LLM大模型,fastapi,大模型,讯飞,chuanhu,部署

2.3 config.json 详解

整体来说,chuanhu是比较傻瓜启动的,所以,需要了解config.json这个重要的配置项,可见:配置 config.json

因为chuanhu兼容了非常多模型,所以可配置的东西很多,一般默认是None,里面注释比较清楚:
讯飞星火大模型本地部署,LLM大模型,fastapi,大模型,讯飞,chuanhu,部署

2.4 页面基础配置项:presets.py

ChuanhuChatGPT/modules/presets.py是配置里面的内容:

讯飞星火大模型本地部署,LLM大模型,fastapi,大模型,讯飞,chuanhu,部署
还有包括,上面的配置项也都是:
讯飞星火大模型本地部署,LLM大模型,fastapi,大模型,讯飞,chuanhu,部署文章来源地址https://www.toymoban.com/news/detail-823650.html

到了这里,关于给ChuanhuChatGPT 配上讯飞星火spark大模型V2.0(一)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【讯飞星火大模型AI】SpringBoot项目快速接入讯飞星火API

    讯飞官网:讯飞星火认知大模型-AI大语言模型-星火大模型-科大讯飞 (xfyun.cn) 新用户认证之后可以免费领取二百万token,有效期一年,免费薅羊毛。 认证完成后,创建一个应用(很简单),点点点就能完成。 2.1 配置 创建完成之后,去github上找到讯飞开放平台的sdk,推荐下面这个

    2024年04月15日
    浏览(50)
  • 科大讯飞交卷,实测星火大模型

    作者 | 辰纹 来源 | 洞见新研社 星星之火,可以燎原。 5月6日,讯飞星火认知大模型揭开神秘面纱。 发布会上,科大讯飞董事长刘庆峰、研究院院长刘聪现场实测了星火大模型七大核心能力,并发布基于该大模型的教育、办公、汽车和数字员工等多个领域的相关产品。 与此

    2024年02月03日
    浏览(67)
  • springBoot整合讯飞星火认知大模型

    讯飞星火大模型是科大讯飞最近开放的拥有跨领域的知识和语言理解能力的大模型,能够完成问答对话和文学创作等。由于讯飞星火大模型最近可以免费试用,开发者都可以免费申请一个QPS不超过2的账号,用来实现对平台能力的验证。本文将利用Springboot框架对星火大模型进

    2024年02月04日
    浏览(49)
  • 讯飞星火大模型将超越chatgpt?

    近日,科大讯飞召开了星火认知大模型成果发布会,会上表示讯飞星火大模型将突破开放式问答,对标ChatGPT,在中文能力上超过ChatGPT,在英文能力上与ChatGPT相当。对此,你怎么看? 这一突破意味着人工智能技术正在不断进步,能够更好地服务于广大用户。同时,对于中英文

    2024年02月03日
    浏览(46)
  • Unity 讯飞 之 讯飞星火大模型的简单封装和使用(补充讯飞大模型识图功能)

    目录 Unity 讯飞 之 讯飞星火大模型的简单封装和使用(补充讯飞大模型识图功能) 一、简单介绍 二、实现原理 三、注意事项 四、效果预览 五、案例简单实现步骤 六、关键代码 七、案例下载地址 补充、讯飞大模型-图像识别 Unity 工具类,自己整理的一些游戏开发可能用到的

    2024年02月04日
    浏览(60)
  • 【分享】科大讯飞星火认知大模型(初体验)

    前言: 哈喽,大家好,我是木易巷~ 随着人工智能技术的迅猛发展,自然语言处理(NLP)成为了热门话题。在众多NLP模型中,科大讯飞星火认知大模型成为了一个备受瞩目的新秀,今天我们来了解一下这个由科大讯飞公司开发的人工智能模型~ (内测方法在文末) 5月6日,讯

    2024年02月07日
    浏览(41)
  • 科大讯飞一季度净亏损同比扩大418%,讯飞星火大模型不灵了?

    近日,科大讯飞公布截至2024年3月31日的一季度业绩报告及2023年年报。财报显示,科大讯飞一季度总营收同比增长26.27%,为36.46亿元;一季度净亏损3亿元,上年同期净亏损5789.5万元,同比扩大418.17%。 科大讯飞2023年总营收为196.5亿元,归母净利润6.57亿元,同比增长17.12%。 营收

    2024年04月25日
    浏览(44)
  • “讯飞星火”大模型计划10月底赶超ChatGPT

    ✍创作者:全栈弄潮儿 🏡 个人主页: 全栈弄潮儿的个人主页 🏙️ 个人社区,欢迎你的加入:全栈弄潮儿的个人社区 📙 专栏地址:AI大模型 5月6日,讯飞星火认知大模型成果发布会在安徽合肥举行。科大讯飞董事长刘庆峰、研究院院长刘聪发布讯飞星火认知大模型,现场

    2024年02月04日
    浏览(55)
  • 科大讯飞星火认知大模型是真能打

    5月6日,科大讯飞正式发布星火认知大模型。 先进的技术,出色的表现,直击产业痛点的商业应用,让人们再次认识了科大讯飞的强大。当然,星火认知大模型也是真能打。 01 火爆的大模型 2022年11月,人工智能公司OpenAI推出的生成式机器人ChatGPT发布后短时间便火遍全球,成

    2024年02月05日
    浏览(55)
  • 大比拼:讯飞星火大模型将超越ChatGPT?

    5月6日,讯飞星火认知大模型成果发布会于合肥举办。会上,备受业界期待的“星火”认知大模型正式发布,讯飞AI学习机、讯飞听见、讯飞智能办公本、讯飞智慧驾舱、讯飞数字员工,四大行业中的五大成果同步演示,发布会全程进行实机展示,引发业界热烈反响。 当前讯

    2024年02月04日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包