工作内容，不对外开放
场景：
用户使用gpt时会消耗token，我们要求能够在某个地方配置gpt限额，gpt限额有全局限额也有个人配置的限额，
先配置一个默认的全局的限额（所有用户gpt3.5每个月不能超过1000，每天不能超过500，每个小时不能超过100），
用户可以配置用户的限额（该用户gpt3.5每个月不能超过900，每天不能超过400，每个小时不能超过900），
用户配置了限额就不使用默认的限额了，限额还能配置生效时间比如明天开始生效。
gpt网关要拦截/v2p/rest/invoke/openai接口，然后比较限额，如果用户没有额度了，就拦截该请求，否则放行。
已知网关不能操作数据库，所以只能用redis比对，网关处比对限额发现该请求可以放行时，先放行，然后拦截响应获取该请求又消耗了30个token，然后网关处就需要发送一个redis队列让gpt服务端去更新token使用量。
怎么做？redis中怎么存？
首先，用户配置的配额和生效时间肯定要存到redis中
①redis的key:“hgpt:token_quota:config:” + userId; （userId就是用户id）
②redis的value:一段Json（包含生效时间+配额）文章来源：https://www.toymoban.com/news/detail-450880.html
文章来源地址https://www.toymoban.com/news/detail-450880.html
到了这里，关于gpt接口新增配额控制的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
