使用SSE技术调用OPENAI接口并实现流式输出,用PHP语言实现

这篇具有很好参考价值的文章主要介绍了使用SSE技术调用OPENAI接口并实现流式输出,用PHP语言实现。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

作为AI语言模型服务提供商,OpenAI 提供了一系列的 API 接口,其中大部分需要通过 HTTP 请求访问。对于大量数据的请求,传统的同步请求会导致网络响应变慢,无法满足实时数据处理和分析的需求。因此,为了优化这些接口的调用效率,我们可以利用 SSE(Server Sent Events) 技术来实现流式输出,保证数据能够实时到达客户端,提高数据处理效率。

在 PHP 语言中,我们可以借助 GuzzleHttp Library 以及 ReactPHP Library 等工具库,通过 SSE 技术来实现 OpenAI 的 API 接口的调用和流式输出。以下是具体的代码实现:

use GuzzleHttp\Client;
use GuzzleHttp\Event\CompleteEvent;
use GuzzleHttp\Event\MessageCompleteEvent;
use GuzzleHttp\Message\Response;
use GuzzleHttp\Stream\Stream;
use React\EventLoop\Factory as EventLoopFactory;
use React\EventLoop\LoopInterface;

$openaiAccessToken = 'YOUR_OPENAI_ACCESS_TOKEN'; // 请替换为真实的 Access Token,可以去chat.xingtupai.com获取

function openaiApiRequestWithSse($query): void
{
    global $openaiAccessToken;

    $loop = EventLoopFactory::create();
    $client = new Client();
    $request = $client->createRequest('POST', 'https://api.openai.com/v1/engines/davinci-codex/completions');
    $request->setHeader('Content-Type', 'application/json');
    $request->setHeader('Authorization', "Bearer {$openaiAccessToken}");
    $request->setBody(Stream::factory(json_encode($query)));

    $client->send($request)->then(function (Response $response) use ($loop) {
        echo 'data: ';

        $stream = $response->getBody()->detach();
        stream_set_blocking($stream, false);

        $loop->addReadStream($stream, function ($stream, LoopInterface $loop) {
            $data = '';

            while ($buffer = fgets($stream, 2048)) {
                $event = new MessageCompleteEvent(
                    new CompleteEvent(),
                    $response = new Response(200),
                    Stream::factory($buffer)
                );

                $data .= $buffer;

                if (strpos($buffer, "\n\n") !== false) {
                    $loop->removeReadStream($stream);

                    $event->response = new Response(200, [], Stream::factory($data));

                    echo $data . PHP_EOL;
                    break;
                }
            }
        });
    });

    $loop->run();
}

让我们详细解释上述代码。首先,我们初始化了一个 Guzzle HTTP 客户端,然后创建了一个 OpenAI 的 API 请求。接下来,请求中我们设置了请求头 Authorization,将 OpenAI 提供的 Access Token 传递过去,确保我们有 API 访问权限。然后,我们讲请求体中的查询条件 JSON 序列化,并将请求正文体设置为序列化的 JSON 字符串,以用于后续的请求。

接下来,我们发送了这个请求,然后对从 OpenAI 返回的响应流(response stream)进行了处理。注意到在这里我们设置了对响应流的事件监听,以便解析响应结果并实现流式输出。具体来说,我们调用了 EventLoop 的 addReadStream 方法,将 OpenAI 的响应流和响应流监听函数参数一起传递到事件循环中。在事件循环中,我们通过循环和 fgets 函数,获取响应流中的数据并按行读取。然后我们用一个 while 循环判断读取到的数据是否包含了两个换行符,如果数据中包含两个换行符,则说明当前这段数据已经读取完毕,并组成了一条完整的数据结果。于是,我们调用了 EventLoop 的 removeReadStream 方法,将当前这个响应流的监听从事件循环中移除。最后,我们输出了当前这个响应数据结果。

通过上述的代码实现,我们就可以轻松地将 OpenAI 的 API 接口进行 SSE 调用,实现流式输出,并有效提高数据处理效率。
 文章来源地址https://www.toymoban.com/news/detail-504540.html

到了这里,关于使用SSE技术调用OPENAI接口并实现流式输出,用PHP语言实现的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • chatGPT流式输出前端实现fetch、SSE、websocket

    fetch 本身不直接支持流式输出,但你可以使用 ReadableStream 和 TextDecoder 等 Web Streams API 来实现类似的效果。 在 SSE 中,浏览器通过发送 HTTP GET 请求到服务器上特定的 SSE 端点(endpoint),然后服务器通过该连接发送事件(event)和相关数据到客户端,故SSE 主要使用 GET 请求。E

    2024年02月04日
    浏览(36)
  • chatgpt 逐字输出 使用fetch/eventSource/fetchEventSouce进行sse流式处理

    前端使用vue 先贴最后成功使用的 使用fetchEventSource方法 参考代码:https://blog.csdn.net/cuiyuchen111/article/details/129468291 参考/下载文档:https://www.npmjs.com/package/@microsoft/fetch-event-source?activeTab=readme 以下为后端接口要求 前端代码 遇到的问题: 1.只调用一次事件 但fetch请求发送了两次或

    2024年02月07日
    浏览(35)
  • Server-Sent Events(SSE) 入门、原理、介绍、类ChatGpt流式输出实现

    一、引言 在现代Web应用程序中,实时数据传输和实时通信变得越来越重要。为了实现这种实时通信,多种技术应运而生,如WebSocket、长轮询和Server-Sent Events(SSE)。在本文中,我们将重点探讨Server-Sent Events,一种基于HTTP的实时通信协议。 二、技术背景 Server-Sent Events(SSE)它

    2024年02月08日
    浏览(44)
  • PHP实现chatGPT流式输出代码,OpenAI对接,支持GPT3.5/GPT4

     源码下载地址:https://gitee.com/haoyachengge/chatgpt-speed.git 本文是sse实现方式,非常的简单。当然也可以用websocket方式实现,我也会继续更新

    2024年02月14日
    浏览(33)
  • 使用OkHttp流式请求OpenAI API(GPT API)接口

    因为 GPT 流式请求的出色交互体验,我们打算做一个开源基础应用,方便开发者快速集成项目。 本应用集成 ChatGPT API,使用模型为 gpt-3.5-turbo,项目代码为 Kotlin 语言开发的安卓应用。 人机交互的趋势已经到来,本应用框架也希望能帮助更多开发者快速集成 ChatGPT 体验到人机

    2024年02月11日
    浏览(34)
  • Java-基于okhttp请求SSE接口流式返回

    最近在开发跟大模型相关的业务,需要用java去请求大模型的对话接口并支持流式的返回,变用到了sse接口。首先介绍一下什么是SSE,SSE ( Server-sent Events )是 WebSocket 的一种轻量代替方案,使用 HTTP 协议。 严格地说,HTTP 协议是没有办法做服务器推送的,但是当服务器向客户

    2024年01月19日
    浏览(39)
  • Java调用GPT实现可连续对话和流式输出

    源码及更详细的介绍说明参见Git上的 README.md 文档 https://github.com/asleepyfish/chatgpt 本文Demo(SpringBoot和Main方法Demo均包括)的Git地址:https://github.com/asleepyfish/chatgpt-demo 流式输出结合Vue前端的Demo的Git地址:https://github.com/asleepyfish/chatgpt-vue 后续使用方法和api版本更新均在Github的READM

    2024年02月09日
    浏览(30)
  • Java调用ChatGPT(基于SpringBoot和Vue)实现可连续对话和流式输出

    源码及更详细的介绍说明参见Git上的 README.md 文档 https://github.com/asleepyfish/chatgpt 本文Demo(SpringBoot和Main方法Demo均包括)的Git地址:https://github.com/asleepyfish/chatgpt-demo 流式输出结合Vue前端的Demo的Git地址:https://github.com/asleepyfish/chatgpt-vue 后续使用方法和api版本更新均在Github的READM

    2024年02月09日
    浏览(42)
  • 在springboot项目中调用通义千问api多轮对话并实现流式输出

    阿里灵积提供了详细的官方文档 官方文档中提到只需要把每轮对话中返回结果添加到消息管理器中,就可以实现多轮对话。本质上就是将历史对话再次发送给接口。 官方文档中提出使用streamCall()方法就可以实现流式输出,在 ResultCallbackGenerationResult 参数中可以指点每个事件的

    2024年04月12日
    浏览(41)
  • 【AI大模型应用开发】【LangChain系列】9. 实用技巧:大模型的流式输出在 OpenAI 和 LangChain 中的使用

    大家好,我是同学小张,日常分享AI知识和实战案例 欢迎 点赞 + 关注 👏, 持续学习 , 持续干货输出 。 +v: jasper_8017 一起交流💬,一起进步💪。 微信公众号也可搜【同学小张】 🙏 本站文章一览: 当大模型的返回文字非常多时,返回完整的结果会耗费比较长的时间。如果

    2024年04月09日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包