如何配置openai的返回Stream数据并转发到h5页面按markdown格式流式输出

这篇具有很好参考价值的文章主要介绍了如何配置openai的返回Stream数据并转发到h5页面按markdown格式流式输出。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

如何配置openai返回数据,保持流式输出,可以分段加载

可以使用OpenAI API的stream参数来实现流式输出,并且可以使用max_tokens参数控制每次返回数据的长度。 以下是一个示例代码,演示如何使用OpenAI API来实现流式输出并分段加载:

python 
import openai
# 连接 OpenAI API openai.api_key = "YOUR_API_KEY" 
# 设置 OpenAI API 参数 
model_engine = "davinci" 
# 模型引擎 
prompt = "你好,我需要帮助进行自然语言处理任务。" # 请求语句 
temperature = 0.5 # 温度参数 
max_tokens = 100 # 每次最大输出长度 # 获取 OpenAI 返回数据 
completions = openai.Completion.create( engine=model_engine, prompt=prompt, temperature=temperature, max_tokens=max_tokens, n=1, stream=True ) # 分段获取数据 
for i, text in enumerate(iter(completions.choices), start=1): 
print(f"============== 第 {i} 段输出 ==============") 
print(text.text)

在这个示例中,我们将stream参数设置为True,这样OpenAI API将会实时地将数据传输回调用方,并且将返回一个生成器对象(iter(completions.choices)),使得我们可以逐段获取数据并打印出来。 同时,我们使用max_tokens参数来控制每次返回的数据长度,这样也可以有效的避免返回数据过长导致内存不足的问题。 注意,这里的YOUR_API_KEY需要替换为您在OpenAI申请的API密钥。【请求时间:14秒】

openai 返回stream流,是UDP还是TCP,接收stream数据代码DEMO

OpenAI GPT-3 API 返回的是 HTTPS 流,使用的是 TCP 协议。
如果您需要处理从 OpenAI GPT-3 API 返回的数据流,您可以使用 Python 中的 requests 库来处理它。
以下是一个可以接收并处理由 OpenAI GPT-3 API 返回的数据流的示例代码:

python 
import requests 
def process_stream(stream): 
for line in stream.iter_lines(): 
	if line: # 处理返回的数据 
		print(line.decode('utf-8')) # 发起 API 请求并处理返回的数据流 
		response = requests.post(url, headers=headers, data=data, stream=True) 
		process_stream(response.iter_lines()) 

在上面的代码中,我们使用 requests.post 方法发起了一个带有 stream=True 参数的 POST 请求,并将响应保存到 response 变量中。接着,我们调用 process_stream 函数来处理从 API 返回的数据流。在 process_stream 函数中,我们使用 iter_lines 迭代器来逐行处理数据流,并将每行转换为 UTF-8 编码字符串。在这个简单的示例中,我们只是将数据打印到控制台上,但您可以根据实际需求来编写相应的逻辑来处理数据。

接收stream数据的PHP代码示例如下:

php 
<?php $ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, 'STREAM_URL'); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_WRITEFUNCTION, function($curl, $data) 
{ // 处理获得的数据
 echo $data; 
 return strlen($data); }); 
 curl_exec($ch);
  curl_close($ch); ?> 

其中,STREAM_URL 代表 OpenAI 的 stream URL 地址。这段代码会将数据逐步地写到屏幕上。
相应的,接收stream数据的Java代码示例如下:

 java
import java.net.*; 
import java.io.*; 
public class StreamReceiver { 
	public static void main(String[] args) throws Exception 
		{ URL streamURL = new URL("STREAM_URL"); 
		try (
			BufferedReader reader = new BufferedReader( new InputStreamReader(streamURL.openStream()))) 
				{ String line; 
					while ((line = reader.readLine()) != null) 
					{ // 处理获得的数据 System.out.println(line); 
					}
				} 
		 } 
 } 

同样的,STREAM_URL 代表 OpenAI 的 stream URL 地址。这段代码会将数据逐步地输出到命令行界面上

PHP代码示例:

<?php // 请求OpenAI接口获取stream数据,并转发到H5页面端 
$openAIUrl = 'https://api.openai.com/v1/engines/davinci-codex/completions'; $headers = array( 'Content-Type: application/json', 'Authorization: Bearer <YOUR_API_KEY>' ); 
$data = array( 'prompt' => 'Hello, world!', 'max_tokens' => 5, 'temperature' => 0.7 ); 
$ch = curl_init(); 
curl_setopt($ch, CURLOPT_URL, $openAIUrl); 
curl_setopt($ch, CURLOPT_POST, true); 
curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($data)); 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
$output = fopen('php://output', 'w'); 
curl_setopt($ch, CURLOPT_WRITEFUNCTION, function ($ch, $chunk) use ($output) { fwrite($output, $chunk); 
return strlen($chunk); }); 
curl_exec($ch); 
fclose($output); // 将stream数据转发给H5页面端 
header('Content-Type: text/event-stream'); 
header('Cache-Control: no-cache'); 
header('Connection: keep-alive'); 
header('Access-Control-Allow-Origin: *'); 
fpassthru($output); 

Java代码示例:

import java.io.IOException; 
import java.io.InputStream; 
import java.io.OutputStream; 
import java.net.HttpURLConnection; 
import java.net.URL; 
import java.util.concurrent.ExecutorService; 
import java.util.concurrent.Executors; 
import javax.servlet.AsyncContext; 
import javax.servlet.ServletException; 
import javax.servlet.annotation.WebServlet; 
import javax.servlet.http.HttpServlet; 
import javax.servlet.http.HttpServletRequest; 
import javax.servlet.http.HttpServletResponse; 
@WebServlet(asyncSupported = true, urlPatterns = {"/stream"}) 
public class StreamServlet extends HttpServlet 
{ 
private static final ExecutorService executor = Executors.newCachedThreadPool(); 
@Override 
protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { 
// 创建异步上下文 
AsyncContext asyncContext = request.startAsync(); // 提交任务到线程池
 executor.submit(() -> { try { 
// 请求OpenAI接口获取stream数据 
URL url = new URL("https://api.openai.com/v1/engines/davinci-codex/completions"); 
HttpURLConnection conn = (HttpURLConnection) url.openConnection(); 
conn.setRequestMethod("POST"); 
conn.setRequestProperty("Content-Type", "application/json"); 
conn.setRequestProperty("Authorization", "Bearer <YOUR_API_KEY>"); conn.setDoOutput(true); 
OutputStream out = conn.getOutputStream(); 
out.write("{\"prompt\": \"Hello, world!\", \"max_tokens\": 5, \"temperature\": 0.7}".getBytes());
 out.flush(); 
out.close(); 
InputStream in = conn.getInputStream(); 
response.setContentType("text/event-stream"); 
response.setHeader("Cache-Control", "no-cache"); 
response.setHeader("Connection", "keep-alive"); 
response.setHeader("Access-Control-Allow-Origin", "*"); 
byte[] buffer = new byte[1024];
int count;
while ((count = in.read(buffer)) != -1) { 
// 将stream数据转发给H5页面端 
OutputStream outputStream = asyncContext.getResponse().getOutputStream(); 
String data = new String(buffer, 0, count); 
outputStream.write(("data: " + data + "\n\n").getBytes()); 
outputStream.flush(); } in.close(); } 
catch (IOException e) { e.printStackTrace(); } 
finally { asyncContext.complete(); } }); } } 

Python代码示例:

import requests from flask 
import Flask, Response app = Flask(__name__) @app.route('/stream') 
def stream(): # 请求OpenAI接口获取stream数据 
url = 'https://api.openai.com/v1/engines/davinci-codex/completions' 
headers = { 'Content-Type': 'application/json', 'Authorization': 'Bearer <YOUR_API_KEY>' } 
data = { 'prompt': 'Hello, world!', 'max_tokens': 5, 'temperature': 0.7 } res = requests.post(url, headers=headers, json=data, stream=True) 
# 将stream数据转发给H5页面端 
def generate(): 
for chunk in res.iter_content(chunk_size=1024): 
if chunk: yield 'data: ' + chunk.decode() + '\n\n' 
return Response(generate(), mimetype='text/event-stream', headers={ 'Cache-Control': 'no-cache', 'Connection': 'keep-alive', 'Access-Control-Allow-Origin': '*' }) 
if __name__ == '__main__': 
app.run() 

注意:以上代码仅供参考,具体实现需要根据自己的业务需求进行适当修改。

如何让前端Html能显示mardown格式

要在前端HTML中显示Markdown格式,您可以使用一个叫做Markdown解析器的库或工具。下面是一个简单的例子:
1.首先,通过CDN或将其下载到本地文件夹中,引入一个Markdown解析器库,比如marked.js。

 html <script src="https://cdn.jsdelivr.net/npm/marked/marked.min.js"></script> 
  1. 在页面上添加一个textarea标签用于输入Markdown格式的文本,添加一个div标签用于显示解析后的HTML内容。
javascripthtml <textarea id="mdInput"></textarea> <div id="htmlOutput"></div> 
  1. 在JavaScript中获取textarea的值,将其传递给Markdown解析器,并将输出的HTML代码插入到div中。
javascript 
var markdown = document.getElementById('mdInput').value; 
var html = marked(markdown); 
document.getElementById('htmlOutput').innerHTML = html; 

这样就可以在浏览器中显示Markdown格式的文本了。

类似于ChatGPT网站使用Node.js中的流(Stream)处理技术将输出转换成markdown格式。
流是一种在处理大量数据时很有用的技术,它允许以逐块的方式处理数据而不必等待加载整个数据集。 在ChatGPT网站中,可能使用了类似于以下代码的方法来将输出流转换为markdown格式:

 javascript 
 const markdown = require('markdown').markdown; 
 const stream = require('stream'); 
 const outputStream = new stream.Writable({ 
 	write(chunk, encoding, callback) { 
		 const text = chunk.toString(); 
		 const markdownText = markdown.toHTML(text); 
		 process.stdout.write(markdownText); 
		 callback(); }, 
		 }); 
 // Stream output to markdown formatter 
 originalOutputStream.pipe(outputStream); 

在这个代码示例中,markdown库用于将输入的纯文本转换为Markdown格式。一个Writable可写流用于接收输出,并将其转换为Markdown格式并将其发送到标准输出流(process.stdout.write())。最后将原始输出流(originalOutputStream)连接到新的可写流(outputStream),并通过该管道输出到标准输出流。 这只是一个简单的示例,实际上,ChatGPT网站可能使用更复杂的技术来流式处理并转换输出到Markdown格式文章来源地址https://www.toymoban.com/news/detail-428346.html

到了这里,关于如何配置openai的返回Stream数据并转发到h5页面按markdown格式流式输出的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • uni-app 实现navigateBack返回修改前一页面数据(H5、APP、小程序)

    先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7 深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前! 因此收集整理了一份《2024年最新Web前端全套学习资料》,

    2024年04月29日
    浏览(61)
  • 【涨粉秘籍】如何快速涨粉并转化为铁粉。

    🏘️🏘️个人简介:以山河作礼。 🎖️🎖️: Python领域新星创作者,CSDN实力新星认证,阿里云社区专家博主,CSDN内容合伙人。 🎁🎁:Web全栈开发专栏:《Web全栈开发》免费专栏,欢迎阅读! 🎁🎁: 文章末尾扫描二维码可以加入粉丝交流群,不定期免费送书。 📜在这个

    2024年02月11日
    浏览(42)
  • ChatGPT流式传输(stream=True)的实现-OpenAI API 流式传输

    默认情况下,当请求OpenAI的API时,整个响应将在生成后一次性发送回来。如果需要的响应比较复杂,就会需要很长时间来等待响应。 为了更快地获得响应,可以在请求API时选择“流式传输”。 要使用流式传输,调用API时设置 stream=True 。这将返回一个对象,以 data-only server-

    2024年02月08日
    浏览(71)
  • 监听H5浏览器返回事件,解决监听webviewH5返回事件,触发H5给小程序传参(亲测有效)

    在浏览器中,会有点击返回、后退、上一页等按钮实现自己的关闭页面、调整到指定页面、确认离开页面或执行一些其它操作的需求。可以使用 popstate 事件进行监听返回、后退、上一页操作。 1.window.history.back(),后退 2.window.history.forward(),前进 3.window.history.go(num),前进或后

    2024年02月16日
    浏览(38)
  • java 使用stream累加对象中某个属性的值并返回总和

    假设有一个包含对象的List列表,每个对象都有一个属性value,可以使用Java 8中的Stream流来累加对象中某个属性的值并返回总和。以下是一些可能的实现方法: 1、使用reduce方法: 这里使用了mapToInt方法将每个对象转换为其value属性的值,然后使用reduce方法将这些值累加起来。

    2024年02月11日
    浏览(81)
  • OpenAI ChatGPT API + FaskAPI SSE Stream 流式周转技术 以及前端Fetch 流式请求获取案例

    这篇文章当时写得比较匆忙,这里进行一下更深入的补充 SSE 技术不是什么新鲜东西,就是一个 HTTP 请求和响应,关键就是响应这个环节,原始的响应都是一次性的,普通的响应是这样的: Nginx 是一个静态服务器,所谓静态服务器,就是将一个静态文件按照大小不同情况选择

    2024年02月08日
    浏览(51)
  • uniapp H5 navigateBack无法返回上一层级

    项目场景: 提交表单后需要返回上一级 原因分析: H5在PC端打开,当前页面重新加载的情况下,出现navigateBack不能返回,由于H5端页面刷新后返回页面栈会消失

    2024年02月08日
    浏览(38)
  • 小程序内嵌H5页面监听小程序的返回事件

    因为业务上有需求,在开发小程序的时候有些页面要使用web-view组件嵌套H5页面 有个页面内有个表单,在表单内容还为填写完成的时候,监听用户点击左上角返回事件,弹出一个提示框,因为H5页面在小程序中的层级很高,所以弹出提示框只能在H5页面内完成,因此要在H5页面

    2024年02月11日
    浏览(45)
  • form表单提交数据如何拿到返回值

    使用form表单提交参数的时候,是依据input框里面的name值传给后端的,只需在form节点添加action以及提交方式就可以调通前后端。但是这种直接的操作是不能够判断接口是否调通的,是拿不到返回值的。这就意味着不能够做对应的操作。 1:引入jquery.form.js的插件,这是一个jqu

    2024年02月06日
    浏览(75)
  • 【vue2】前端实现下载后端返回的application/octet-stream文件流

    1、下载csv/txt时 此时无须修改接口的响应格式 2、下载Excel时,需要修改一下接口的响应格式为blob 另

    2024年02月11日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包