提示工程的前世今生

这篇具有很好参考价值的文章主要介绍了提示工程的前世今生。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

原文链接:芝士AI吃鱼

通过提示进行情境学习

在生物学中,涌现是一种令人难以置信的特性,由于相互作用的结果,各个部分聚集在一起,表现出新的行为(称为涌现),这是你在较小的尺度上看不到的。更令人难以置信的是,即使较小比例的版本看起来与较大比例相似,但事实上较大比例由更多部分和交互组成,它最终表现出一组完全不同的行为。

这一切都始于以无人监督的方式训练这些人工智能模型的能力。事实上,无监督学习一直是这场人工智能革命的关键原则之一,它阻碍了过去几年人工智能的进步。

2017 年之前,大多数人工智能都是通过小型结构化数据集利用监督学习来工作,这可以在非常狭窄的任务上训练机器学习模型。2017 年之后,随着一种名为 Transformer 的新架构的出现,情况开始发生变化。

这种新架构可以与无监督学习方法一起使用。机器学习模型可以在非常大的非结构化数据集上进行预训练,目标函数非常简单:文本到文本预测。

令人兴奋的方面是,机器学习模型为了学习如何正确执行文本到文本的预测(这可能看起来非常简单的任务),开始学习围绕数据的一系列模式和启发式方法它接受过训练。

这使得机器学习模型能够学习各种各样的任务。

大型语言模型不再尝试执行单个任务,而是开始从数据中推断模式,并在执行新任务时重新使用这些模式。

这是一场核心革命。另外,随着GPT-3论文的出现,另一个转折点是能够提示这些模型。

简而言之,它使这些模型能够通过自然语言指令进一步学习用户的上下文,这可能会极大地改变模型的输出。

这另一个方面也是新兴的,因为没有人明确要求这一点。因此,这就是我们通过提示作为当前机器学习模型的核心、新兴属性来获得上下文学习的方式。

了解提示工程

提示工程是当前人工智能范式的一个关键的、新兴的属性。

提示工程的前世今生,Prompt,Prompt engineer,AGI,ChatGPT,提示工程

Prompt Engineering 最有趣的方面之一是它作为扩展 Transformer 架构以训练大型语言模型的新兴属性而出现。

就像你表达的愿望可能会反对你一样,当你提示机器时,你表达它需要做什么的方式可以极大地改变输出。

最有趣的部分是什么?提示并不是人工智能专家开发的功能。这是一个新兴的特征。简而言之,通过开发这些巨大的机器学习模型,提示成为让机器执行输入的方式。没有人要求这样做;就这样发生了!

在 2021 年的一篇论文中,斯坦福大学的研究人员强调了基于 Transformer 的模型如何成为基础模型。

提示工程的前世今生,Prompt,Prompt engineer,AGI,ChatGPT,提示工程

正如同一篇论文中所解释的:

人工智能的故事一直是一个不断涌现和同质化的故事。随着机器学习的引入,任务的执行方式从示例中浮现(自动推断);通过深度学习,用于预测的高级特征出现;通过基础模型,甚至可以出现情境学习等高级功能。同时,机器学习使学习算法同质化(例如逻辑回归),深度学习使模型架构同质化(例如卷积神经网络),基础模型使模型本身同质化(例如GPT-3)。

提示工程是人工智能中使用的一个过程,其中一个或多个任务被转换为基于提示的数据集,然后训练语言模型进行学习。

从表面上看,提示工程背后的动机可能很难理解,所以让我们用一个例子来描述这个想法。

想象一下,您正在建立一个在线食品配送平台,并且您拥有数千张不同蔬菜的图像可以包含在该网站上。唯一的问题是,没有任何图像元数据描述哪些蔬菜在哪些照片中。此时,你可以对图像进行繁琐的排序,并将土豆照片放入土豆文件夹中,将西兰花照片放入西兰花文件夹中,依此类推。

你还可以通过分类器运行所有图像,以更轻松地对它们进行排序,但是,正如您发现的那样,训练分类器模型仍然需要标记数据。 使用提示工程,你可以编写你认为会产生最佳图像分类结果的基于文本的提示。

例如,可以告诉模型显示“包含土豆的图像”。该提示的结构——或者定义模型如何识别图像的语句——是提示工程的基础。 写出最好的提示通常需要反复试验。事实上,提示“包含土豆的图像”与“土豆的照片”或“土豆的集合”有很大不同。

提示工程最佳实践

与大多数流程一样,输入的质量决定输出的质量。设计有效的提示可以增加模型返回有利且符合上下文的响应的可能性。编写好的提示就是理解模型“了解”世界的内容,然后相应地应用这些信息。有些人认为这类似于猜谜游戏,演员为他们的搭档提供足够的信息,以利用他们的智力找出单词或短语。

将该模型视为代表猜谜游戏中的伙伴,通过训练提示为模型提供了足够的信息来计算出模式并完成手头的任务。一次性让模型超载所有信息并中断其自然智能流是没有意义的。

快速工程和 CLIP 模型

CLIP(对比语言-图像预训练)模型由人工智能研究实验室OpenAI于2021年开发。

研究人员表示,CLIP 是“一种在各种(图像、文本)对上进行训练的神经网络。可以用自然语言指示它在给定图像的情况下预测最相关的文本片段,而无需直接优化任务,类似于 GPT-2 和 3 的零样本功能。 ”

基于神经网络 模型,CLIP 接受了超过 4 亿个图像文本对的训练,其中包含与标题匹配的图像。使用这些信息,人们可以将图像输入到模型中,模型将生成它认为最准确的标题或摘要。上面的引述还涉及到 CLIP 的零样本功能,这使得它在机器学习模型中有些特殊。

例如,大多数经过训练来识别苹果和橙子的分类器预计在对苹果和橙子进行分类时表现良好,但通常不会检测香蕉。某些型号(包括 CLIP、GPT-2 和 GPT-3)可以识别香蕉。换句话说,他们可以执行未经过明确培训的任务。这种能力被称为零样本学习。

提示工程示例

截至 2022 年,AI 模型的演变正在加速。这使得提示工程变得越来越重要。我们首先使用 GPT-3、BERT 等语言模型进行文本到文本的处理。然后我们使用 Dall-E、Imagen、MidJourney 和 StableDiffusion 进行文本到图像转换。在这个阶段,我们正在通过 Meta 的 Make-A-Video 转向文本到视频,现在 Google 正在开发自己的 Imagen Video。如今有效的人工智能模型专注于用更少的钱获得更多的东西!一个例子是 DreamFusion:使用 2D Diffusion 的文本转 3D,由 Google 研究实验室构建。

简而言之,人工智能扩散模型是生成模型,这意味着它们产生的输出与其经过训练的输出相似。根据定义,扩散模型的工作原理是向训练数据添加噪声,并通过噪声过程的逆转恢复该数据来生成输出。Google Research 的 DreamFusion 能够将文本转换为 3D 图像,而无需拥有大规模的标记 3D 数据数据集(目前不可用)。

就是这样!正如研究小组所解释的:

“使这种方法适应 3D 合成需要大规模的标记 3D 数据数据集和用于去噪 3D 数据的高效架构,而这两者目前都不存在。在这项工作中,我们通过使用预训练的 2D 文本到图像扩散模型来执行文本到 3D 合成,从而规避了这些限制。”

为什么这很重要?在二十多年来主要基于文本或基于 2D 图像的网络中,现在是时候启用增强格式,例如可以在 AR 环境中良好运行的 3D。

简而言之,想象一下您戴着 Google 的 AR 眼镜,下面的这些 AI 模型可以通过 3D 对象动态增强现实世界,从而使您能够使 AR 体验更加引人注目。

提示工程的前世今生,Prompt,Prompt engineer,AGI,ChatGPT,提示工程

与此同时,OpenAI 宣布推出 Whisper 语音转文本功能。结合起来,这些人工智能模型将创建一个多模式环境,一个人或小团队可以利用所有这些工具进行内容生成、电影制作、医学等!这意味着随着进入壁垒的消除,一些以前无法进入的行业变得更容易扩展。可以更快地测试/启动/迭代,从而使市场更快地发展。

互联网发展了近 30 年,但许多行业(从医疗保健到教育)仍然局限于旧模式。十年的人工智能可能会彻底重新洗牌。每个人工智能模型都会以相同的方式进行提示,但提示机器的方式可能非常微妙,由于提示的变化,机器可以产生许多不同的输出。

就在 2022 年 10 月:

  • Stability AI 宣布为开源人工智能提供 1.01 亿美元资金。

  • Jasper AI 是一家开发“人工智能内容”平台的初创公司,已融资 1.25 亿美元,估值为 15 亿美元。Jasper 正在收购人工智能初创公司 Outwrite,这是一家拥有超过 100 万用户的语法和风格检查器。

  • OpenAI 估值近 200 亿美元,正在与微软就更多资金进行高级谈判。

如今,通过提示,您可以生成越来越多的输出。

提示工程的前世今生,Prompt,Prompt engineer,AGI,ChatGPT,提示工程

OpenAI 的一些用例可以通过提示生成。从问答到分类器和代码生成器。人工智能通过提示实现的用例数量呈指数级增长。

另一个很酷的应用程序?您可以根据提示设计自己的鞋子:

 文章来源地址https://www.toymoban.com/news/detail-537710.html

提示工程的前世今生,Prompt,Prompt engineer,AGI,ChatGPT,提示工程

提示 DreamStudio AI 生成一双定制运动鞋。

及时的工程实例和案例研究

提示工程的前世今生,Prompt,Prompt engineer,AGI,ChatGPT,提示工程

这是一个快速的工程示例,其中包含该过程中的一些最佳实践。

ChatGPT 提示示例

代码生成

提示工程的前世今生,Prompt,Prompt engineer,AGI,ChatGPT,提示工程

内容创作

提示工程的前世今生,Prompt,Prompt engineer,AGI,ChatGPT,提示工程

数据分析

提示工程的前世今生,Prompt,Prompt engineer,AGI,ChatGPT,提示工程

教育和培训

提示工程的前世今生,Prompt,Prompt engineer,AGI,ChatGPT,提示工程

决策和解决问题

提示工程的前世今生,Prompt,Prompt engineer,AGI,ChatGPT,提示工程

要点:

  • 提示工程是一种自然语言处理 (NLP) 概念,涉及发现可产生所需或有用结果的输入。

  • 与大多数流程一样,提示工程中输入的质量决定了输出的质量。设计有效的提示可以增加模型返回有利且符合上下文的响应的可能性。

  • CLIP(对比语言-图像预训练)模型由 OpenAI 开发,是利用提示对超过 4 亿个图像-标题对中的图像和标题进行分类的模型示例。

 

到了这里,关于提示工程的前世今生的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Prompt Engineering 高级提示工程技巧

    Prompt Engineering(提示工程)是一种在自然语言处理(NLP)领域越来越受欢迎的技术。它涉及到创建和优化提示(prompts),以便从大型语言模型(如GPT-3)中获得高质量和目标导向的输出。在本教程中,我们将详细介绍一些高级提示工程技巧,帮助您更有效地利用大型语言模型

    2024年02月20日
    浏览(46)
  • Prompt Engineering 提示工程教程详情

    Prompt Engineering(提示工程)是一种在自然语言处理(NLP)领域越来越受欢迎的技术。它涉及到创建和优化提示(prompts),以便从大型语言模型(如GPT-3)中获得高质量和目标导向的输出。在本教程中,我们将详细介绍提示工程的基本概念、实践方法和一些高级技巧。 一、提示

    2024年02月20日
    浏览(40)
  • LangChain(2)提示工程 Prompt Engineering

    提示一般包含如下部分: Instructions:整体结构,模型的人设 Instructions tell the model what to do, how to use external information if provided, what to do with the query, and how to construct the output. External information:额外提供给模型的信息 External information or context(s) act as an additional source of knowledge for t

    2024年02月15日
    浏览(39)
  • AIGC初探:提示工程 Prompt Engineering

    提示工程(Prompt Engineering)是人工智能领域中的一个概念,特别是在自然语言处理(NLP)领域中。它是一种通过设计和优化输入提示来提高AI模型表现的方法。 对于基于转换器的大型语言模型(如OpenAI的GPT系列),输入提示在提高模型理解、回答问题、生成有用输出等方面具

    2024年02月03日
    浏览(41)
  • 一文读懂「Prompt Engineering」提示词工程

    在了解提示过程之前,先了解一下什么是提示prompt,见最后 附录部分 参考资料: 吴恩达《面向开发者的ChatGPT Prompt Engineering工程》 提示工程(Prompt Engingering),也被称为上下文提示(In-Context Prompting),指的是通过结构化文本等方式来完善提示词,引导LLM输出我们期望的结

    2024年02月01日
    浏览(47)
  • LLM提示词工程和提示词工程师Prompting and prompt engineering

    你输入模型的文本被称为提示,生成文本的行为被称为推断,输出文本被称为完成。用于提示的文本或可用的内存的全部量被称为上下文窗口。尽管这里的示例显示模型表现良好,但你经常会遇到模型在第一次尝试时无法产生你想要的结果的情况。你可能需要多次修改提示中

    2024年02月12日
    浏览(47)
  • 机器人提示词工程师 Robotics Prompt Engineer

    还没毕业,在校学习的各项技能都已经没用了,也别急着焦虑和忧伤,工业时代到信息时代,信息时代到智能时代,换代对每个普通人都是非常具有挑战性的,也是新一轮洗牌的开始。 机器人提示词工程师的核心竞争力包括以下四方面: 技术能力:机器人提示词工程师需要

    2024年02月08日
    浏览(46)
  • 如何驯化生成式AI,从提示工程 Prompt Engineering 开始

    胡老师语录:

    2023年04月09日
    浏览(54)
  • Prompt工程师指南[应用篇]:Prompt应用、ChatGPT|Midjouney Prompt Engineering

    主题: 与 ChatGPT 对话 Python 笔记本 Topics: ChatGPT介绍 审查对话任务 与ChatGPT对话 Python笔记本 ChatGPT介绍 ChatGPT是OpenAI训练的一种新型模型,可以进行对话交互。该模型经过训练,可以按照提示中的指令,在对话上下文中提供适当的回应。ChatGPT 可以帮助回答问题、建议菜谱、按

    2024年02月04日
    浏览(56)
  • 《ChatGPT Prompt Engineering for Developers》课程-提示词原则

    本章的主要内容为编写 Prompt 的原则,在本章中,我们将给出两个编写 Prompt 的原则与一些相关的策略,你将练习基于这两个原则来编写有效的 Prompt,从而便捷而有效地使用 LLM。 本教程使用 OpenAI 所开放的 ChatGPT API,因此你需要首先拥有一个 ChatGPT 的 API_KEY(也可以直接访问

    2024年02月03日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包