Ref: 【中英字幕 | P01 Introduction】2023吴恩达新课《面向开发者的提示词工程》_哔哩哔哩_bilibili
对应的笔记 ChatGPT Prompt - 知乎
本课程主要介绍指令微调LLM的最佳实践
在大型语言模型或LLM的开发中,大体上有两种类型的LLM,我将其称为Base LLM 和 Instruction Tuned LLM.下面分别进行介绍:
- Base LLM: 从互联网直接抓取了大量文本数据进行训练,可以回答一下基础的问题,可以根据已知的信息,为了回答或是续写后面的内容,例如你问“法国的首都是什么?” ,它会回答“巴黎” ,这种信息都可以从互联网中搜集得到。但其也有可能回答错误,或是不知道。
- Instruction Tuned LLM(经过指令调整后的LLM): 其根据用户输入的指令,以及回答的反馈进行优化,也就是被称为RLHF(人类反馈强化学习技术)进一步进行细化,更加符合具体的场景,还可以考虑到安全,回答的无害性,这种LLM将来更符合生产或是使用场景。
由于经过指令调整后的LLM, 其刻意被训练为有用的,无害的(无害可以理解为错误的回答以及进行不良的行为示范)模型,很多实际应用场景渐渐开始向指令调整后的LLM转移,因此,建议大多数人应该专注于经过指令调整后的LLM。
一、提示的关键原则
(一) 提示的关键原则 - 知乎
原则一:编写清晰而具体的指令
策略一:使用定界符(delimeter)分割不同的输入中的不同部分
2. 策略二:要求结构化的输出
3. 策略三:要求模型检查是否满足条件
4. 策略四:提供少量示例
原则二:给模型充足的思考时间
- 策略一:指定完成任务所需的步骤
- 策略二:指导模型得出结论前自己制定一个解决方案
- 策略三:模型的局限性
二、提示词的迭代优化
(二) 迭代优化 - 知乎
使用者需要先尝试编写提示,然后通过迭代逐步完善它,直至得到需要的结果。关键在于拥有一种有效的开发Prompt的过程,而不是知道完美的Prompt。
三、文本总结:
(三) 文本总结(summarizing) - 知乎
总结或概括是LLM中的一个较为成熟的应用,可以将其结合到应用程序中,充分发挥其功能。
四、文本推理
(四) 文本推理(inferring) - 知乎
模型接收文本作为输入并进行某种分析的任务,例如提取对应的标签,提取关键名称,理解文本的情感等。
文本推理对应的子任务有很多,让模型去做这些任务相比于传统机器学习而言,要方便很多,省去了复杂的流程,对于多个子任务,也可通过一个prompt实现。涉及到的示例有情感分类、信息抽取,主题推断。
五、文本转换
(五) 文本转换(transforming) - 知乎
- 文本翻译
- 多语种翻译
- 语气或风格的调整
- 格式转换
- 拼写和语法检查
- 综合任务
六、文本扩展文章来源:https://www.toymoban.com/news/detail-694055.html
(六) 文本扩展(Expanding) - 知乎文章来源地址https://www.toymoban.com/news/detail-694055.html
到了这里,关于吴恩达《面向开发者的提示词工程》的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!