LangChain手记 Memory

这篇具有很好参考价值的文章主要介绍了LangChain手记 Memory。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

整理并翻译自DeepLearning.AI×LangChain的官方课程:Memory(源码可见)

Memory

使用open ai的API调用GPT都是单次调用,所以模型并不记得之前的对话,多轮对话的实现其实是将前面轮次的对话过程保留,在下次对话时作为输入的message数组的一部分,再将新一轮对话的提问也放入message数组,再发起一次API调用,即构手动建对话流(以上笔者注)。

构建对话流(LangChain称作对话链)可以使用LangChain提供的memory(记忆)这个组件来实现,本节就是例子:
LangChain手记 Memory,大语言模型,langchain
LangChain手记 Memory,大语言模型,langchain
设置verbose标志为true能看到完整的对话链:
LangChain手记 Memory,大语言模型,langchain
能看出LangChain的ConversationChain其实默认提供了一个提示词,该提示词简单设定了对话场景和GPT扮演的角色AI,并要求GPT在不知晓问题答案时老老实实回答不知道以杜绝幻觉现象。

继续提问第二个问题“What is 1+1”
LangChain手记 Memory,大语言模型,langchain
继续提问第三个问题“What is my name?”
LangChain手记 Memory,大语言模型,langchain
可以看到,对话历史不断累积,输入也变得越来越长

memory.buffer内存储了所有的对话历史,不含输入提示词的其他部分。
LangChain手记 Memory,大语言模型,langchain
使用memoryload_memory_variables()方法可以看到,memory维护一个变量字典,其中有一个名为history的变量存储了对话历史。
LangChain手记 Memory,大语言模型,langchain
可以直接使用memorysave_context方法构建对话历史(笔者注:此时对话历史中AI的回答是人为指定的,不是真实的GPT回复,这里是为了演示,实际使用时不推荐这么做,GPT的真实回复可能和指定的不同,并没有完全使用GPT)。
LangChain手记 Memory,大语言模型,langchain
LangChain手记 Memory,大语言模型,langchain

Memory(记忆)

LangChain手记 Memory,大语言模型,langchain
大语言模型是无状态的

  • 每一个对话都是独立的
    对话机器人表现出记忆能力其实是因为实现的时候将整个对话作为上下文输入给了大语言模型

LangChain提供了多种类型的memory来存储和累积对话。

ConversationBufferWindowMemory可以指定memory的的缓存大小(以对话轮数为单位):
LangChain手记 Memory,大语言模型,langchain
k=1仅存储一轮对话作为历史,上上轮对话将会丢失:
LangChain手记 Memory,大语言模型,langchain
ConversationTokenBufferMemory可以指定memory的token数量(笔者注:这个比较实用,因为GPT有最大token数限制,同时也是按token数计费的)。
LangChain手记 Memory,大语言模型,langchain
LangChain手记 Memory,大语言模型,langchain
LangChain手记 Memory,大语言模型,langchain
ConversationSummaryBufferMemory可以将对话以摘要的形式存储:
LangChain手记 Memory,大语言模型,langchain
上图中max_token_limit=400,足够存储整个对话历史,如果我们将max_token_limit=100,将会触发以摘要形式存储对话历史来满足最大token数限制:
LangChain手记 Memory,大语言模型,langchain
尝试使用摘要对话历史提问:
LangChain手记 Memory,大语言模型,langchain
可以回答的不错,查看对话历史:
LangChain手记 Memory,大语言模型,langchain
发现LangChian将提问内容摘要在System角色里面(和GPT API的system不是同一个,但使用了同样的名称)以满足最大token数限制。

Memory类型

LangChain手记 Memory,大语言模型,langchain
ConversationBufferMemory

  • 该类型memory在一个变量中存储和提取对话信息

ConversationBufferWindowMemory

  • 该类型memory存储将随时间进行的对话交互以列表的形式存储,但仅存储k轮对话

ConversationTokenBufferMemory

  • 该类型memory存储最近的对话交互,并且使用token长度而不是对话论述来决定是否刷新对话交互历史

ConversationSummaryMemory

  • 该类型memory存储随时间进行的对话的摘要

更多memory类型

LangChain手记 Memory,大语言模型,langchain
Vector data memory(向量数据memory)

  • 在一个向量数据库中存储从对话(或者其他途径)获得的文本,查询时检索和文本最相关的块

Entity memory(实体memory)

  • 使用一个LLM,它可以记住某个实体的详细信息

可以同时使用多种memory,例:对话memory + 实体memory来回忆个人信息

也可以将对话保存在传统数据库中,比如key-value存储或者SQL。文章来源地址https://www.toymoban.com/news/detail-653787.html

到了这里,关于LangChain手记 Memory的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 自然语言处理从入门到应用——LangChain:记忆(Memory)-[记忆的类型Ⅲ]

    分类目录:《大模型从入门到应用》总目录 LangChain系列文章: 基础知识 快速入门 安装与环境配置 链(Chains)、代理(Agent:)和记忆(Memory) 快速开发聊天模型 模型(Models) 基础知识 大型语言模型(LLMs) 基础知识 LLM的异步API、自定义LLM包装器、虚假LLM和人类输入LLM(

    2024年02月13日
    浏览(37)
  • 自然语言处理从入门到应用——LangChain:记忆(Memory)-[记忆的类型Ⅰ]

    分类目录:《大模型从入门到应用》总目录 LangChain系列文章: 基础知识 快速入门 安装与环境配置 链(Chains)、代理(Agent:)和记忆(Memory) 快速开发聊天模型 模型(Models) 基础知识 大型语言模型(LLMs) 基础知识 LLM的异步API、自定义LLM包装器、虚假LLM和人类输入LLM(

    2024年02月13日
    浏览(42)
  • 自然语言处理从入门到应用——LangChain:记忆(Memory)-[记忆的类型Ⅱ]

    分类目录:《大模型从入门到应用》总目录 LangChain系列文章: 基础知识 快速入门 安装与环境配置 链(Chains)、代理(Agent:)和记忆(Memory) 快速开发聊天模型 模型(Models) 基础知识 大型语言模型(LLMs) 基础知识 LLM的异步API、自定义LLM包装器、虚假LLM和人类输入LLM(

    2024年02月13日
    浏览(50)
  • 自然语言处理从入门到应用——LangChain:记忆(Memory)-[记忆的存储与应用]

    分类目录:《大模型从入门到应用》总目录 LangChain系列文章: 基础知识 快速入门 安装与环境配置 链(Chains)、代理(Agent:)和记忆(Memory) 快速开发聊天模型 模型(Models) 基础知识 大型语言模型(LLMs) 基础知识 LLM的异步API、自定义LLM包装器、虚假LLM和人类输入LLM(

    2024年02月12日
    浏览(56)
  • LangChain手记 Overview

    整理并翻译自DeepLearning.AI×LangChain的官方课程:Overview LangChain是为大模型应用开发设计的开源框架 LangChain目前提供Python和JavaScript(TypeScript)两种语言的包 LangChain的主攻方向是聚合和模块化 核心附加值: 模块化的组件 用例:针对常见组合组件的方式提供了简单易用的模板

    2024年02月13日
    浏览(31)
  • LangChain手记 Chains

    整理并翻译自DeepLearning.AI×LangChain的官方课程:Chains(源代码可见) 直译链,表达的意思更像是对话链,对话链的背后是思维链 LLM Chain(LLM链) 首先介绍了一个最简单的例子,LLM Chain: 将一个大语言模型和prompt模板组合起来调用 LLMChain ,即可得到一个LLMChain对象,该对象的

    2024年02月12日
    浏览(81)
  • 自然语言处理从入门到应用——LangChain:记忆(Memory)-[自定义对话记忆与自定义记忆类]

    分类目录:《大模型从入门到应用》总目录 LangChain系列文章: 基础知识 快速入门 安装与环境配置 链(Chains)、代理(Agent:)和记忆(Memory) 快速开发聊天模型 模型(Models) 基础知识 大型语言模型(LLMs) 基础知识 LLM的异步API、自定义LLM包装器、虚假LLM和人类输入LLM(

    2024年02月13日
    浏览(40)
  • LangChain手记 Models,Prompts and Parsers

    整理并翻译自DeepLearning.AI×LangChain的官方课程:Models,Prompts and Parsers(源码可见) 模型:大语言模型 提示词:构建传递给模型的输入的方式 解析器:获取模型输入,转换为更为结构化的形式以在下游任务中使用 为什么使用提示词模板 提示词会非常长且具体 在可以的时候能直

    2024年02月13日
    浏览(40)
  • 【LangChain】Memory

    大多数 LLM 应用都有对话界面。对话的一个重要组成部分是能够引用对话中先前介绍的信息。至少,对话系统应该能够直接访问过去消息的某些窗口。更复杂的系统需要有一个不断更新的世界模型,这使得它能够执行诸如维护有关实体及其关系的信息之类的事情。 我们将这种

    2024年02月12日
    浏览(43)
  • 大语言模型的开发利器langchain

    最近随着chatgpt的兴起,人工智能和大语言模型又再次进入了人们的视野,不同的是这一次像是来真的,各大公司都在拼命投入,希望能在未来的AI赛道上占有一席之地。因为AI需要大规模的算力,尤其是对于大语言模型来说。大规模的算力就意味着需要大量金钱的投入。那么

    2024年02月11日
    浏览(61)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包