如何调教一个定制化的ChatGPT私人助理,接入自家知识库

这篇具有很好参考价值的文章主要介绍了如何调教一个定制化的ChatGPT私人助理,接入自家知识库。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

大家好,欢迎来到 Crossin的编程教室 !

我在之前的文章里介绍过,如何利用 OpenAI 开放的 API,将 ChatGPT 接入自己开发的程序:

把 ChatGPT 加到你自己的程序里

当时开放的模型还是 text-davinci-003。

文章发布后没多久,gpt-3.5 的模型,也就是大家熟知的 ChatGPT,就在 API 中开放了,而且价格直接降了 10 倍,每 1000 tokens 只要 0.002 美元。

如何调教一个定制化的ChatGPT私人助理,接入自家知识库

这就使得在自家产品中接入 ChatGPT 的成本更低了。

不过还有个很严重的问题。

ChatGPT 虽然很能“聊”,但它并了解你的产品啊。就好比你把郭德纲喊来做你的客服,他也并不会比一个经过培训的客服人员做得更好。

而且 ChatGPT 还有个毛病,即使是它不知道的问题,也不会老老实实承认自己不知道,而是一本正经的胡说八道。比如对于这个不存在的“Crossin跨国集团有限公司”,它也会煞有介事地进行介绍。

如何调教一个定制化的ChatGPT私人助理,接入自家知识库

于是,为了能将 ChatGPT 变成一个老实本分的客服,我进行了一番摸索。

1. 微调模型

因为在 OpenAI 开发者后台的用量记录里看到一个“Fine-tune training”(微调训练)的栏目,所以我第一反应就想到,这个接口是不是就是用来训练自己的私有模型。

如何调教一个定制化的ChatGPT私人助理,接入自家知识库

大致了解了一下,发现也确实如此,并且官方还给出了详细文档和一个完整的微调代码范例:

https://platform.openai.com/docs/guides/fine-tuning

仿照案例拿自己的一些语料做了个测试,等了大约1个半小时(主要是排队),得到了微调后的模型。

然而结果不能说是差强人意,是完全胡言乱语……

如何调教一个定制化的ChatGPT私人助理,接入自家知识库

这比之前的 text-davinci-003 还要差上一大截啊。

又经过一番搜索,了解到原来微调是在基础的 davinci 模型之上进行。换句话说,text-davinci-003 已经是经过大量数据微调后的一个模型。

所以如果要想得到一个满意的定制化模型,同样也需要大量的语料来进行训练,而且还享受不到 ChatGPT 的高质量回答。

那这不是调了个寂寞?

如何调教一个定制化的ChatGPT私人助理,接入自家知识库

2. 提示工程

此路不通,那就另辟蹊径。

ChatGPT 的 API 里支持传递对话列表,那如果我把希望 ChatGPT 了解的背景知识放在历史对话里,它不就知道了嘛?

试了下,效果符合预期。

如何调教一个定制化的ChatGPT私人助理,接入自家知识库

而且,我还可以进一步 PUA 它,让它别给我整那些有的没的,不知道就是不知道。

如何调教一个定制化的ChatGPT私人助理,接入自家知识库

看来这方法可行。

了解了一下,原来这种方法有个专门的名词,叫做提示工程(Prompt Engineering),就是通过改进提示,让 AI 能产生更加符合预期的结果。

不过,又有了新问题……

如果背景知识库比较大,比如一个公司各种产品的详细介绍,每次都把这么多内容放到 API 请求里,也还是挺耗钱的。

3. 嵌入

经过进一步调研,发现官方推荐了一种叫做“嵌入”(Embeddings)的方法来实现此类需求。并且也提供了相应的范例:

https://github.com/openai/openai-cookbook/blob/main/examples/Question_answering_using_embeddings.ipynb

简单来说就是:

  1. 通过一个 Embedding 接口,把你提供的每一条语料都分别转换成一组高维向量(1500+),并记录下来;

  2. 收到一个问题后,也通过相同接口将此问题转换成一组高维向量;

  3. 从前面记录的向量库中寻找与当前这组向量最接近的几条语料,即与问题相关度最高的背景知识;

  4. 用之前我们讲的提示工程方法,把这几条背景放入问题中,向 ChatGPT 接口请求回答。

这个方法的好处是,即使你有很多背景知识,每次请求时也只需要带上几条,花费很少的token。

而 Embedding 接口本身的费用则非常便宜,几乎可以说是免费。

如何调教一个定制化的ChatGPT私人助理,接入自家知识库

初步测试下来,发现对于最相关语料的判断还是比较准确的。

如何调教一个定制化的ChatGPT私人助理,接入自家知识库

后续我还会用更多数据做进一步尝试。

以上就是我关于如何调教一个定制化的ChatGPT私人助理,接入自家知识库的初步尝试。

如果你也有这方面的经验和疑问,欢迎留言讨论。文章来源地址https://www.toymoban.com/news/detail-498765.html

到了这里,关于如何调教一个定制化的ChatGPT私人助理,接入自家知识库的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • DevChat:你的私人助理,让工作变得如此简单!

    首先我们来浅浅说下AI吧。有小伙伴把AI看得十分“高高在上”,觉得它属于“诸神之战”,与我等凡人无关。其实这个看法是不对的。就好像我们刚开始对于手机系统或者电脑系统感觉很有陌生感一样,一直到技术落地到抖音、微信等等应用层面,才广泛普及,AI技术也是一

    2024年02月06日
    浏览(38)
  • 如何调教ChatGPT

    调教ChatGPT需要进行以下步骤: 收集语料库 首先需要准备一定量的自然语言数据,这些数据可以是文本、对话、新闻等。语料库越大,模型效果通常会越好。 数据预处理 对于收集到的原始语料库需要进行一定的预处理操作,比如去除噪声、分词、标注命名实体等操作,以方

    2023年04月26日
    浏览(35)
  • [ChatGPT]-01-chatgpt可以做什么?如何调教

    包括但不限于: 类别 描述 学术论文 它可以写各种类型的学术论文,包括科技论文、文学论文、社科论文等。它可以帮助你进行研究、分析、组织思路并编写出符合学术标准的论文。 创意写作 它可以写小说、故事、剧本、诗歌等创意性的文学作品,能够在描述情节和角色方

    2023年04月08日
    浏览(44)
  • [算法前沿]--001-chatgpt可以做什么?如何调教

    包括但不限于: 类别 描述 学术论文 它可以写各种类型的学术论文,包括科技论文、文学论文、社科论文等。它可以帮助你进行研究、分析、组织思路并编写出符合学术标准的论文。 创意写作 它可以写小说、故事、剧本、诗歌等创意性的文学作品,能够在描述情节和角色方

    2024年02月05日
    浏览(46)
  • ​从底层技术分析如何调教你的ChatGPT?

    相信很多人都已经在使用类ChatGPT的工具进行工作或者娱乐了,这里说的类ChatGPT的是指和ChatGPT相同或者相似功能的产品,包括国外的开源平替模型、百度的文心一言等,但是你真的会使用这些工具和应用吗?你使用的方法是正确的吗? 自人工智能大规模发展以来,ChatGPT这东

    2024年02月04日
    浏览(44)
  • ChatGPT - 如何高效的调教ChatGPT (指令建构模型-LACES问题模型)

    LACES问题模型是一个更具体的提问prompts构建方法。它包括以下五个要素: 为问题或指令增加 限定条件 ,有助于获得更具针对性的答案。 举例: 在两分钟内,如何向一个初学者介绍人工智能? 写一段优美的散文介绍春日花开的美好景象,200字以上 请在 100 字内解释 CRISPR 基

    2023年04月25日
    浏览(63)
  • 假期充电,用阿里云 Serverless K8s + AIGC 搭建私人代码助理

    AI 技术正在引领科技创新浪潮,随着 ChatGPT 和 Midjourney 的走红,AIGC 技术正在世界范围内掀起一股 AI 技术浪潮。开源领域也涌现了许多类似模型,如 FastGPT、Moss、Stable Diffusion 等。这些模型展现出的惊人效果吸引企业和开发者们投身其中,但是复杂繁琐的部署方式成为了拦路

    2024年02月09日
    浏览(49)
  • 如何调教让chatgpt读取自己的数据文件(保姆级图文教程)

    提示:如何调教让chatgpt读取自己的数据文件(保姆级图文教程) chatgpt提示不能读取我们提供的数据文件,我们应该对它进行调教。 让chatgpt读取自己投喂的数据,然后帮忙分析。这时候我们需要通过调教对话让他主动读取自己的数据,具体步骤如下。 1.先说明目的 2.让他提供方

    2024年02月13日
    浏览(49)
  • ChatGPT在智能虚拟助理和个人助手中的应用如何?

    ChatGPT在智能虚拟助理和个人助手中的应用正日益深入人心,成为人们日常生活和工作中的重要帮手。作为一种先进的自然语言处理技术,ChatGPT能够模拟人类对话、理解用户需求并提供有益信息,从而在智能虚拟助理和个人助手领域发挥着重要作用。本文将详细探讨ChatGPT在这

    2024年02月11日
    浏览(48)
  • 【一分钟学会】用python做一个语音对话ChatGPT的程序——打造私人语音助手

            本项目灵感来源是我的一个专业课程设计,当时耗时近四天在网上都没找到十分有用的信息。         以下是本项目完整的步骤流程,算是对自己工作的一个阶段性总结。希望同感兴趣的小伙伴们相互探讨、交流和学习。 一、准备工作         首先,需要准备①

    2024年02月11日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包