ChatGPT实战-Embeddings打造定制化AI智能客服

这篇具有很好参考价值的文章主要介绍了ChatGPT实战-Embeddings打造定制化AI智能客服。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文介绍Embeddings的基本概念,并使用最少但完整的代码讲解Embeddings是如何使用的,帮你打造专属AI聊天机器人(智能客服),你可以拿到该代码进行修改以满足实际需求。

ChatGPT的Embeddings解决了什么问题?

如果直接问ChatGPT:What is langchain? If you do not know please do not answer.,由于ChatGPT不知道2021年9月份之后的事情,而langchain比较新,是在那之后才有的,所以ChatGPT会回答不知道:

I’m sorry, but I don’t have any information on “langchain.” It appears to be a term that is not widely recognized or used in general knowledge.

如果我们用上Embeddings,用上面的问题提问,它可以给出答案:

LangChain is a framework for developing applications powered by language models.

有了这个技术,我们就可以对自己的文档进行提问,从而拓展ChatGPT的知识范围,打造定制化的AI智能客服。例如在官网接入ChatGPT,根据网站的文档让他回答用户的问题。

Embeddings相关基本概念介绍

什么是Embeddings?

在跳进代码之前,先简要介绍一下什么是Embeddings。在介绍Embeddings之前我们需要先学习一下「向量」这个概念。

我们可以将一个事物从多个维度来描述,例如声音可以从「时域」和「频域」来描述(傅里叶变换可能很多人都听过),维度拆分的越多就越能描述一个事物,在向量空间上的接近往往意味着这两个事物有更多的联系,而向量空间又是比较好计算的,于是我们可以通过计算向量来判断事物的相似程度。
ChatGPT实战-Embeddings打造定制化AI智能客服,chatgpt,人工智能
在自然语言处理 (NLP) 的中,Embeddings是将单词或句子转换为数值向量的一种方法。这些向量捕获单词或句子的语义,使我们能够对它们执行数学运算。例如,我们可以计算两个向量之间的余弦相似度来衡量它们在语义上的相似程度。
ChatGPT实战-Embeddings打造定制化AI智能客服,chatgpt,人工智能

Embeddings使用流程讲解

如何让ChatGPT回答没有训练过的内容?流程如下,一图胜千言。
ChatGPT实战-Embeddings打造定制化AI智能客服,chatgpt,人工智能
分步解释:

  • 首先是获取本地数据的embeddings结果,由于一次embeddings调用的token数量是有限制的,先将数据进行分段然后以依次行调用获得所有数据的embeddings结果。
  • 然后我们开始提问,同样的,将提问的内容也做一次embedding,得到一个结果。
  • 再将提问的intending结果和之前所有数据的embedded结果进行距离的计算,这里的距离就是指向量之间的距离,然后我们获取距离最近的几段段数据来作为我们提问的「上下文」(例如这里找到data2/data3是和问题最相关的内容)。
  • 获得上下文之后我们开始构造真正的问题,问题会将上下文也附属在后面一并发送给chat gpt,这样它就可以回答之前不知道的问题了。

总结来说:

之所以能够让ChatGPT回答他不知道的内容,其实是因为我们把相关的上下文传递给了他,他从上下文中获取的答案。如何确定要发送哪些上下文给他,就是通过计算向量距离得到的。

embedding实战代码(python)

让我来看看实际的代码。

前置条件

  • Python 3.6 或更高版本。
  • OpenAI API 密钥,或者其他提供API服务的也可以。
  • 安装了以下 Python 软件包: requestsbeautifulsoup4pandastiktokenopenainumpy
  • 私有文本数据集。在这个示例中,使用名为 langchainintro.txt 的文本文件,这里面是langchain官网的一些文档说明,文档比较新所以ChatGPT肯定不知道,以此来测试效果。

代码:

代码来自于OpenAI官网,我做了一些改动和精简。

import os
import numpy as np
import openai
import pandas as pd
import tiktoken
from ast import literal_eval
from openai.embeddings_utils import distances_from_embeddings
import traceback

tokenizer = tiktoken.get_encoding("cl100k_base")


def get_api_key():
    return os.getenv('OPENAI_API_KEY')


def set_openai_config():
    openai.api_key = get_api_key()
    openai.api_base = "https://openai.api2d.net/v1"


def remove_newlines(serie):
    serie = serie.str.replace('\n', ' ')
    serie = serie.str.replace('\\n', ' ')
    serie = serie.str.replace('  ', ' ')
    serie = serie.str.replace('  ', ' ')
    return serie


def load_text_files(file_name):
    with open(file_name, "r", encoding="UTF-8") as f:
        text = f.read()
    return text


def prepare_directory(dir_name="processed"):
    if not os.path.exists(dir_name):
        os.mkdir(dir_name)


def split_into_many(text, max_tokens):
    # Split the text into sentences
    sentences = text.split('. ')

    # Get the number of tokens for each sentence
    n_tokens = [len(tokenizer.encode(" " + sentence)) for sentence in sentences]

    chunks = []
    tokens_so_far = 0
    chunk = []

    # Loop through the sentences and tokens joined together in a tuple
    for sentence, token in zip(sentences, n_tokens):

        # If the number of tokens so far plus the number of tokens in the current sentence is greater
        # than the max number of tokens, then add the chunk to the list of chunks and reset
        # the chunk and tokens so far
        if tokens_so_far + token > max_tokens:
            chunks.append(". ".join(chunk) + ".")
            chunk = []
            tokens_so_far = 0

        # If the number of tokens in the current sentence is greater than the max number of
        # tokens, split the sentence into smaller parts and add them to the chunk
        while token > max_tokens:
            part = sentence[:max_tokens]
            chunk.append(part)
            sentence = sentence[max_tokens:]
            token = len(tokenizer.encode(" " + sentence))

        # Otherwise, add the sentence to the chunk and add the number of tokens to the total
        chunk.append(sentence)
        tokens_so_far += token + 1

    # Add the last chunk to the list of chunks
    if chunk:
        chunks.append(". ".join(chunk) + ".")

    return chunks


def shorten_texts(df, max_tokens):
    shortened = []

    # Loop through the dataframe
    for row in df.iterrows():
        # If the text is None, go to the next row
        if row[1]['text'] is None:
            continue

        # If the number of tokens is greater than the max number of tokens, split the text into chunks
        if row[1]['n_tokens'] > max_tokens:
            shortened += split_into_many(row[1]['text'], max_tokens)

        # Otherwise, add the text to the list of shortened texts
        else:
            shortened.append(row[1]['text'])

    df = pd.DataFrame(shortened, columns=['text'])
    df['n_tokens'] = df.text.apply(lambda x: len(tokenizer.encode(x)))

    return df


def create_embeddings(df):
    df['embeddings'] = df.text.apply(
        lambda x: openai.Embedding.create(input=x, engine='text-embedding-ada-002')['data'][0]['embedding'])
    df.to_csv('processed/embeddings.csv')
    return df


def load_embeddings():
    df = pd.read_csv('processed/embeddings.csv', index_col=0)
    df['embeddings'] = df['embeddings'].apply(literal_eval).apply(np.array)
    return df


def create_context(
        question, df, max_len=1800, size="ada"
):
    """
    Create a context for a question by finding the most similar context from the dataframe
    """
    # print(f'start create_context')
    # Get the embeddings for the question
    q_embeddings = openai.Embedding.create(input=question, engine='text-embedding-ada-002')['data'][0]['embedding']
    # print(f'q_embeddings:{q_embeddings}')

    # Get the distances from the embeddings
    df['distances'] = distances_from_embeddings(q_embeddings, df['embeddings'].values, distance_metric='cosine')
    # print(f'df[distances]:{df["distances"]}')

    returns = []
    cur_len = 0

    # Sort by distance and add the text to the context until the context is too long
    for i, row in df.sort_values('distances', ascending=True).iterrows():
        # print(f'i:{i}, row:{row}')
        # Add the length of the text to the current length
        cur_len += row['n_tokens'] + 4

        # If the context is too long, break
        if cur_len > max_len:
            break

        # Else add it to the text that is being returned
        returns.append(row["text"])

    # Return the context
    return "\n\n###\n\n".join(returns)


def answer_question(
        df,
        model="text-davinci-003",
        question="Am I allowed to publish model outputs to Twitter, without a human review?",
        max_len=1800,
        size="ada",
        debug=False,
        max_tokens=150,
        stop_sequence=None
):
    """
    Answer a question based on the most similar context from the dataframe texts
    """
    context = create_context(
        question,
        df,
        max_len=max_len,
        size=size,
    )
    # If debug, print the raw model response
    if debug:
        print("Context:\n" + context)
        print("\n\n")

    prompt = f"Answer the question based on the context below, \n\nContext: {context}\n\n---\n\nQuestion: {question}\nAnswer:"
    messages = [
        {
            'role': 'user',
            'content': prompt
        }
    ]
    try:
        # Create a completions using the questin and context
        response = openai.ChatCompletion.create(
            messages=messages,
            temperature=0,
            max_tokens=max_tokens,
            stop=stop_sequence,
            model=model,
        )
        return response["choices"][0]["message"]["content"]
    except Exception as e:
        # print stack
        traceback.print_exc()
        print(e)
        return ""


def main():
    # 设置API key
    set_openai_config()

    # 载入本地数据
    texts = []
    text = load_text_files("langchainintro.txt")
    texts.append(('langchainintro', text))
    prepare_directory("processed")

    # 创建一个dataframe,包含fname和text两列
    df = pd.DataFrame(texts, columns=['fname', 'text'])
    df['text'] = df.fname + ". " + remove_newlines(df.text)
    df.to_csv('processed/scraped.csv')

    # 计算token数量
    df.columns = ['title', 'text']
    df['n_tokens'] = df.text.apply(lambda x: len(tokenizer.encode(x)))
    # print(f'{df}')
    df = shorten_texts(df, 500)

    # 如果processed/embeddings.csv已经存在,直接load,不存在则create
    if os.path.exists('processed/embeddings.csv'):
        df = load_embeddings()
    else:
        df = create_embeddings(df)

    print(f"What is langchain? If you do not know please do not answer.")
    ans = answer_question(df, model='gpt-3.5-turbo', question="What is langchain? If you do not know please do not answer.", debug=False)
    print(f'ans:{ans}')


if __name__ == '__main__':
    main()

代码流程与时序图的流程基本一致,注意api_key需要放入环境变量,也可以自己改动。

如果直接问ChatGPT:What is langchain? If you do not know please do not answer.,ChatGPT会回答不知道:

I’m sorry, but I don’t have any information on “langchain.” It appears to be a term that is not widely recognized or used in general knowledge.

运行上面的代码,它可以给出答案:

LangChain is a framework for developing applications powered by language models.

可以看到它使用了我们提供的文档来回答。文章来源地址https://www.toymoban.com/news/detail-742970.html

拓展

  • 注意token消耗,如果你的本地数据非常多,embedding阶段将会消耗非常多的token,请注意使用。
  • embedding阶段仍然会将本地数据传给ChatGPT,如果你有隐私需求,需要注意。
  • 一般生产环境会将向量结果存入「向量数据库」而不是本地文件,此处为了演示直接使用的文本文件存放。

到了这里,关于ChatGPT实战-Embeddings打造定制化AI智能客服的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【ChatGPT】ChatGPT 在智能客服产品如何落地?

    目录 简介 智能客服产品的典型特征 人力密集: 数据密集: 流程可定义:

    2024年02月07日
    浏览(42)
  • 人工智能交互革命:探索ChatGPT的无限可能 第4章 ChatGPT-智能客服

    智能客服是一种利用人工智能技术,为客户提供在线服务和支持的解决方案。它能够通过自然语言处理、机器学习等技术,识别和理解客户的问题,并提供针对性的解决方案。智能客服可以通过多种渠道提供服务,包括网站、社交媒体、短信、电话等。 智能客服的发展可以追

    2023年04月25日
    浏览(65)
  • 得ChatGPT者,得智能客服天下?

    ‍数据智能产业创新服务媒体 ——聚焦数智 · 改变商业 在现代社会,高效、专业的客服服务已成为企业、组织机构竞争力的关键要素。智能客服系统应运而生,智能客服系统对客服的赋能作用和价值主要表现在提高效率、降低成本、优化用户体验、深度挖掘用户需求、数据

    2024年02月04日
    浏览(41)
  • ChatGPT在智能客服产品落地探讨

    AI语言模型中的ChatGPT近期在互联网平台上引起了广泛的讨论。那么,如果想将这个大型语言模型应用在智能客服产品中,或者将其在ToB SaaS应用软件领域落地,应该采用哪种构建策略? 现在ChatGPT这个大型语言模型已经在各种平台获得了广泛的关注。那么,如果在ToB SaaS应用软

    2024年02月08日
    浏览(39)
  • 前端react如何引入ChatUI实现类似chatgpt智能客服

    可以看官网:ChatUI 第一步: \\\"@chatui/core\\\": \\\"^2.4.2\\\", 第二步: 可以参考这几种方法: 前端react如何引入chatgpt实现智能客服_react chatgpt-CSDN博客 React AntDesign 聊天机器人 阿里ChatUI使用-CSDN博客 封装一个丝滑的聊天框组件_react.js_jacoby_fire-华为云开发者联盟 搭建一个AI对话机器人——

    2024年04月26日
    浏览(39)
  • 容联七陌:ChatGPT大模型能力为智能客服带来新方向

    科技云报道原创。 近几个月来,大众对ChatGPT预期的持续走高,也影响到了智能客服领域公司的命运。 一方面,ChatGPT的出现为智能客服场景带来了更加“智能”的可能性;但另一方面,有人认为ChatGPT完全可以替代现有的智能客服产品,毕竟智能客服“听不懂人话”也该被整

    2024年02月03日
    浏览(37)
  • 【ChatGPT】从零开始构建基于ChatGPT的嵌入式(Embedding) 本地(Local) 智能客服问答机器人模型

      目录 方案流程 1. Embeddings 介绍 术语:微调 vs 嵌入

    2024年02月10日
    浏览(54)
  • 基于ChatGPT打造一个智能数据分析系统

    最近最火的AI话题无疑就是ChatGPT了,让大家看到了通用智能领域的巨大进步,ChatGPT已经能足够好的回答人们提出的各种问题,因此我也在想能否利用ChatGPT来理解用户对于数据分析方面的提问,把这些提问转化为相应的数据分析任务,再把结果返回给用户。 例如我们有一个数

    2024年02月10日
    浏览(41)
  • 飞书ChatGPT机器人 – 打造智能问答助手

    在飞书中创建chatGPT机器人并且对话,在下面操作步骤中,使用到了Git克隆项目,需提前安装好Git,克隆的项目是Go语言项目,所以需提前安装Go语言环境。 Git Go1.20 首次注册飞书,我们可以创建个人账号 进入后 我们创建一个飞书 企业自建项目 然后设置机器人名称和描述,下面

    2024年02月16日
    浏览(109)
  • ChatGPT新突破:打造自己的智能机器人控制系统

    💖 作者简介:大家好,我是Zeeland,全栈领域优质创作者。 📝 CSDN主页:Zeeland🔥 📣 我的博客:Zeeland 📚 Github主页: Undertone0809 (Zeeland) (github.com) 🎉 支持我:点赞👍+收藏⭐️+留言📝 📣 系列专栏:Python系列专栏 🍁 💬介绍:The mixture of software dev+Iot+ml+anything🔥 【promptu

    2024年02月08日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包