使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索

这篇具有很好参考价值的文章主要介绍了使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

在本教程中,我将引导您使用 Elasticsearch、OpenAI、LangChain 和 FastAPI 构建语义搜索服务。

使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索,Elasticsearch,AI,Elastic,langchain,elasticsearch,大数据,搜索引擎,全文检索,人工智能

LangChain 是这个领域的新酷孩子。 它是一个旨在帮助你与大型语言模型 (LLM) 交互的库。 LangChain 简化了与 LLMs 相关的许多日常任务,例如从文档中提取文本或在向量数据库中对它们建立索引。 如果你现在正在与 LLMs 一起工作,LangChain 可以节省你的工作时间。

然而,它的一个缺点是,尽管它的文档很广泛,但可能比较分散,对于新手来说很难理解。 此外,大多数在线内容都集中在最新一代的向量数据库上。 由于许多组织仍在使用 Elasticsearch 这样经过实战考验的技术,我决定使用它编写一个教程。

我将 LangChain 和 Elasticsearch 结合到了最常见的 LLM 应用之一:语义搜索。 在本教程中,我将引导你使用 Elasticsearch、OpenAI、LangChain 和 FastAPI 构建语义搜索服务。 你将创建一个应用程序,让用户可以提出有关马可·奥勒留《沉思录》的问题,并通过从书中提取最相关的内容为他们提供简洁的答案。

让我们深入了解吧!

前提条件

你应该熟悉这些主题才能充分利用本教程:

  • Elasticsearch:语义搜索、知识图和向量数据库概述

  • Elasticsearch:关于在 Python 中使用 Elasticsearch 你需要知道的一切 - 8.x

此外,你必须安装 Docker 并在 OpenAI 上创建一个帐户。

设计语义搜索服务

你将构建一个包含三个组件的服务:

  • 索引器:这将创建索引,生成嵌入和元数据(在本例中为书籍的来源和标题),并将它们添加到向量数据库中。
  • 矢量数据库:这是一个用于存储和检索生成的嵌入的数据库。
  • 搜索应用程序:这是一个后端服务,它使用用户的搜索词,从中生成嵌入,然后在矢量数据库中查找最相似的嵌入。

这是该架构的示意图:

使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索,Elasticsearch,AI,Elastic,langchain,elasticsearch,大数据,搜索引擎,全文检索,人工智能

接下来,你将设置本地环境。

设置你的本地环境

请按照以下步骤设置您的本地环境:

1)安装 Python 3.10。
2)安装 Poetry。 它是可选的,但强烈推荐。

sudo pip install poetry


3)  克隆项目的存储库:

git clone https://github.com/liu-xiao-guo/semantic-search-elasticsearch-openai-langchain

4)从项目的根文件夹中,安装依赖项:

  • 使用 Poetry:在项目同目录下创建虚拟环境并安装依赖:
poetry config virtualenvs.in-project true
poetry install
  • 使用 venv 和 pip:创建虚拟环境并安装 requirements.txt 中列出的依赖项:
python3.10 -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt

5)打开 src/.env-example,添加你的 OpenAI 密钥,并将文件另存为 .env。

(.venv) $ pwd
/Users/liuxg/python/semantic-search-elasticsearch-openai-langchain/src
(.venv) $ ls -al
total 32
drwxr-xr-x   7 liuxg  staff  224 Sep 17 17:27 .
drwxr-xr-x  13 liuxg  staff  416 Sep 17 21:23 ..
-rw-r--r--   1 liuxg  staff   41 Sep 17 17:27 .env-example
-rw-r--r--   1 liuxg  staff  870 Sep 17 17:27 app.py
-rw-r--r--   1 liuxg  staff  384 Sep 17 17:27 config.py
drwxr-xr-x   3 liuxg  staff   96 Sep 17 17:27 data
-rw-r--r--   1 liuxg  staff  840 Sep 17 17:27 indexer.py
(.venv) $ mv .env-example .env
(.venv) $ vi .env

到目前为止,你将设置一个包含所需库和存储库的本地副本的虚拟环境。 你的项目结构应该如下所示:

.
├── LICENSE
├── README.md
├── docker-compose.yml
├── .env
├── poetry.lock
├── pyproject.toml
├── requirements.txt
└── src
    ├── app.py
    ├── config.py
    ├── .env
    ├── .env-example     
    ├── data
    │   └── Marcus_Aurelius_Antoninus_-_His_Meditations_concerning_himselfe
    └── indexer.py

请注意:在上面的文件结构中,有两个 .env 文件。根目录下的 .env 文件是为 docker-compose.yml 文件所使用,而 src 目录里的文件是为应用所示使用。我们可以在根目录里的 .env 文件中定义想要的 Elastic Stack 版本号。

这些是项目中最相关的文件和目录:

  • poetry.lock 和 pyproject.toml:这些文件包含项目的规范和依赖项,被 Poetry 用来创建虚拟环境。
  • requirements.txt:该文件包含项目所需的 Python 包列表。
  • docker-compose.yml:此文件包含用于在本地运行 Elasticsearch 集群及 Kibana。
  • src/app.py:该文件包含搜索应用程序的代码。
  • src/config.py:此文件包含项目配置规范,例如 OpenAI 的 API 密钥(从 .env 文件读取)、数据路径和索引名称。
  • src/data/:该目录包含最初从维基文库下载的 Meditations 。 你将使用它作为本教程的文本语料库。
  • src/indexer.py:此文件包含用于创建索引并将文档插入 Elasticsearch 的代码。
  • .env-example:此文件通常用于环境变量。 在本例中,你可以使用它将 OpenAI 的 API 密钥传递给您的应用程序。
  • .venv/:该目录包含项目的虚拟环境。

全做完了! 我们继续向下进行吧。

启动本地 Elasticsearch 集群

在我们进入代码之前,你应该启动一个本地 Elasticsearch 集群。 打开一个新终端,导航到项目的根文件夹,然后运行:

docker-compose up

使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索,Elasticsearch,AI,Elastic,langchain,elasticsearch,大数据,搜索引擎,全文检索,人工智能

在上面的部署中,出于方便,我们使用了没有带安全的 Elastic Stack 的安装以方便进行开发。具体的安装步骤,请参阅另外一篇文章 “Elasticsearch:如何在 Docker 上运行 Elasticsearch 8.x 进行本地开发”。如果一切顺利,我们可以使用如下的命令来进行查看:

docker ps
$ docker ps
CONTAINER ID   IMAGE                 COMMAND                  CREATED         STATUS         PORTS                              NAMES
a2866c0356a2   kibana:8.9.2          "/bin/tini -- /usr/l…"   4 minutes ago   Up 4 minutes   0.0.0.0:5601->5601/tcp             kibana
b504079c59ea   elasticsearch:8.9.2   "/bin/tini -- /usr/l…"   4 minutes ago   Up 4 minutes   0.0.0.0:9200->9200/tcp, 9300/tcp   elasticsearch

我们可以在浏览器中针对 Elasticsearch 进行访问:

使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索,Elasticsearch,AI,Elastic,langchain,elasticsearch,大数据,搜索引擎,全文检索,人工智能

我们还可以在 localhost:5601 上访问 Kibana:

使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索,Elasticsearch,AI,Elastic,langchain,elasticsearch,大数据,搜索引擎,全文检索,人工智能

拆分书籍并为其建立索引

使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索,Elasticsearch,AI,Elastic,langchain,elasticsearch,大数据,搜索引擎,全文检索,人工智能

使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索,Elasticsearch,AI,Elastic,langchain,elasticsearch,大数据,搜索引擎,全文检索,人工智能

在此步骤中,你将执行两件事:

  • 通过将书中的文本拆分为 1,000 个 token 的块来处理该文本。
  • 对你在 Elasticsearch 集群中生成的文本块(从现在开始称为文档)建立索引。

看一下 src/indexer.py

from langchain.document_loaders import BSHTMLLoader
from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import ElasticVectorSearch

from config import Paths, openai_api_key


def main():
    loader = BSHTMLLoader(str(Paths.book))
    data = loader.load()

    text_splitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder(
        chunk_size=1000, chunk_overlap=0
    )
    documents = text_splitter.split_documents(data)

    embeddings = OpenAIEmbeddings(openai_api_key=openai_api_key)
    db = ElasticVectorSearch.from_documents(
        documents,
        embeddings,
        elasticsearch_url="http://localhost:9200",
        index_name="elastic-index",
    )
    print(db.client.info())


if __name__ == "__main__":
    main()

此代码采用 Meditations(书),将其拆分为 1,000 个 token 的文本块,然后在 Elasticsearch 集群中为这些块建立索引。 以下是详细的细分:

  • 第 1 行到第 4 行从 langchain 导入所需的组件:
    • BSHTMLLoader:此 Loader 使用 BeautifulSoup4 来解析文档。
    • OpenAIembeddings:该组件是 OpenAI 嵌入的包装器。 它可以帮助你生成文档和查询的嵌入。
    • RecursiveCharacterTextSplitter:此实用程序函数通过尝试按旨在保持语义相似内容邻近的顺序尝试各种字符来分割输入文本。 用于分割的字符按以下顺序排列为:“\n\n”、“\n”、“ ”、“”。
    • ElasticSearchVector:这是 Elasticsearch 客户端的包装器,可简化与集群的交互。
  • 第 6 行从 config.py 导入相关配置
  • 第 11 行和第 12 行使用 BSHTMLLoader 提取书籍的文本。
  • 第 13 至 16 行初始化文本拆分器,并将文本拆分为不超过 1,000 个标记的块。 在这种情况下,你可以使用 tiktoken 来计算 token,但你也可以使用不同长度的函数,例如计算字符数而不是 token 或不同的 token 化函数。
  • 第 18 至 25 行初始化嵌入函数,创建新索引,并对文本拆分器生成的文档建立索引。 在 elasticsearch_url 中,你指定应用程序在本地运行的端口,在index_name 中指定你将使用的索引的名称。 最后,打印 Elasticsearch 客户端信息。

要运行此脚本,请打开终端,激活虚拟环境,然后从项目的 src 文件夹中运行以下命令:

# ../src/
export export OPENAI_API_KEY=your_open_ai_token
python indexer.py

使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索,Elasticsearch,AI,Elastic,langchain,elasticsearch,大数据,搜索引擎,全文检索,人工智能

注意:你如果使用 OpenAI 来进行矢量化,那么你需要在你的账号中有充分的钱来支付这种费用,否则你可能得到如下的错误信息:

Retrying langchain.embeddings.openai.embed_with_retry.<locals>._embed_with_retry in 4.0 seconds as it raised RateLimitError: You exceeded your current quota, please check your plan and billing details..

如果一切顺利,你应该得到与此类似的输出:

{'name': '0e1113eb2915', 'cluster_name': 'docker-cluster', 'cluster_uuid': 'og6mFMqwQtaJiv_3E_q2YQ', 'version': {'number': '8.9.2', 'build_flavor': 'default', 'build_type': 'docker', 'build_hash': '09520b59b6bc1057340b55750186466ea715e30e', 'build_date': '2023-03-27T16:31:09.816451435Z', 'build_snapshot': False, 'lucene_version': '9.5.0', 'minimum_wire_compatibility_version': '7.17.0', 'minimum_index_compatibility_version': '7.0.0'}, 'tagline': 'You Know, for Search'}

接下来,让我们创建一个简单的 FastAPI 应用程序,以与你的集群进行交互。

创建搜索应用程序

在此步骤中,你将创建一个简单的应用程序来与 Meditations 交互。 你将连接到 Elasticsearch 集群,始化检索提问/应答 Chain,并创建一个 /ask 端点以允许用户与应用程序交互。

看一下 src/app.py 的代码:

from fastapi import FastAPI
from langchain.chains import RetrievalQA
from langchain.chat_models import ChatOpenAI
from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.vectorstores import ElasticVectorSearch

from config import openai_api_key

embedding = OpenAIEmbeddings(openai_api_key=openai_api_key)

db = ElasticVectorSearch(
    elasticsearch_url="http://localhost:9200",
    index_name="elastic-index",
    embedding=embedding,
)
qa = RetrievalQA.from_chain_type(
    llm=ChatOpenAI(temperature=0),
    chain_type="stuff",
    retriever=db.as_retriever(),
)

app = FastAPI()


@app.get("/")
def index():
    return {
        "message": "Make a post request to /ask to ask questions about Meditations by Marcus Aurelius"
    }


@app.post("/ask")
def ask(query: str):
    response = qa.run(query)
    return {
        "response": response,
    }

此代码允许用户提出有关马库斯·奥勒留《沉思录》的问题,并向用户提供答案。 让我向你展示它是如何工作的:

  • 第 1 至 5 行导入所需的库:
    • FastAPI:此类初始化应用程序。
    • RetrievalQA:这是一个允许你询问有关向量数据库中文档的问题的 Chain。 它根据你的问题找到最相关的文档并从中生成答案。
    • ChatOpenAI:这是 OpenAI 聊天模型的包装。
    • OpenAIembeddings 和 ElasticVectorSearch:这些是上一节中讨论的相同包装器。
  • 第 7 行导入 OpenAI 密钥。
  • 第 9 至 15 行使用 OpenAI 嵌入初始化 Elasticsearch 集群。
  • 第 16 至 20 行使用以下参数初始化 RetrievalQA Chain:
    • llm:指定用于运行链中定义的提示的 LLM。
    • chain_type:定义如何从向量数据库检索和处理文档。 通过指定内容,将检索文档并将其传递到链以按原样回答问题。 或者,你可以在回答问题之前使用 map_reduce 或 map_rerank 进行额外处理,但这些方法使用更多的 API 调用。 有关更多信息,请参阅 langchain 文档。
    • retrieve:指定链用于检索文档的向量数据库。
  • 第 22 至 36 行初始化 FastAPI 应用程序并定义两个端点。 / 端点为用户提供有关如何使用应用程序的信息。 /ask 端点接受用户的问题(查询参数)并使用先前初始化的链返回答案。

最后,你可以从终端运行该应用程序(使用你的虚拟环境):

uvicorn app:app --reload

然后,访问 http://127.0.0.1:8000/docs,并通过询问有关这本书的问题来测试 /ask:

使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索,Elasticsearch,AI,Elastic,langchain,elasticsearch,大数据,搜索引擎,全文检索,人工智能

如果一切顺利,你应该得到这样的结果:

使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索,Elasticsearch,AI,Elastic,langchain,elasticsearch,大数据,搜索引擎,全文检索,人工智能

就是这样! 您现在已经启动并运行了自己的基于 Elasticsearch、OpenAI、Langchain 和 FastAPI 的语义搜索服务。

结论

干得好! 在本教程中,你学习了如何使用 Elasticsearch、OpenAI 和 Langchain 构建语义搜索引擎。

特别是,你已经了解到:

  • 如何构建语义搜索服务。
  • 如何使用 LangChain 对文档进行拆分和索引。
  • 如何使用 Elasticsearch 作为向量数据库与 LangChain 一起使用。
  • 如何使用检索问答链通过向量数据库回答问题。
  • 产品化此类应用程序时应考虑什么。

希望您觉得本教程有用。 如果你有任何疑问,请参入讨论!文章来源地址https://www.toymoban.com/news/detail-715242.html

到了这里,关于使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Elasticsearch:使用 ELSER v2 进行语义搜索

    在我之前的文章 “Elasticsearch:使用 ELSER 进行语义搜索”,我们展示了如何使用 ELESR v1 来进行语义搜索。在使用 ELSER 之前,我们必须注意的是: 重要 :虽然 ELSER V2 已正式发布,但 ELSER V1 仍处于 [预览] 状态。此功能处于技术预览阶段,可能会在未来版本中更改或删除。 E

    2024年02月22日
    浏览(44)
  • Elasticsearch:使用 ELSER 文本扩展进行语义搜索

    在今天的文章里,我来详细地介绍如何使用 ELSER  进行文本扩展驱动的语义搜索。 如果你还没有安装好自己的 Elasticsearch 及 Kibana,请参考如下的链接来进行安装: 如何在 Linux,MacOS 及 Windows 上进行安装 Elasticsearch Kibana:如何在 Linux,MacOS 及 Windows 上安装 Elastic 栈中的 Kiba

    2024年02月07日
    浏览(49)
  • 使用 LangChain 和 Elasticsearch 对私人数据进行人工智能搜索

    关于本博文的所有代码可以在地址下载:GitHub - liu-xiao-guo/python-vector-private 我将在本博文中其中深入研究人工智能和向量嵌入的深水区。 ChatGPT 令人大开眼界,但有一个主要问题。 这是一个封闭的托管系统。 在一个被大型网络公司改变的世界里生活了二十年之后,我们作为人

    2024年02月07日
    浏览(51)
  • 使用 LangChain 和 Elasticsearch 的隐私优先 AI 搜索

    作者:Dave Erickson 在过去的几个周末里,我一直在 “即时工程” 的迷人世界中度过,并了解像 Elasticsearch® 这样的向量数据库如何通过充当长期记忆和语义知识存储来增强像 ChatGPT 这样的大型语言模型 (LLM)。 然而,让我和许多其他经验丰富的数据架构师感到困扰的一件事是,

    2024年02月08日
    浏览(44)
  • Elasticsearch:使用 LangChain 对话链和 OpenAI 的聊天机器人

    在此笔记本中,我们将构建一个聊天机器人,它可以回答有关自定义数据的问题,例如雇主的政策。 聊天机器人使用 LangChain 的 ConversationalRetrievalChain,具有以下功能: 用自然语言回答问题 在 Elasticsearch 中运行混合搜索以查找回答问题的文档 使用 OpenAI LLM 提取并总结答案 保

    2024年02月03日
    浏览(41)
  • Elasticsearch:使用 Gemini、Langchain 和 Elasticsearch 进行问答

    本教程演示如何使用 Gemini API创建 embeddings 并将其存储在 Elasticsearch 中。 我们将学习如何将 Gemini 连接到 Elasticsearch 中存储的私有数据,并使用 Langchian 构建问答功能。 如果你还没有安装好自己的 Elasticsearch 及 Kibana 的话,请参阅如下的文章来进行安装: 如何在 Linux,MacOS 及

    2024年01月24日
    浏览(44)
  • 【AI大模型应用开发】【LangChain系列】9. 实用技巧:大模型的流式输出在 OpenAI 和 LangChain 中的使用

    大家好,我是同学小张,日常分享AI知识和实战案例 欢迎 点赞 + 关注 👏, 持续学习 , 持续干货输出 。 +v: jasper_8017 一起交流💬,一起进步💪。 微信公众号也可搜【同学小张】 🙏 本站文章一览: 当大模型的返回文字非常多时,返回完整的结果会耗费比较长的时间。如果

    2024年04月09日
    浏览(52)
  • Elasticsearch:使用 ELSER 释放语义搜索的力量:Elastic Learned Sparse EncoderR

    在信息过载的时代,根据上下文含义和用户意图而不是精确的匹配来查找相关搜索结果已成为一项重大挑战。 传统的搜索引擎通常无法理解用户查询的语义上下文,从而导致相关性较低的结果。 在现代向量搜索之前,我们有 “传统”的 词袋(Bags of word - BOW)方法。

    2024年02月15日
    浏览(53)
  • Elasticsearch:多语言语义搜索

    在此示例中,我们将使用多语言嵌入模型 multilingual-e5-base 对混合语言文档的 toy 数据集执行搜索。 使用这个模型,我们可以通过两种方式进行搜索: 跨语言,例如使用德语查询来查找英语文档 在非英语语言中,例如使用德语查询来查找德语文档 虽然此示例仅使用密集检索,

    2024年02月08日
    浏览(43)
  • Elasticsearch:语义搜索即服务处于卓越搜索的中心

    作者:来自 Elastic Sherry Ger, Stephen Brown 对于许多企业来说,搜索卓越中心(center of excellence - COE)向其用户提供搜索服务,从不同的数据源中整理知识,并将搜索功能集成到其内部和外部应用程序中。Elasticsearch,这个 “支撑着互联网上大约 90% 的搜索栏” 的分布式搜索平台,

    2024年04月11日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包