Langchain 集成 Milvus

这篇具有很好参考价值的文章主要介绍了Langchain 集成 Milvus。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. 安装 Docker

refer: https://docs.docker.com/engine/install/centos/

Milvus 会以容器方式启动,所以先安装 Docker。(本示例使用的是 Alma Linux 9.2)

卸载旧版本,

sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

设置存储库,

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

安装 Docker 引擎,

sudo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

启动 Docker,

sudo systemctl start docker

通过运行 hello-world 映像来验证 Docker 引擎安装是否成功,

sudo docker run hello-world

2. 部署 Milvus

refer: https://milvus.io/docs/install_standalone-docker.md

使用 Docker Compose 安装 Milvus 单机版。

下载 YAML 文件,

wget https://github.com/milvus-io/milvus/releases/download/v2.3.1/milvus-standalone-docker-compose.yml -O docker-compose.yml

启动 Milvus,

sudo docker compose up -d

现在检查容器是否已启动并正在运行,

sudo docker compose ps

Milvus Standalone 启动后,将会运行三个 docker 容器,包括 Milvus Standalone 服务及其两个依赖项。

      Name                     Command                  State                            Ports
--------------------------------------------------------------------------------------------------------------------
milvus-etcd         etcd -advertise-client-url ...   Up             2379/tcp, 2380/tcp
milvus-minio        /usr/bin/docker-entrypoint ...   Up (healthy)   9000/tcp
milvus-standalone   /tini -- milvus run standalone   Up             0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp

连接到 Milvus,

docker port milvus-standalone 19530/tcp

您可以使用该命令返回的本地 IP 地址和端口号连接到 Milvus 集群。

(可选)停止 Milvus,

sudo docker compose down

(可选)要在停止 Milvus 后删除数据,请运行,

sudo rm -rf  volumes

3. 安装 Attu

修改 docker-compose.yml 文件,并将以下内容添加到服务块中,

  attu:
    container_name: attu
    image: zilliz/attu:v2.3.2
    environment:
      MILVUS_URL: milvus-standalone:19530
    ports:
      - "8008:3000"
    depends_on:
      - "standalone"

运行以下命令启动 Milvus 和 Attu,

sudo docker compose up -d

在浏览器中访问 http://{ your machine IP }:8008 ,然后单击“连接”进入Attu服务。我们还支持 TLS 连接、用户名和密码。

Langchain 集成 Milvus,LINUX,langchain,milvus,ChatGPT

4. Langchain 集成 Milvus

Milvus 是一个数据库,用于存储、索引和管理由深度神经网络和其他机器学习 (ML) 模型生成的大量嵌入向量。

本笔记本展示了如何使用 Milvus 矢量数据库相关功能。

要运行,您应该启动并运行一个 Milvus 实例。

示例代码,

# !pip install pymilvus
import os
import getpass

# os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
os.environ["COHERE_API_KEY"] = getpass.getpass("Cohere API Key:")
# from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.embeddings.cohere import CohereEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from langchain.vectorstores import Milvus
from langchain.document_loaders import TextLoader
from langchain.document_loaders import TextLoader

loader = TextLoader("./state_of_the_union_en.txt", encoding="utf-8")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# embeddings = OpenAIEmbeddings()
embeddings = CohereEmbeddings()
vector_db = Milvus.from_documents(
    docs,
    embeddings,
    # connection_args={"host": "127.0.0.1", "port": "19530"},
    connection_args={"host": "192.168.31.92", "port": "19530"},
)
query = "What did the president say about Ketanji Brown Jackson"
docs = vector_db.similarity_search(query)
docs[0].page_content

输出结果,

'Tonight. I call on the Senate to: Pass the Freedom to Vote Act. Pass the John Lewis Voting Rights Act. And while you’re at it, pass the Disclose Act so Americans can know who is funding our elections. \n\nTonight, I’d like to honor someone who has dedicated his life to serve this country: Justice Stephen Breyer—an Army veteran, Constitutional scholar, and retiring Justice of the United States Supreme Court. Justice Breyer, thank you for your service. \n\nOne of the most serious constitutional responsibilities a President has is nominating someone to serve on the United States Supreme Court. \n\nAnd I did that 4 days ago, when I nominated Circuit Court of Appeals Judge Ketanji Brown Jackson. One of our nation’s top legal minds, who will continue Justice Breyer’s legacy of excellence.'

完结!文章来源地址https://www.toymoban.com/news/detail-613918.html

到了这里,关于Langchain 集成 Milvus的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 《向量数据库指南》:向量数据库Pinecone如何集成LangChain (一)

    目录 LangChain中的检索增强 建立知识库 欢迎使用Pinecone和LangChain的集成指南。本文档涵盖了将高性能向量数据库Pinecone与基于大型语言模型(LLMs)构建应用程序的框架LangChain集成的步骤。   Pinecone使开发人员能够基于向量相似性搜索构建可扩展的实时推荐和搜索系统。另一方

    2024年02月15日
    浏览(32)
  • 使用大语言模型集成工具 LangChain 创建自己的论文汇总和查询工具

    Langchain可以帮助开发人员构建由大型语言模型(llm)支持的应用程序。它提供一个框架将LLM与其他数据源(如互联网或个人文件)连接起来。这允许开发人员将多个命令链接在一起,以创建更复杂的应用程序。包括最近比较火爆的AutoGPT等都是使用了Langchain框架进行开发的。所以本

    2024年02月05日
    浏览(31)
  • 【架构实战】如何通过 langchain 把LLM大模型能力集成到企业应用中?

    本文为您提供关于如何通过 langchain 把 LLM 大模型能力集成到企业应用中的详细实践指南。在本文中,我将简要介绍 LLM 模型及其能力,并提供一种基于 langchain 的解决方案,以便企业可以将 LLM 模型集成到其应用程序中。 LLM(Language Model)是一种基于深度学习的语言模型,它可

    2024年02月07日
    浏览(32)
  • 源码部署Milvus(三)成功解决vscode调试milvus源码时间超时问题!

    继上周成功调试后出现时间超时问题,且想定位create_index等如何触发milvus底层实现文件,总是报错Timeout,这周碎片化抽空解决此问题,猜测可能是vscode配置的调试环境有问题,果不其然! grpc时间超时问题。 milvus启动单机成功,测试官方提供的Python SDK脚本文件可以跑出正确

    2024年01月19日
    浏览(29)
  • Docker Compose安装milvus向量数据库单机版-milvus基本操作

    以管理员身份运行powershell Ubuntu 22.04 LTS可以不装,wsl必须更新。。。 如果 操作超时 ,可以试试开代理。 重启电脑。。。 设置用户名、密码 https://hub.docker.com/ 重启电脑。。。 power shell输入以下命令,下载yaml文件到指定目录,并重命名为docker-compose.yml 或者 点击一下链接直接

    2024年01月19日
    浏览(46)
  • chatglm2-6b模型在9n-triton中部署并集成至langchain实践

    近期, ChatGLM-6B 的第二代版本ChatGLM2-6B已经正式发布,引入了如下新特性: ①. 基座模型升级,性能更强大,在中文C-Eval榜单中,以51.7分位列第6; ②. 支持8K-32k的上下文; ③. 推理性能提升了42%; ④. 对学术研究完全开放,允许申请商用授权。 目前大多数部署方案采用的是

    2024年02月12日
    浏览(67)
  • 使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA

    目前基于大模型的信息检索有两种方法,一种是基于微调的方法,一种是基于 RAG 的方法。 信息检索和知识提取是一个不断发展的领域,随着大型语言模型(LLM)和知识图的出现,这一领域发生了显着的变化,特别是在多跳问答的背景下。 接下来我们继续深入,跟着文章完成

    2024年01月18日
    浏览(40)
  • 杂记 | 在Linux上使用Docker-compose安装单机版Milvus向量数据库并配置访问控制和可视化面板(Attu)

    Milvus是一款开源的向量数据库,它专为AI应用设计,用于管理和检索海量的特征向量。Milvus的优势主要包括: 高效的向量检索性能 :Milvus采用了多种先进的索引算法,如IVF, HNSW, ANNOY等,能够在大规模数据集上实现高效的近似最近邻搜索。 易于扩展和维护 :Milvus支持水平和垂

    2024年01月19日
    浏览(42)
  • 向量数据库~milvus

    本文主要基于milvus官方的材料外加自己的一些理解整理而来,欢迎交流 云原生:存算分离; 读写分离; 增量存量分离; 微服务架构,极致弹性; 日志即数据:通过message queue解耦生产者、消费着,降低系统复杂度; 提升index、data、query模块弹性; 流批一体:表和日志二象性;流式

    2024年02月03日
    浏览(35)
  • Milvus 介绍

    在万亿矢量数据集上实现惊人的搜索速度:在万亿矢量 数据集上,矢量搜索和检索的平均延迟可达毫秒级。 简化的非结构化数据管理: Milvus 拥有专为数据科学工作流程设计的丰富 API。 可靠、始终在线的矢量数据库: Milvus 内置的复制和故障转移/故障恢复功能可确保数据和

    2024年02月12日
    浏览(20)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包