【Milvus】记录一次基于milvus-backup做的Milvus备份与恢复

这篇具有很好参考价值的文章主要介绍了【Milvus】记录一次基于milvus-backup做的Milvus备份与恢复。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

环境

milvus:v2.2.4

go:1.20.2 darwin/amd64

milvus-backup:v0.2.2

代码准备

https://github.com/zilliztech/milvus-backup/releases

【Milvus】记录一次基于milvus-backup做的Milvus备份与恢复,探索与尝试,milvus,向量数据库,milvus-backup

如果你的milvus是2.2.9版本及以上,可以直接下载最新的版本:git clone https://github.com/zilliztech/milvus-backup.git

默认使用的配置文件在config目录下,如果不需要手动指定,直接修改改文件即可,主要修改milvus和minio相关配置即可

【Milvus】记录一次基于milvus-backup做的Milvus备份与恢复,探索与尝试,milvus,向量数据库,milvus-backup

示例:

# Configures the system log output.
log:
  level: info # Only supports debug, info, warn, error, panic, or fatal. Default 'info'.
  console: true
  file:
    rootPath: "logs/backup.log"

http:
  simpleResponse: true

# milvus proxy address, compatible to milvus.yaml
milvus:
  address: milvus-t-milvus.milvus.svc.t2.test.xdf.cn
  port: 19530
  authorizationEnabled: false
  # tls mode values [0, 1, 2]
  # 0 is close, 1 is one-way authentication, 2 is two-way authentication.
  tlsMode: 0
  user: xxxx
  password: xxxx

# Related configuration of minio, which is responsible for data persistence for Milvus.
minio:
  address: minio.openai.svc.t2.test.xdf.cn # Address of MinIO/S3
  port: 80   # Port of MinIO/S3
  accessKeyID: xxxx # accessKeyID of MinIO/S3
  secretAccessKey: xxxx # MinIO/S3 encryption string
  useSSL: false # Access to MinIO/S3 with SSL
  useIAM: false
  cloudProvider: "aws"
  iamEndpoint: ""

  bucketName: "milvus-t" # Milvus Bucket name in MinIO/S3, make it the same as your milvus instance
  rootPath: "files" # Milvus storage root path in MinIO/S3, make it the same as your milvus instance

  backupBucketName: "milvus-t-backup-all" # Bucket name to store backup data. Backup data will store to backupBucketName/backupRootPath
  backupRootPath: "files" # Rootpath to store backup data. Backup data will store to backupBucketName/backupRootPath

backup:
  maxSegmentGroupSize: 2G

备份

构建/运行

进入项目根目录,依次执行下面的命令:

go get
go build

会在根目录下生成可执行文件:

【Milvus】记录一次基于milvus-backup做的Milvus备份与恢复,探索与尝试,milvus,向量数据库,milvus-backup

Zhurunhua-2:milvus-backup-0.2.2 xdf$ ./milvus-backup help
milvus-backup is a backup tool for milvus.

Usage:
  milvus-backup [flags]
  milvus-backup [command]

Available Commands:
  completion  Generate the autocompletion script for the specified shell
  create      create subcommand create a backup.
  delete      delete subcommand delete backup by name.
  get         get subcommand get backup by name.
  help        Help about any command
  list        list subcommand shows all backup in the cluster.
  restore     restore subcommand restore a backup.
  server      server subcommand start milvus-backup RESTAPI server.
  version     print the version of Milvus backup tool

Flags:
      --config string   config YAML file of milvus (default "backup.yaml")
  -h, --help            help for milvus-backup

Use "milvus-backup [command] --help" for more information about a command.
Zhurunhua-2:milvus-backup-0.2.2 xdf$ 

备份需要使用create命令:

【Milvus】记录一次基于milvus-backup做的Milvus备份与恢复,探索与尝试,milvus,向量数据库,milvus-backup

示例:指定Collection进行备份

./milvus-backup create --colls tk_td_question_v2 -n tiku_backup

总共19G数据,大概几分钟就完事了

【Milvus】记录一次基于milvus-backup做的Milvus备份与恢复,探索与尝试,milvus,向量数据库,milvus-backup

验证

从minio-console可以看到,对应的备份桶已经创建了,数据也备份好了:

【Milvus】记录一次基于milvus-backup做的Milvus备份与恢复,探索与尝试,milvus,向量数据库,milvus-backup

【Milvus】记录一次基于milvus-backup做的Milvus备份与恢复,探索与尝试,milvus,向量数据库,milvus-backup

binlogs中和源文件一直,meta中会生成一些元数据:

【Milvus】记录一次基于milvus-backup做的Milvus备份与恢复,探索与尝试,milvus,向量数据库,milvus-backup

恢复

TODO

遇到的问题

我刚开始下载的是最新的源码

  1. this version of sdk is incompatible with server, please downgrade your sdk or upgrade your server

【Milvus】记录一次基于milvus-backup做的Milvus备份与恢复,探索与尝试,milvus,向量数据库,milvus-backup

解决:milvus版本过低,与源码所支持的不一致,下载非最新版本的milvus-backup解决。文章来源地址https://www.toymoban.com/news/detail-605233.html

到了这里,关于【Milvus】记录一次基于milvus-backup做的Milvus备份与恢复的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 源码部署Milvus(三)成功解决vscode调试milvus源码时间超时问题!

    继上周成功调试后出现时间超时问题,且想定位create_index等如何触发milvus底层实现文件,总是报错Timeout,这周碎片化抽空解决此问题,猜测可能是vscode配置的调试环境有问题,果不其然! grpc时间超时问题。 milvus启动单机成功,测试官方提供的Python SDK脚本文件可以跑出正确

    2024年01月19日
    浏览(29)
  • Docker Compose安装milvus向量数据库单机版-milvus基本操作

    以管理员身份运行powershell Ubuntu 22.04 LTS可以不装,wsl必须更新。。。 如果 操作超时 ,可以试试开代理。 重启电脑。。。 设置用户名、密码 https://hub.docker.com/ 重启电脑。。。 power shell输入以下命令,下载yaml文件到指定目录,并重命名为docker-compose.yml 或者 点击一下链接直接

    2024年01月19日
    浏览(44)
  • Milvus 介绍

    在万亿矢量数据集上实现惊人的搜索速度:在万亿矢量 数据集上,矢量搜索和检索的平均延迟可达毫秒级。 简化的非结构化数据管理: Milvus 拥有专为数据科学工作流程设计的丰富 API。 可靠、始终在线的矢量数据库: Milvus 内置的复制和故障转移/故障恢复功能可确保数据和

    2024年02月12日
    浏览(19)
  • 向量数据库:Milvus

            Milvus由Go(63.4%),Python(17.0%),C++(16.6%),Shell(1.3%)等语言开发开发,支持python,go,java接口(C++,Rust,c#等语言还在开发中),支持单机、集群部署,支持CPU、GPU运算。Milvus 中的所有搜索和查询操作都在内存中执行。,当前支持的Dimensions of a vector的最大值为32,768。其他限制。

    2024年01月23日
    浏览(41)
  • milvus和相似度检索

    milvus 的使用流程是 创建collection - 创建partition - 创建索引(如果需要检索) - 插入数据 - 检索 这里以 Python 为例, 使用的milvus版本为2.3.x 首先按照库, python3 -m pip install pymilvus 以上是源码,可以看出 alias 只是一个字典的映射的key 通过源码可以看到,还有两种连接方式: 在.env文件

    2024年02月07日
    浏览(26)
  • milvus文档

    proxy对外的代理(入口) 总控制 root coord query coord 查询协调器 data coord 插入协调器 index coord 索引协调器 2.3把 datacoord和indexcoord 合并 任务包括集群拓扑管理、负载平衡、时间戳生成、数据声明和数据管理 Coordinator HA高可用 1打开配置项 queryCoord.enableActiveStandby=true 2部署时启动两

    2024年02月09日
    浏览(24)
  • 向量数据库~milvus

    本文主要基于milvus官方的材料外加自己的一些理解整理而来,欢迎交流 云原生:存算分离; 读写分离; 增量存量分离; 微服务架构,极致弹性; 日志即数据:通过message queue解耦生产者、消费着,降低系统复杂度; 提升index、data、query模块弹性; 流批一体:表和日志二象性;流式

    2024年02月03日
    浏览(34)
  • Langchain 集成 Milvus

    refer: https://docs.docker.com/engine/install/centos/ Milvus 会以容器方式启动,所以先安装 Docker。(本示例使用的是 Alma Linux 9.2) 卸载旧版本, 设置存储库, 安装 Docker 引擎, 启动 Docker, 通过运行 hello-world 映像来验证 Docker 引擎安装是否成功, refer: https://milvus.io/docs/install_standalone-dock

    2024年02月15日
    浏览(63)
  • kubernetes部署milvus

    Milvus创建于2019年,其唯一目标是存储、索引和管理由深度神经网络和其他机器学习(ML)模型生成的大量嵌入向量。 嵌入向量数据库Milvus是一种专门为处理输入向量查询而设计的数据库,能够在万亿规模上对向量进行索引。与传统的关系数据库不同,Milvus主要按照预定义的模

    2024年02月13日
    浏览(23)
  • Milvus数据库介绍

    参考:https://www.xjx100.cn/news/1726910.html?action=onClick Milvus 基于FAISS、Annoy、HNSW 等向量搜索库构建,核心是解决稠密向量相似度检索的问题。在向量检索库的基础上,Milvus 支持数据分区分片、数据持久化、增量数据摄取、标量向量混合查询、time travel 等功能,同时大幅优化了向量

    2024年02月20日
    浏览(22)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包