Milvus简介(V1.1.1)
Milvus 是一款开源的向量数据库,支持针对 TB 级向量的增删改操作和近实时查询,具有高度灵活、稳定可靠以及高速查询等特点。Milvus 集成了 Faiss、NMSLIB、Annoy 等广泛应用的向量索引库,提供了一整套简单直观的 API,让你可以针对不同场景选择不同的索引类型。此外,Milvus 还可以对标量数据进行过滤,进一步提高了召回率,增强了搜索的灵活性。
目前官方发行版本为:V1.1.1,本文将以V1.1.1为基准介绍Milvus。
Milvus 提供两个发行版本:CPU 版本和 GPU 版本。
- CPU 版 Milvus 仅支持使用 CPU 建索引和搜索。
- GPU 版 Milvus 在 CPU 版的基础上进行了 GPU 加速:支持同时进行索引创建和搜索计算以提高查询效率。你可以在同一时间内使用 GPU 建索引,使用 CPU 搜索向量。
如果你的计算机上安装了支持 CUDA 功能的 GPU 设备,你可以安装 Milvus 的 GPU 版本以获取针对海量数据的更优的查询性能。
应用场景
Milvus 在全球范围内已被数百家组织和机构所采用,广泛应用于以下场景:
图像、视频、音频等音视频搜索领域
文本搜索、推荐和交互式问答系统等文本搜索领域
新药搜索、基因筛选等生物医药领域
整体架构
Milvus 服务器采用主从式架构 (Client-server model)。
- 在服务端,Milvus 由 Milvus Core 和 Meta Store 两部分组成:
- Milvus Core 存储与管理向量和标量数据。
- Meta Store 存储与管理 SQLite 和 MySQL 中的元数据,分别用于测试和生产。
- 在客户端,Milvus 还提供了基于 Python、Java、Go、C++ 的 SDK 和 RESTful API。
Milvus 的服务器在单节点上运行。对于有更大数据规模或者高并发需求的用户,可以使用目前尚在开发阶段的集群分片中间件 Mishards 进行部署。
主要特性
-
异构计算
- 优化了基于 GPU 搜索向量和建立索引的性能。
- 可以在单台通用服务器上完成对 TB 级数据的毫秒级搜索。
- 动态数据管理。
-
支持主流索引库、距离计算方式和监控工具
- 集成了 Faiss、NMSLIB、Annoy 等向量索引库。
- 支持基于量化的索引、基于图的索引和基于树的索引。
- 相似度计算方式包括欧氏距离 (L2)、内积 (IP)、汉明距离、杰卡德距离等。
- Prometheus 作为监控和性能指标存储方案,Grafana 作为可视化组件进行数据展示。
-
近实时搜索
- 插入 Milvus 的数据默认在 1 秒后即可被搜索到。
- 标量字段过滤 (即将上线)
- 支持向量和标量数据。
- 可以对标量数据进行过滤,增强搜索的灵活性。
本地安装
官方提供里docker镜像可直接安装,docker版本需19.03 或以上,由于Milvus的server_config.yaml 文件中设置的 cache.insert_buffer_size
和 cache.cache_size之和(默认5G)为每个docker容器最小内存,所以
每个docker容器需分配最少5.5g内存才能正常启动Milvus容器。
Milvus配置下载安装
mkdir -p /home/$USER/milvus/conf
cd /home/$USER/milvus/conf
wget https://raw.githubusercontent.com/milvus-io/milvus/v1.1.1/core/conf/demo/server_config.yaml
启动Milvus
docker run -d --name milvus_cpu_1.1.1 \
-p 19530:19530 \ -p 19121:19121 \
-v /home/$USER/milvus/db:/var/lib/milvus/db \
-v /home/$USER/milvus/conf:/var/lib/milvus/conf \
-v /home/$USER/milvus/logs:/var/lib/milvus/logs \
-v /home/$USER/milvus/wal:/var/lib/milvus/wal \
milvusdb/milvus:1.1.1-cpu-d061621-330cc6
验证Milvus
使用Python sdk进行验证:
下载pymilvus包:pip3 install pymilvus==1.1.2
下载python示例代码:wget https://raw.githubusercontent.com/milvus-io/pymilvus/v1.1.2/examples/example.py文章来源:https://www.toymoban.com/news/detail-458035.html
运行示例代码:python3 example.py文章来源地址https://www.toymoban.com/news/detail-458035.html
到了这里,关于Milvus实践 第一章:简介与部署的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!