大模型时代下向量数据库的创新与变革

这篇具有很好参考价值的文章主要介绍了大模型时代下向量数据库的创新与变革。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言:

在当今信息时代,数据库扮演着关键的角色,用于存储和管理各种类型的数据。向量数据库是一种专门设计用于高维数据存储和快速检索的数据库系统。在不断创新和变革后,腾讯云不久前发布了AI原生(AI Native)向量数据库。

向量数据库 支持大模型,人工智能专栏,数据库,数据库开发,ai,人工智能,容器

向量数据库发展背景和现状

向量数据库作为一种创新的解决方案应运而生。它专门为高维数据的存储和检索而设计,通过利用向量化存储和高效的向量索引技术,克服了传统数据库系统在处理高维数据时的局限性。向量数据库能够更高效地进行相似性搜索和近邻搜索,提供更快的查询响应时间。它采用特定的索引结构和数据组织方式,有效地解决了高维数据存储和检索的效率问题,并且能够更好地处理高维稀疏数据。

在大规模数据和复杂任务的背景下 传统的数据库系统可能无法满足高效处理和管理数据的需求。这时候,引入向量数据库成为一种重要的解决方案。向量数据库专门针对高维数据存储和快速检索进行优化,具备处理复杂数据和大规模数据集的能力。

向量数据库 支持大模型,人工智能专栏,数据库,数据库开发,ai,人工智能,容器

在此基础上,腾讯云发布一款全托管的自研企业级分布式数据库服务,专用于存储、检索、分析多维向量数据。该数据库支持多种索引类型和相似度计算方法,单索引支持10亿级向量规模,可支持百万级 QPS 及毫秒级查询延迟。腾讯云向量数据库不仅能为大模型提供外部知识库,提高大模型回答的准确性,还可广泛应用于推荐系统、NLP 服务、计算机视觉、智能客服等 AI 领域。

AI加持下,向量数据库是否应该重新定义?

将AI接入向量数据库的好处是多方面的

首先,向量数据库提供高效的向量索引和相似性搜索技术,能够快速找到与给定向量相似的数据项。这对于AI中的相似度匹配、推荐系统、聚类分析等任务非常重要。

向量数据库 支持大模型,人工智能专栏,数据库,数据库开发,ai,人工智能,容器

通过将AI模型训练的向量嵌入数据存储在向量数据库中,可以实现快速的相似度搜索和近邻查询,提高查询效率。向量数据库支持多模态数据的存储和检索,能够容纳不同类型的数据,如文本、图像、音频等。这对于多模态AI应用非常重要,例如视觉与语义检索、多模态生成等。

向量数据库 支持大模型,人工智能专栏,数据库,数据库开发,ai,人工智能,容器
向量数据库还具备高度可扩展性和强大的并发查询能力,能够处理大规模数据和高并发访问的需求。这为训练大型AI模型和处理海量数据提供了基础设施支持。

取其精华,优势思考

作为一种专门存储和检索向量数据的服务提供给用户, 腾讯云数据库在高性能、高可用、大规模、低成本、简单易用、稳定可靠等方面体现出显著优势。

向量数据库 支持大模型,人工智能专栏,数据库,数据库开发,ai,人工智能,容器

  1. 高性能 : 向量数据库单索引支持10亿级向量数据规模,可支持百万级 QPS 及毫秒级查询延迟。
  2. 高可用: 向量数据库提供多副本高可用特性,其多可用区和三节点的架构可用性可达99.99%,显著提高系统的可靠性和容错性,确保数据库在面临节点故障和负载变化等挑战时仍能正常运行。
  3. 大规模:向量数据库架构支持水平扩展,单实例可支持百万级 QPS,轻松满足 AI 场景下的向量存储与检索需求。
  4. 低成本:只需在管理控制台按照指引,简单操作几个步骤,即可快速创建向量数据库实例,全流程平台托管,无需进行任何安装、部署和运维操作,有效减少机器成本、运维成本和人力成本开销。
  5. 简单易用:支持丰富的向量检索能力,用户通过 HTTP API 接口即可快速操作数据库,开发效率高。同时控制台提供了完善的数据管理和监控能力,操作简单便捷。
  6. 稳定可靠: 向量数据库源自腾讯集团自研的向量检索引擎 OLAMA,近40个业务线上稳定运行,日均处理的搜索请求高达千亿次,服务连续性、稳定性有保障。

如何快速申请体验

腾讯云向量数据库如何快速体验?

腾讯云向量数据库目前是公测阶段。公测用户免费领用实例,每个地域最多申请2个,免费试用时长3个月。若1个月内未使用实例,平台将自动回收。

序号 步骤描述 具体操作
1 申请腾讯云账号并认证 注册腾讯云账号
2 测试申请 提交产品内测申请,填写用户信息。
3 了解向量数据库所支持的规格与类型 预估数据规模,选择合适的类型与规格。具体信息
4 确定向量数据库所部署的地域 选择当前支持的地域信息
5 规划数据库实例的私有网络与安全组 创建私有网络与 创建安全组,并同时设置安全组入站规则。
6 购买实例 新建数据库实例。直接选择上一步已准备的私有网络与安全组。
7 申请与腾讯云向量数据库在同一地域同一个 VPC 内的 Linux 云服务器 CVM 拥有自己的云服务器
8 连接并操作向量数据库 连接并写入数据库
9 管理向量数据库实例 通过控制台直接管理实例,查看实例状态或销毁实例
10 智能运维 在控制台查看监控数据库实例的各项指标。

性能测试实例

通过拥抱开源工具 ann-benchmark 的方式进行向量数据库的性能测试,也方便客户公平的与其他产品进行性能比拼验证。 本文介绍了腾讯云向量数据库基于ann-benchmark 工具适配后的使用方式及相关增强功能的使用介绍;另外,优化后的测试工具也支持了多种灵活的性能 benchamrk 测试配置方案及支持 k-nn 召回率探索模式等,降低了性能测试准入门槛

前期准备

  1. 一台云服务器
    向量数据库 支持大模型,人工智能专栏,数据库,数据库开发,ai,人工智能,容器

  2. 一个向量数据库申请,本次测试使用的是存储型小规格实例(1核8GB)
    向量数据库 支持大模型,人工智能专栏,数据库,数据库开发,ai,人工智能,容器

  3. 开源测试工具ann-benchmark : 可以自行搜索下载

  4. 上传测试工具及数据集到测试客户端 云服务器上
    注:ann-benchamrk 官方数据集测试工具可自动从外网官方站点下载。

  5. 安装测试工具依赖
    软件依赖: python 版本大于 3.6.8, 使用建议的操作系统版本上的 python3 即可

a. 安装操作系统依赖包
yum install python3-pillow-devel.x86_64
b. 解决测试工具并安装 python 运行依赖
cd ann-benchmarks
pip3 install -r requirements.txt

实例测试

1. 测试 128 维数据在 HNSW 索引下的单核查询性能

  1. 从数据库中获取连接地址和密钥:
    向量数据库 支持大模型,人工智能专栏,数据库,数据库开发,ai,人工智能,容器
  2. 选择测试数据集
    从测试数据集说明中,找到 ann-benchamrk 已存在的名为 sift-128-euclidean 的数据集正
    好是 128 维度,可使用该数据集做测试。 该数据集命令以 euclidean 结尾,表示使用
    L2 相似算法
  3. 设置配置文件
a. 拷贝默认配置文件到自己的配置文件路径
cp ann_benchmarks/algorithms/vector_db/config.yml mytest.yml
b. 按需设置自己的配置参数
vi mytest.yml

只需要配置自己的数据库ip地址 HttpBase 和密钥 ApiKey 即可

float:
 any:
 - base_args: [ '@metric' ] #不需要修改
 constructor: VectorDb #不需要修改
 disabled: false #不需要修改
 docker_tag: ann-benchmarks-vector_db #不需要修改
 module: ann_benchmarks.algorithms.vector_db #不需要修改
 name: vector_db #不需要修改
 run_groups:
 vector_db:
 arg_groups:
 - [ 16 ] #M , 创建 Collection 时指定的 M 参数,是一个
List , 会为每个值创建一个对应的 collection。 (top)
 - DbName: db-test #测试使用的 DB 名字,collection 名字采用
自动生成方式。 命名方式为 "数据集名字_M 值"
 HttpBase: 改为数据库的ip地址 #Vector DB 连接的地
址,包含协议、IP、和端口信息
 NeedAuth: true # 是否需要启用认证,当前仅支持 Header 的
方式认证
 User: root # 访问实例使用的用户名
 ApiKey:改为自己的秘钥   #从腾讯云控制台上获取的实例访
问 API-KEY
 DropDb: true # 工具是否在每次插入数据前,先删了已经存在的
DB
 CreateDb: true # 工具是否需要创建新的数据库
 ReCreateCollection: false # 是否每次运行前都重建
collection
 DropCollectionOnDone: false # 是否在运行结束删除数据,
主要解决多表并发时内存不足场景,默认可使用 false
 IndexType: FLAT # 创建 Collection 时的 index 类型, 当前
支持 FLAT, HNSW
 MetricType: L2 # 创建 Collection 时的 Metric Type,同官
方 API 支持列表
 ColReplicaNum: 2 # 创建 Collection 时指定多少个副本
 ColShardNum: 10 # 创建 Collection 时,指定多少个 shard
 EfConstruction: 500 # 创建 Collection 时,指定的邻居数
 ExitOnError: true # 工具是否在 API 返回非 200 的时候退出, 
如不关注错误,可忽略。
  1. 命令行运行测试
    通过以下命令运行测试,工具会自动从外网下载 ann-benchmark 官方数据集并写入腾讯
    云向量数据库。
    下为对齐官方的标准的单核性能测试运行方式:
python3 run.py --dataset sift-128-euclidean --local --force --parallelism 1 --algorithm vector_db --definitions=mytest.yml --
runs 1
  1. 查询结果
python3 data_export.py --output=mytest.csv

向量数据库 支持大模型,人工智能专栏,数据库,数据库开发,ai,人工智能,容器

  1. 向量数据库监控图
    向量数据库 支持大模型,人工智能专栏,数据库,数据库开发,ai,人工智能,容器

2.探索指定召回率时,需要设置的查询 ef 条件

  1. 找开探索模式,重新打开刚才的配置文件
    修改配置文件中的 KNNSeekMode 为 true, 该模式测试工具会反复运行不同 ef 值的查
    询,直到获得最匹配的召回率为止
    向量数据库 支持大模型,人工智能专栏,数据库,数据库开发,ai,人工智能,容器

  2. 配置探索参数
    KNNSeekStartEF: 指定从哪个 ef 参考值开始查询
    KNNSeekStep: 指定探索模式中,每次 ef 值变化几个单位; 如 1 则为:
    KNNSeekStartEF+=1 或相减。(每次递增或递减的步长)
    KNNSeekExpect: 期望找到的召回率,如 0.95

  3. 运行工具:
    命令:

python3 data_export.py --output=mytest.csvpython3 run.py --dataset sift-128-euclidean --local --force --parallelism 1 --algorithm vector_db --definitions=mytest.yml --runs 1 --only_query
  1. 结果显示如下(图片中 KNNSeekExpect=0.95):
    即在 ef=111 时,可获得最接近 0.95 的召回率

3.Search 检索性能测试

  1. 找到期望测试的 ef 或者设置 ef
    通过‘(二)探索为获得指定召回率,需要设置的查询条件’ 找到期望召回率的 ef;或
    者按需设置自己的 ef 值
  2. 压测查询配置
    在配置文件中,如下使用 8 核压测查询 ef=111 的情况。 注意需要设置 KNNSeekMode
    为 false
    向量数据库 支持大模型,人工智能专栏,数据库,数据库开发,ai,人工智能,容器

压测命令,压测时需要打开–batch 参数,同时设置–runs 为较大值以便长时间运行,如果数据库cpu资源没有打满,可使用多进程同时进行压测

python3 run.py --dataset sift-128-euclidean --local --force --parallelism 1 -algorithm vector_db --definitions=mytest.yml --runs 999 --only_query --batch
  1. 查看压测结果
    腾讯云向量数据库控制台提供了实例的 CPU,内存、QPS,时延等关键性能指标监
    控。可从方便的控制台获取
    向量数据库 支持大模型,人工智能专栏,数据库,数据库开发,ai,人工智能,容器

总结

Tencent Cloud VectorDB的出现,无疑为这些企业提供了一种新的选择。从性能、可靠性和成本效益来看,Tencent Cloud VectorDB有明显优势。一起快来试试吧!!文章来源地址https://www.toymoban.com/news/detail-784325.html

到了这里,关于大模型时代下向量数据库的创新与变革的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 酷克数据简丽荣:“模型热”将引发云计算与数据库行业大变革

    随着LLM智能涌现的发生和API的爆发式发展,各行各业都在关注如何用好通用模型,如何调校好适合自己的行业应用。LLM最重要的输入是数据,最频繁的接口是数据库。模型应用的普及会对数据库产生哪些影响?大模型时代对企业的数据管理能力和范式提出了哪些新的要求?

    2024年02月10日
    浏览(41)
  • 【大模型 向量库】从向量搜索到向量数据库

      向量伴随着 AI 模型的发展而发展。 向量:AI 理解世界的通用数据形式,是多模态数据的压缩。 比如大模型输入输出都是文字文本,但模型实际接触和学习数据是向量化文本。 这个步骤叫 Embedding(嵌入),将文字文本转化为保留语义关系的向量文本。 embedding 模型对自然语

    2024年02月20日
    浏览(39)
  • 大语言模型&向量数据库

    文章来源:A Comprehensive Survey on Vector Database:Storage and Retrieval Technique, Challenge 链接: https://arxiv.org/pdf/2310.11703.pdf Typically, large language models (LLMs) refer to Transformer language models that contain hundreds of billions (or more) of parameters, which are trained on massive text data. On a suite of traditional NLP benchmark

    2024年02月02日
    浏览(47)
  • AI大模型崛起,向量数据库登场

    引言 AI大模型的兴起 2.1 深度学习与大模型 2.2 大模型的挑战 向量数据库的概念与应用 3.1 向量表示与相似度计算 3.2 向量数据库的优势与应用场景 大模型与向量数据库的结合 4.1 向量数据库在大模型中的作用 4.2 大模型与向量数据库的相互促进 技术进展与未来展望 5.1 近期技

    2024年02月15日
    浏览(50)
  • 向量数据库如何解决大语言模型的“幻觉”问题

    向量数据库在解决大语言模型的“幻觉”问题方面可以发挥一定的作用。这个问题通常指的是大型语言模型在生成文本时过度依赖于训练数据,导致生成的内容过于特定,缺乏广泛的泛化性。以下是向量数据库可能采取的一些方法: 多样性的文本表示 : 向量数据库存储了大

    2024年01月17日
    浏览(49)
  • 开源模型应用落地-工具使用篇-向量数据库(三)

    一、前言     通过学习\\\"开源模型应用落地\\\"系列文章,我们成功地建立了一个完整可实施的AI交付流程。现在,我们要引入向量数据库,作为我们AI服务的二级缓存。本文将详细介绍如何使用Milvus Lite来为我们的AI服务部署一个前置缓存。 二、术语 2.1、向量数据库     向量数

    2024年02月19日
    浏览(54)
  • AI大模型低成本快速定制秘诀:RAG和向量数据库

      当今人工智能领域,最受关注的毋庸置疑是大模型。然而,高昂的训练成本、漫长的训练时间等都成为了制约大多数企业入局大模型的关键瓶颈。   这种背景下,向量数据库凭借其独特的优势,成为解决低成本快速定制大模型问题的关键所在。   向量数据库是一种

    2024年02月05日
    浏览(43)
  • AI大模型低成本快速定制法宝:RAG和向量数据库

      当今人工智能领域,最受关注的毋庸置疑是大模型。然而,高昂的训练成本、漫长的训练时间等都成为了制约大多数企业入局大模型的关键瓶颈。   这种背景下,向量数据库凭借其独特的优势,成为解决低成本快速定制大模型问题的关键所在。   向量数据库是一种

    2024年02月05日
    浏览(39)
  • AI大模型的制作:RAG和向量数据库,分别是什么?

    目录 一、什么是 AI 大模型 二、RAG 三、向量数据库 四、如何制作一个好的 AI 大模型 AI大模型是指具有大规模参数和复杂结构的人工智能模型。传统的机器学习模型通常有限的参数量,而AI大模型则通过增加参数量和层数来提升模型的表达能力和性能。这种模型通常使用深度

    2024年02月05日
    浏览(45)
  • 美国大模型风向速报(一)为何重视提示工程?LangChain+向量数据库+开源大模型真香...

    多家,且独家来自美国的信源同时向“亲爱的数据”表示, 提示工程(Prompt Engineering)在美国大模型领域备受重视。 读者都要聊, 那就干活。 (一)开源真香 现阶段,AI开源极客大展身手,新的软件栈正在形成之中。 开源很香,但是开源是零收费,但不是零成本。 甲方着

    2024年02月12日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包