Elasticsearch:将最大内积引入 Lucene

这篇具有很好参考价值的文章主要介绍了Elasticsearch:将最大内积引入 Lucene。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

作者:Benjamin Trent

Elasticsearch:将最大内积引入 Lucene,Elasticsearch,AI,Elastic,elasticsearch,lucene,大数据,搜索引擎,全文检索,人工智能

目前,Lucene 限制 dot_product (点积) 只能在标准化向量上使用。 归一化迫使所有向量幅度等于一。 虽然在许多情况下这是可以接受的,但它可能会导致某些数据集的相关性问题。 一个典型的例子是 Cohere 构建的嵌入(embeddings)。 它们的向量使用幅度来提供更多相关信息。

那么,为什么不允许点积中存在非归一化向量,从而实现最大内积呢? 有什么大不了的?

负值和 Lucene 优化

Lucene要求分数非负,因此在析取 (disjunctive query) 查询中多匹配一个子句只能使分数更高,而不是更低。 这实际上对于动态修剪优化(例如 block-max WAND)非常重要,如果某些子句可能产生负分数,则其效率会大大降低。 此要求如何影响非标准化向量?

在归一化情况下,所有向量都在单位球面上。 这允许通过简单的缩放来处理负分数。

Elasticsearch:将最大内积引入 Lucene,Elasticsearch,AI,Elastic,elasticsearch,lucene,大数据,搜索引擎,全文检索,人工智能
图 1:二维单位球体(例如单位圆)中的两个相反的二维向量。 在这里计算点积时,最糟糕的情况是 -1 = [1, 0] * [-1, 0]。 Lucene 通过向结果加 1 来解决这一问题。

当向量保持其大小时,可能值的范围是未知的。

Elasticsearch:将最大内积引入 Lucene,Elasticsearch,AI,Elastic,elasticsearch,lucene,大数据,搜索引擎,全文检索,人工智能
图 2:计算这些向量的点积时 [2, 2] \* [-5, -5] = -20

为了允许 Lucene 将 blockMax WAND 与非标准化向量结合使用,我们必须缩放分数。 这是一个相当简单的解决方案。 Lucene 将使用简单的分段函数缩放非标准化向量:

if (dotProduct < 0) {
  return 1 / (1 + -1 * dotProduct);
}
return dotProduct + 1;

现在,所有负分数都在 0 -1 之间,所有正分数都在 1 以上。这仍然可以确保较高的值意味着更好的匹配并消除负分数。 很简单,但这不是最后的障碍。

三角形问题

最大内积不遵循与简单欧几里得空间相同的规则。 三角不等式的简单假设知识被抛弃。 不直观的是,向量不再最接近其自身。 这可能会令人不安。 Lucene 的向量底层索引结构是分层可导航小世界 (HNSW)。 这是基于图的算法,它可能依赖于欧几里得空间假设。 或者在非欧几里得空间中探索图会太慢吗?

一些研究表明,快速搜索需要转换到欧几里得空间。 其他人则经历了更新向量存储以强制转换为欧几里得空间的麻烦。

这导致我们停下来深入挖掘一些数据。 关键问题是:HNSW 是否通过最大内积搜索提供良好的召回率和延迟? 虽然 HNSW 最初的论文和其他已发表的研究表明确实如此,但我们需要进行尽职调查。

我们进行的实验很简单。 所有的实验都是在真实数据集或稍微修改的真实数据集上进行的。 这对于基准测试至关重要,因为现代神经网络创建符合特定特征的向量(请参阅本文第 7.8 节中的讨论)。 我们测量了非标准化向量的延迟(以毫秒为单位)与召回率。 将数字与具有相同测量值但采用欧几里德空间变换的数字进行比较。 在每种情况下,向量都被索引到 Lucene 的 HNSW 实现中,并且我们测量了 1000 次查询迭代。 每个数据集考虑了三种单独的情况:按大小顺序插入的数据(从小到大)、按随机顺序插入的数据以及按相反顺序插入的数据(从大到小)。

以下是 Cohere 真实数据集的一些结果:

图 3:以下是嵌入维基百科文章的 Cohere 多语言模型的结果。 可在 HuggingFace 上找到。 前 10 万份文档已建立索引并进行了测试。
Elasticsearch:将最大内积引入 Lucene,Elasticsearch,AI,Elastic,elasticsearch,lucene,大数据,搜索引擎,全文检索,人工智能 Elasticsearch:将最大内积引入 Lucene,Elasticsearch,AI,Elastic,elasticsearch,lucene,大数据,搜索引擎,全文检索,人工智能

Elasticsearch:将最大内积引入 Lucene,Elasticsearch,AI,Elastic,elasticsearch,lucene,大数据,搜索引擎,全文检索,人工智能

图 4:这是 Cohere 在维基百科上的英语和日语嵌入的混合。 这两个数据集都可以在 HuggingFace 上找到。
Elasticsearch:将最大内积引入 Lucene,Elasticsearch,AI,Elastic,elasticsearch,lucene,大数据,搜索引擎,全文检索,人工智能 Elasticsearch:将最大内积引入 Lucene,Elasticsearch,AI,Elastic,elasticsearch,lucene,大数据,搜索引擎,全文检索,人工智能
Elasticsearch:将最大内积引入 Lucene,Elasticsearch,AI,Elastic,elasticsearch,lucene,大数据,搜索引擎,全文检索,人工智能

我们还针对一些合成数据集进行了测试,以确保我们的严谨性。 我们使用 e5-small-v2 创建了一个数据集,并通过不同的统计分布缩放了向量的大小。 为了简洁起见,我将仅显示两个分布。

图 5: 幅度  Pareto distribution 。 pareto distribution 具有“肥尾”,这意味着分布的一部分的幅度比其他部分大得多。
Elasticsearch:将最大内积引入 Lucene,Elasticsearch,AI,Elastic,elasticsearch,lucene,大数据,搜索引擎,全文检索,人工智能 Elasticsearch:将最大内积引入 Lucene,Elasticsearch,AI,Elastic,elasticsearch,lucene,大数据,搜索引擎,全文检索,人工智能
Elasticsearch:将最大内积引入 Lucene,Elasticsearch,AI,Elastic,elasticsearch,lucene,大数据,搜索引擎,全文检索,人工智能

图 6:幅度的伽马分布。 这种分布可能具有很高的方差,并使其在我们的实验中独一无二。

在我们所有的实验中,唯一需要进行转换的是使用伽玛分布创建的合成数据集。 即使这样,向量也必须以相反的顺序插入,首先是最大幅度,以证明变换的合理性。 这些都是例外情况。

如果你想了解所有实验以及整个过程中的所有错误和改进,请参阅 Lucene Github 问题,其中包含所有详细信息(以及过程中的错误)。 这是一个开放式研究和开发的项目!

结论

这是一个相当长的旅程,需要进行多次调查才能确保 Lucene 能够支持最大内积。 我们相信数据不言自明。 无需进行重大转换或对 Lucene 进行重大更改。 所有这些工作将很快解锁 Elasticsearch 的最大内积支持,并允许 Cohere 提供的模型成为 Elastic Stack 中的一等公民。

注:最大内积已经在 8.11 中进行了支持!

原文:Bringing Maximum-Inner-Product into Lucene — Elastic Search Labs文章来源地址https://www.toymoban.com/news/detail-754510.html

到了这里,关于Elasticsearch:将最大内积引入 Lucene的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Lucene和Solr和Elasticsearch区别,全文检索引擎工具包Lucene索引流程和搜索流程实操

    我们生活中的数据总体分为两种: 结构化数据和非结构化数据 。 结构化数据 :指具有固定格式或有限长度的数据,如数据库,元数据等。 非结构化数据 :指不定长或无固定格式的数据,如 互联网数据、邮件,word文档等。 非结构化数据又有一种叫法叫全文数据 按照数据的

    2024年02月03日
    浏览(42)
  • 掌握它才说明你真正懂 Elasticsearch - Lucene (一)

    Lucene 简介 Lucene 是一种高性能、可伸缩的信息搜索(IR)库,在 2000 年开源,最初由鼎鼎大名的 Doug Cutting 开发,是基于 Java 实现的高性能的开源项目。 Lucene 采用了基于倒排表的设计原理,可以非常高效地实现文本查找,在底层采用了分段的存储模式,使它在读写时几乎完全

    2024年02月03日
    浏览(79)
  • ElasticSearch学习篇10_Lucene数据存储之BKD动态磁盘树

    基础的数据结构如二叉树衍生的的平衡二叉搜索树通过左旋右旋调整树的平衡维护数据,靠着二分算法能满足一维度数据的logN时间复杂度的近似搜索。对于大规模多维度数据近似搜索,Lucene采用一种BKD结构,该结构能很好的空间利用率和性能。 本片博客主要学习常见的多维

    2024年03月15日
    浏览(46)
  • 从根上理解elasticsearch(lucene)查询原理(1)-lucece查询逻辑介绍

    大家好,最近在做一些elasticsearch 慢查询优化的事情,通常用分析elasticsearch 慢查询的时候可以通过profile api 去分析,分析结果显示的底层lucene在搜索过程中使用到的函数调用。所以要想彻底弄懂elasticsearch慢查询的原因,还必须将lucene的查询原理搞懂,今天我们就先来介绍下

    2024年02月04日
    浏览(38)
  • ElasticSearch学习篇8_Lucene之数据存储(Stored Field、DocValue、BKD Tree)

    Lucene全文检索主要分为索引、搜索两个过程,对于索引过程就是将文档磁盘存储然后按照指定格式构建索引文件,其中涉及数据存储一些压缩、数据结构设计还是很巧妙的,下面主要记录学习过程中的StoredField、DocValue以及磁盘BKD Tree的一些相关知识。 参考: https://juejin.cn/p

    2024年02月03日
    浏览(32)
  • ClassNotFoundException: org.elasticsearch.client.Cancellable 和nosuchfielderror:lucene_8_0_0

    一天时间都在解决这个问题。做一下笔记吧 在做springcloud整合es7.6.2出现了一些问题。 两个主要的报错: 先解决第一个: ClassNotFoundException: org.elasticsearch.client.Cancellable 我的maven配置 配置类也配置了 然后在启动时就报了以下错误 看了一下相关的博客,得出是版本依赖不一致的

    2024年02月04日
    浏览(42)
  • elasticsearch中的数据类型search_as_you_type及查看底层Lucene索引

    search_as_you_type字段类型用于自动补全,当用户输入搜索的时候,还没输完就可以提示用户相关内容。as_you_type应该是说当你打字的时候。它会给索引里的这个类型的字段添加一些子字段_2gram _3gram和_index_prefix。_2gram的意思是,如果一个值是abcd, 2 gram就是ab bc cd, 3 gram就是

    2024年02月12日
    浏览(48)
  • Elasticsearch 8.9 refresh刷Es缓冲区的数据到Lucene,更新segemnt,使数据可见

    下面的图来自ElasticSearch——刷盘原理流程,这篇文章主要讲的是refresh命令把ES写入索引缓冲区的数据刷进Lucene,使数据可供查询,搜索,否则,在索引缓冲区是不可见的,不涉及到在 translog.log 和 Lucene 的数据结构。 通过这个流程知道ES如何把索引缓冲区的数据刷进Lucene的,

    2024年02月04日
    浏览(41)
  • Elastic 8.12:AI Assistant for Observability 正式发布,更新至 Apache Lucene 9.9

    作者:来自 Elastic Brian Bergholm 今天,我们很高兴地宣布 Elastic® 8.12 全面上市。 8.12 版本的两个最重要的组成部分包括 Elastic AI Assistant for Observability 的 正式发布版 和 Apache Lucene 9.9 的更新(有史以来最快的版本),其中 Elastic 为服务客户用例而贡献了关键创新。 解决方案的其

    2024年01月19日
    浏览(31)
  • vue3项目中引入dialog插件,支持最大最小化、还原、拖拽

    效果图:  上图是layui-vue组件库中的layer插件,我的项目使用的是element-plus组件库,在用不上layui组件库的情况下,就单独引入 @layui/layer-vue 这个弹层插件就可以了 npm地址:@layui/layer-vue - npm layui-vue组件库地址:Layui - Vue 前端 UI 框架  使用方式: 1.按照npm地址的Readme操作,在

    2024年02月14日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包