RAG应用开发实战02-相似性检索的关键 - Embedding

相关文章

• 图像检索技术研究：深度度量与深度散列在相似性学习中的应用比较与实践 - 使用Python与Jupyter环境

  引言 在计算机视觉领域，图像检索是一个长期存在并持续受到研究者关注的重要话题。随着大数据时代的到来，如何高效、准确地从海量数据中检索到相似的图像成为一个巨大的挑战。传统的检索方法在大数据环境下表现不佳，而深度学习技术的崛起为图像检索带来了新的机

  2024年02月12日

  浏览(43)

• 常见的相似性度量方法

  有如下几种计算相似性方法： X ⋅ Y = ∣ X ∣ ∣ Y ∣ c o s θ = ∑ i = 1 n x i ∗ y i begin{aligned} X cdot Y = |X||Y|costheta \\\\ = sum_{i=1}^n x_i * y_i end{aligned} X ⋅ Y ​ = ∣ X ∣∣ Y ∣ cos θ = i = 1 ∑ n ​ x i ​ ∗ y i ​ ​ 向量内积的结果是没有界限的，解决办法就是先归一化再相乘，就是

  2024年02月14日

  浏览(43)
• 

  RAG应用开发实战(01)-RAG应用框架和解析器

  第三方的工具去对文件解析拆分，去将我们的文件内容给提取出来，并将我们的文档内容去拆分成一个小的chunk。常见的PDF word mark down, JSON、HTML。都可以有很好的一些模块去把这些文件去进行一个东西去提取。 支持丰富的文档类型 每种文档多样化选择 与开源框架无缝集成

  2024年04月11日

  浏览(46)
• 

  相似性和相异性的度量

  相似度（Similarity）： 两个数据对象相似程度的数值度量； 对象越相似，值越高； 通常在[0, 1]区间取值。 有时候相似度的取值范围可能在[-1, 1]之间，这时正负号包含了一定信息，这种情况下可以保留其符号，而非强行转换到[0, 1]之间。 相异度（Dissimilarity）： 两个对象不同

  2024年02月07日

  浏览(45)
• 

  如何计算2个矩阵的相似性？

  如下图所示，如何计算功能连接和结构连接的矩阵相似性？ 原理 ：把结构矩阵或者功能连接矩阵的上三角矩阵提取出来，然后利用squeeze把上三角矩阵转化为一列，然后计算相关性。 皮尔逊相关系数公式实际上就是在计算夹角余弦之前将两个向量减去各个样本的平均值，达到

  2024年02月13日

  浏览(68)
• 

  矩阵的相似性度量的常用方法

  1，欧氏距离 欧式距离是最易于理解的一种距离计算方法，源自欧式空间中两点间的距离公式。 (1)二维平面上的点 a ( x 1 , y 1 ) a(x_1,y_1) a ( x 1 ​ , y 1 ​ ) 和点 b ( x 2 , y 2 ) b(x_2,y_2) b ( x 2 ​ , y 2 ​ ) 的欧式距离为 d = ( x 1 − x 2 ) 2 + ( y 1 − y 2 ) 2 d=sqrt{(x_1-x_2)^2+(y_1-y_2)^2} d = (

  2024年02月07日

  浏览(41)
• 

  图像质量评估算法SSIM（结构相似性）

  由于最近在阅读图像超分辨率方面的RCAN论文，里面涉及到了两幅图像之间的相似性，所以就引入了这个指标，并最终使用pyhton进行实现。结构相似性，是一种衡量两幅图像相似度的指标。该指标首先由德州大学奥斯丁分校的图像和视频工程实验室(Laboratory for Image and Video Eng

  2024年01月18日

  浏览(96)
• 

  相似性搜索：第 7 部分--LSH 组合物

  Vyacheslav Efimov – Medium S 相似性搜索 是一个问题，给定一个查询，目标是在所有数据库文档中找到与其最相似的文档。         在数据科学中，相似性搜索经常出现在 NLP 领域、搜索引擎或推荐系统中，其中需要检索最相关的文档或项目以进行查询。有多种不同的方法可以

  2024年02月07日

  浏览(41)
• 

  安全研究 # 二进制代码相似性检测综述

  本文参考： [1]方磊,武泽慧,魏强.二进制代码相似性检测技术综述[J].计算机科学,2021,48(05):1-8. (信息工程大学数学工程与先进计算国家重点实验室, 国家重点研发课题,北大核心) 代码相似性检测常用于 代码预测 、 知识产权保护 和 漏洞搜索 等领域，可分为 源代码相似性检测

  2024年02月02日

  浏览(40)

• 相似性度量（距离度量）方法（一）：基本种类与公式

  相似性度量（或距离度量）方法在多元统计中的聚类分析、判别分析中的距离判别法、泛函分析、机器学习等方面都有应用。所以对于数据分析、机器学习等方面，掌握相似性的不同度量方法是十分重要且必要的。 相似性度量与距离度量本质上是同一件事情。如果两组数据之

  2024年01月24日

  浏览(41)