MinHash-LSH 哈希模糊去重:如何解决医学大模型的大规模数据去重?

这篇具有很好参考价值的文章主要介绍了MinHash-LSH 哈希模糊去重:如何解决医学大模型的大规模数据去重?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

 


大模型的数据问题

问题:训练医学大模型的数据规模真的很大,其中会夹杂很多重复数据。

重复数据对于大模型微调也有较大影响,数据集必须去重后再用于模型训练。

临床数据:

  • 20 亿条文本数据

教材数据:

  • 1000+ 本指南
  • 7万+ 药品说明书
  • N 个科室疾病培训数据
  • N 本古籍、教材

开源数据:

  • 中文医学命名实体识别CMedEE

  • 中文医学文本实体关系抽取CMedIE

  • 临床术语标准化任务CHIP-CDN

  • 临床试验筛选标准短文本分类CHIP-CTC

  • 平安医疗科技疾病问答迁移学习CHIP-STS

  • 医疗搜索检索词意图分类KUAKE-QIC

  • 医疗搜索查询词—页面标题相关性KUAKE-QTR

  • 医疗搜索查询词—查询词相关性KUAKE-QQR

  • 中文医学命名实体识别CMedEE

  • 中文医学文本实体关系抽取CMedIE

  • 临床术语标准化任务CHIP-CDN

  • 临床试验筛选标准短文本分类CHIP-CTC

  • 平安医疗科技疾病问答迁移学习CHIP-STS

  • 医疗搜索检索词—意图分类KUAKE-QIC

  • 医疗搜索查询词—页面标题相关性KUAKE-QTR

  • 医疗搜索查询词—查询词相关性KUAKE-QQR

  • 医疗搜索查询词—相关性检索KUAKE-IR

  • 阴阳性实体判别CHIP-MDCFNPC

  • 对话实体抽取IMCS-V2-NER

  • 意图标签分类IMCS-V2-DAC

  • 智能诊疗对话症状识别IMCS-V2-SR

  • 诊疗报告生成IMCS-V2-MRG

  • 医疗对话生成MedDG

  • MedDialog-CN https://github.com/UCSD-AI4H/Medical-Dialogue-System

  • IMCS-V2 https://github.com/lemuria-wchen/imcs21

  • CHIP-MDCFNPC https://tianchi.aliyun.com/dataset/95414

  • MedDG https://tianchi.aliyun.com/dataset/95414

  • cMedQA2 https://github.com/zhangsheng93/cMedQA2

  • Toyhom https://github.com/Toyhom/Chinese-medical-dialogue-data

  • michaelwzhu/ChatMed-Consult michaelwzhu/ChatMed-Consult · Hugging Face

  • Huatuo-26M https://github.com/FreedomIntelligence/Huatuo-26M

  • Medical https://huggingface.co/datasets/shibing624/medical

  • 复旦DISC-MedLLM https://github.com/FudanDISC/DISC-MedLLM

  • DoctorGLM https://zhuanlan.zhihu.com/p/657058443

  • MedicalGPT https://zhuanlan.zhihu.com/p/657058443

  • ChatMed:https://zhuanlan.zhihu.com/p/657058443

  • MedQA-ChatGLM:https://zhuanlan.zhihu.com/p/657058443

  • 神农中医药大模型:https://zhuanlan.zhihu.com/p/657058443

  • 70B医学大模型:https://huggingface.co/datasets/epfl-llm/guidelines

  • 澳门理工caregpt:https://github.com/WangRongsheng/CareGPT

MinHash-LSH 最小哈希 + 局部敏感哈希:大规模数据集去重优化

怎么去重呢?

要用到一个炒鸡牛逼的算法:MinHash-LSH

谷歌、亚马逊等公司的许多核心功能都是 MinHash-LSH 实现的。

  • 解法:MinHash-LSH
  • 问题特征:能在大数据中,寻找特征向量相似又不完全相同的情况下,找出尽可能近的样本。
  • 应用场景:亚马逊根据相似度最高的买家的购买历史找到新的商品推荐、谷歌搜索字词与 Google 的索引互联网之间执行相似性搜索、Spotify根据用户音乐风格,寻找匹配的相似度

当有 30 亿级别的集合需要比较时,使用传统的全对全比较方法(即比较任意两个集合是否相似)将变得非常耗时,这种方法的时间复杂度是 O(n^2),随着集合数量的增加,所需的计算时间呈平方级增长。

在很多实际情况下,绝大多数的集合对之间都不相似,这意味着全对全比较中的大部分计算实际上是无用功。

如果能有一种方法能够快速地将可能相似的集合对筛选出来,只对这些潜在相似的集合对进行详细的相似度计算,那么就可以大幅度降低计算成本。

MinHash 和局部敏感哈希(LSH)就是这样一种解决方案:

  • MinHash 是一种哈希技术,可以用来有效地估计集合之间的Jaccard相似度

  • LSH 是用来将那些相似度高的集合哈希到相同的桶中的技术。

只有被哈希到同一个桶中的集合对才需要进行相似度比较,大大减少了比较的数量,从而降低了算法的整体时间复杂度。

时间复杂度从 平方量级 降低到 接近线性复杂度。

MinHash-LSH 的设计逻辑:

  • 一般的hash,原内容发生微小变化后,hash值的变化是无法预估的。
  • 字符串改一个字母后,整个字符串md5变得完全不一样,图片改一个像素后hash值也变得完全不一样。
  • 局部敏感hash的改进在于,原内容发生微小变化后,其hash值也只发生微小变化。
  • 从而满足原内容相近hash值也相近的良好性质。
  • 这种性质的好处在于,可以在hash空间进行近邻检索。

怎么实现这种逻辑呢?

  • 从对内容敏感的信息,变成,对位置敏感的哈希
  • 这种哈希算法,得到的哈希值(或者说指纹),在向量空间中的位置是“敏感”的
  • 两个指纹在向量空间中的相对位置是有意义的,近就是真的近,远就是真的远
  • 而不是如md5一样,在向量空间中的远近和实际含义的远近无关系

Jaccard相似度:用于比较样本集之间的相似性

Jaccard相似度的定义是两个集合交集大小与并集大小之比。

具体来说,如果有两个集合A和B,那么ta们之间的 Jaccard 相似度:

  • [ J ( A , B ) = ∣ A ∩ B ∣ ∣ A ∪ B ∣ ] [ J(A, B) = \frac{|A \cap B|}{|A \cup B|} ] [J(A,B)=ABAB]

∣ A ∩ B ∣ |A ∩ B| AB 表示集合A和集合B的交集中元素的数量。

∣ A ∪ B ∣ |A ∪ B| AB 表示集合A和集合B的并集中元素的数量。

举个列子,集合X = {a,b,c},Y = {q,a,b}。

那 Jac(X,Y) = 2 / 3 = 0.67。

X 和 Y 有 67% 的元素相同。

Jaccard相似度的值范围在0到1之间:

  • 0 表示没有共同元素,即两个集合完全不相似
  • 1 表示两个集合完全相同
  • 在0到1之间的值表示集合之间的部分相似性

Jaccard相似度越高,表示两个集合的相似度越大。

在数据处理中,我们可以使用 jieba 分词库,把一句话分词成各个元素后,计算相似度。

query1 = ["ta喜欢的水果有?"]                          # 分词前
query1 = ['ta', '喜欢', '的', '水果', '有', '?']      # 分词后

query2 = ["ta喜欢的坚果有?"]                          # 分词前
query2 = ['ta', '喜欢', '的', '坚果', '有', '?']      # 分词后

降维技术 Minhash

直接计算数据之间的相似度(Jaccard相似度)会非常耗时,每个集合里面的元素,俩俩比较。

如果大部分集合对之间的相似度都很低,进行俩俩比较会做很多无用功。

传统的方法需要对两个集合的每个元素进行一对一的比较,以确定ta们的相似性。

MinHash 算法通过为每个集合生成一个固定长度的标签(哈希函数产生签名),来代表集合的特征。

  • 原本复杂的集合相似性比较,简化为标签(MinHash值)的比较
  • 比较签名的成本,远低于比较完整的集合

这些签名保留了集合间相似度的信息,还能保持原始数据的相似性。

  • 如果两个集合很相似,Minhash 值也会很相似

但单个 MinHash 值可能无法准确地反映两个集合的相似性,可能是一个偶然的匹配。

在实际应用中,我们会使用数百或数千个哈希函数来增加估计的准确性。

如果大多数哈希函数产生的MinHash值都相同,我们可以有更高的信心认为两个集合是相似的。

  • 解法:MinHash
  • 问题特征:在高维空间中估计稀疏数据集合的相似性,特别是当直接计算成对相似度不可行时。如需要快速而精确地估计大型数据集中集合之间的Jaccard相似度。
  • 应用场景:文本处理中比较文档相似性,如新闻聚类、查重系统;生物信息学中比较基因组序列;推荐系统中评估用户间或物品间的相似性。

这里是为了应用,具体数学公式、概率证明,请猛击《原始论文》。

LSH – 局部敏感哈希

LSH 函数旨在将相似的值放入相同的存储桶中。

lemuria-wchen / imcs21-cblue/task4,医学大模型,算法

LSH 的核心思想是将相似的数据点映射到相同的“桶”(buckets)中,而不相似的点映射到不同的桶中。

这样,当需要找到一个数据点的最近邻时,可以仅在相同桶中的点之间进行搜索,而不是在整个数据集中搜索,大大降低了计算量。

LSH 是基于哈希的技术,其特点是保持局部相似性:相似的输入在哈希后应该产生相似或相同的哈希值。

与传统哈希函数不同,LSH 的目的不是为了避免冲突,而是为了让冲突更可能发生在相似的项之间。

LSH 的具体实现方式有很多,最常见的包括:

  1. MinHash LSH:适用于度量集合相似性(如Jaccard相似性)的LSH。MinHash 将每个集合转换成一个固定长度的签名,该签名是由多个最小哈希值组成的向量,这些最小哈希值由集合中的元素通过多个哈希函数计算得到。

  2. SimHash LSH:用于处理高维特征向量的文本或其他数据的相似性。SimHash 通过哈希函数将特征向量转换为一个固定长度的位串,这样,相似的数据点会产生相似的位串。

  3. Euclidean LSH:适用于欧几里得空间中的数据点。它使用超平面将空间划分成不同的区域,并将落在同一区域内的点映射到同一个桶中。

LSH 算法的详细步骤如下:

  1. 选择适合的 LSH 家族:根据数据的性质和相似性度量选择合适的 LSH 函数。

  2. 定义哈希表和哈希函数:创建多个哈希表,并为每个哈希表定义一个或多个 LSH 函数。

  3. 哈希和存储数据点:使用定义的哈希函数将数据点映射到各自的桶中。

  4. 查询过程:在查询最近邻时,首先计算查询点的哈希值,然后只在对应桶中的点集合中进行搜索,这样可以快速缩小搜寻范围。

LSH 的效率和精度受到哈希函数个数、哈希表数量和桶的大小等参数的影响。

在应用中,这些参数需要根据具体应用进行调整以达到最佳效果。

由于 LSH 是一种概率算法,允许少量的误报(false positives)和漏报(false negatives),但在实际应用中,这通常是可接受的,特别是在处理大规模数据集时,ta提供了显著的速度优势。

  • 解法:LSH(局部敏感哈希)
  • 问题特征:当数据量很大,使得对所有可能的数据对进行比较变得不可行时,需要一种方法能够高效地查找和查询近似最近邻
  • 应用场景:大规模图像或视频检索系统,寻找视觉上相似的内容;文本或文章数据库中寻找相似文档;音频或声音样本匹配;大型数据库中的快速相似项查找

MinHash-LSH 多个开源数据集去重

配置环境包:

pip install jieba datasketch  

MinHash-LSH 代码:

import jieba
import re  # 假设这里应该导入 re 而不是 ro
from datasketch import MinHash, MinHashLSH

query = "想人想得厉害的时候,也是淡淡的。像饿了很多日的旅人闻到炊烟,但知道不是自家的。"

sentences = ["想人想得厉害的时候,也是轻轻的。像漂泊很多日的旅人闻到炊烟,但知道不是返乡的。",
             "梦中梦见心上人,也是轻轻的。像漂泊良久的游子见到归帆,却明白并非返乡的。"]

regex = re.compile(",|。")

def split_word(sentence):
    global regex
    return [word for word in jieba.lcut(re.sub(regex, '', sentence)) if word.strip()]

query_lcut = split_word(query)
sentences_lcut = [split_word(sentence) for sentence in sentences]
print(query_lcut)
print(sentences_lcut)

'''
print(query_lcut):
['想人', '想', '得', '厉害', '的', '时候', '也', '是', '淡淡的', '像', '饿', '了', '很多', '日', '的', '旅人', '闻到', '炊烟', '但', '知道', '不是', '自家', '的']
[]

print(sentences_lcut):[
['想人', '想', '得', '厉害', '的', '时候', '也', '是', '轻轻', '的', '像', '漂泊', '很多', '日', '的', '旅人', '闻到', '炊烟', '但', '知道', '不是', '返乡', '的']
['梦中', '梦见', '心上人', ',', '也', '是', '轻轻', '的', '像', '漂泊', '良久', '的', '游子', '见到', '归帆', '却', '明白', '并非', '返乡', '的']
'''

threshold = 0.5   # 相似度 > 0.5
num_perm = 128
lsh = MinHashLSH(threshold=threshold, num_perm=num_perm)
for idx, sentence_lcut in enumerate(sentences_lcut):
    minhash = MinHash(num_perm=num_perm)
    minhash.update_batch([word.encode('utf-8') for word in sentence_lcut])
    lsh.insert("minhash_sentence_{}".format(idx+1), minhash)

print(list(lsh.keys))
# 输出:['minhash_sentence_1', 'minhash_sentence_2']

minhash_query = MinHash(num_perm=num_perm)
minhash_query.update_batch([word.encode('utf-8') for word in query_lcut])
simi_result = lsh.query(minhash_query)
print("Jaccard相似度 > {} 的句子有:{}".format(threshold, simi_result))
# 输出:Jaccard相似度 > 0.5 的句子有:['minhash_sentence_1']  
 
 
# 删除 minhash_sentence_1,从 LSH 中移除查询到的结果,需要对 simi_result 进行遍历
for key in simi_result:
    lsh.remove(key)

print(list(lsh.keys))
# 输出:['minhash_sentence_2']

去重多个开源文件所有数据:文章来源地址https://www.toymoban.com/news/detail-803427.html

import jieba
import re
from datasketch import MinHash, MinHashLSH

# 此函数用于分词
def split_word(sentence):
    regex = re.compile(",|。|?|!")
    return [word for word in jieba.lcut(re.sub(regex, '', sentence)) if word.strip()]

# 配置参数
threshold = 0.5   # 相似度阈值
num_perm = 128    # MinHash的排列次数

# 初始化LSH对象
lsh = MinHashLSH(threshold=threshold, num_perm=num_perm)

# 假设你有一个函数来获取多个开源文件下所有问答对
# def get_qa_pairs():
#     # 这里应该包含读取文件并返回所有问答回答的代码
#     return qa_pairs

# 读取所有问答回答对
qa_pairs = get_qa_pairs()

# 为每个问答回答创建MinHash并加入LSH
for idx, qa_pair in enumerate(qa_pairs):
    q, a = qa_pair                                   # 假设qa_pair是一个包含问题和答案的元组
    combined_text = q + " " + a                      # 可以根据需要将问题和答案合并或分别处理
    words = split_word(combined_text)
    minhash = MinHash(num_perm=num_perm)
    for word in words:
        minhash.update(word.encode('utf-8'))
    lsh.insert("qa_pair_{}".format(idx), minhash)

# 查询并去重
unique_qa_pairs = []
for idx, qa_pair in enumerate(qa_pairs):
    q, a = qa_pair
    combined_text = q + " " + a
    words = split_word(combined_text)
    minhash = MinHash(num_perm=num_perm)
    for word in words:
        minhash.update(word.encode('utf-8'))
    # 查询相似问答回答
    result = lsh.query(minhash)
    # 如果只有自己或没有其他相似项,则视为唯一
    if len(result) <= 1 or (len(result) == 2 and "qa_pair_{}".format(idx) in result):
        unique_qa_pairs.append(qa_pair)
        # 将此问答回答标记为唯一,可选步骤
        lsh.remove("qa_pair_{}".format(idx))

# 输出去重后的问答对
print(unique_qa_pairs)

到了这里,关于MinHash-LSH 哈希模糊去重:如何解决医学大模型的大规模数据去重?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • HashMap如何解决哈希冲突?

    了解Hash冲突首先了解Hash算法和Hash表 Hash算法就是把任意长度的输入通过散列算法变成固定长度的输出,这个输出结果就是一个散列值 Hash表又叫做“散列表”,它是通过key直接访问到内存存储位置的数据结构,在具体的实现上,我们通过Hash函数,把key映射到表中的某个位置

    2023年04月12日
    浏览(43)
  • 深度解读:如何解决Image-to-Video模型视频生成模糊的问题?

    Diffusion Models视频生成-博客汇总 前言 :目前Image-to-Video的视频生成模型,图片一般会经过VAE Encoder和Image precessor,导致图片中的信息会受到较大损失,生成的视频在细节信息上与输入的图片有较大的出入。这篇博客结合最新的论文和代码,讲解如何解决Image-to-Video模型视频生成

    2024年04月09日
    浏览(37)
  • 相似性搜索:第 7 部分--LSH 组合物

    Vyacheslav Efimov – Medium S 相似性搜索 是一个问题,给定一个查询,目标是在所有数据库文档中找到与其最相似的文档。         在数据科学中,相似性搜索经常出现在 NLP 领域、搜索引擎或推荐系统中,其中需要检索最相关的文档或项目以进行查询。有多种不同的方法可以

    2024年02月07日
    浏览(41)
  • MySQL中去重 distinct 和 group by 是如何去重的

     测试1:对name 字段进行过滤  测试2:对所有的字段进行去重。   对比测试1和测试2 发现, distinct 可以对 单一字段进行去重 ,当对所有的字段去重时,只有 不同数据的每个字段完全一样的数据被 去掉,其他只有一个字段重复的数据并没有变化,因此得出结论: distinct主要

    2024年02月07日
    浏览(51)
  • FlinkSql 如何实现数据去重?

    很多时候flink消费上游kafka的数据是有重复的,因此有时候我们想数据在落盘之前进行去重,这在实际开发中具有广泛的应用场景,此处不说详细代码,只粘贴相应的flinksql

    2024年02月10日
    浏览(34)
  • 模糊综合评价指标如何计算?四种模糊算子如何计算?

      模糊综合评价借助模糊数学的一些概念,对实际的综合评价问题提供评价,即模糊综合评价以模糊数学为基础,应用模糊关系合成原理,将一些边界不清、不易定量的因素定量化,进而进行综合性评价的一种方法。 SPSSAU操作 (1)点击SPSSAU综合评价里面的‘模糊综合评价’

    2024年02月04日
    浏览(46)
  • [实战-10]FlinkSql 如何实现数据去重?

    很多时候flink消费上游kafka的数据是有重复的,因此有时候我们想数据在落盘之前进行去重,这在实际开发中具有广泛的应用场景,此处不说详细代码,只粘贴相应的flinksql

    2024年02月03日
    浏览(38)
  • Python高频面试题——如何实现列表去重

      在招聘Python自动化测试岗位面试时,最常问的一个编码实战问题就是: 一个包含多个值的列表,但存在重复值,如何实现去重?当然大家也可以结合实际业务情况进行提问,例如:统计今天有多少个不同的用户使用了系统等等,这样更能看出被面试的同学是不是在背题目

    2024年02月16日
    浏览(36)
  • 40亿个QQ号,限制1G内存,如何去重?

    60亿个URL,限制1G内存,如何去重? 60亿个unsigned int,如果直接用内存存储的话,需要: 4*6000000000 /1024/1024/1024 = 22.35G ,考虑到其中有一些重复的话,那1G的空间也基本上是不够用的。 想要实现这个功能,可以借助位图。 使用位图的话,一个数字只需要占用1个bit,那么60亿个

    2024年02月06日
    浏览(39)
  • ChatGPT是如何教你视频去重的

    ​ 对于很多自媒体和视频剪辑从业者来说,视频去重是家常便饭了,去重有各种各样的方法和教程,但到底平台是如何识别去重的,哪些去重有效,又该选择怎样的去重方式,小编今天为替大家问了问万能的chatgpt,看看chatgpt是如何回答关于视频去重问题的!   问:有哪些对

    2023年04月17日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包