利用PaddleNLP进行文本数据脱敏

这篇具有很好参考价值的文章主要介绍了利用PaddleNLP进行文本数据脱敏。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

最近在脱敏一些客服数据,同事用正则进行了一些处理,但是感觉针对人名、数量等信息还是无法处理,例如“北方种植了很多李子树”,李子树有可能被识别为人名,又如“美国采购坦克1005台,价值4500万比索”,如果之前的正则中没有“台”和“比索”两个词汇,就无法识别。

如果在脱敏过程中忽略了人名、数量等信息,可能造成严重后果。因此尝试使用了paddlenlp中的taskflow进行处理。主要思路就是利用ner工具,识别出所需的信息,并进行替换。整体效果如下:

原始段落:

昆明市公安局毒品中心调查人员江涛和刘明接到市指挥中心通知,前往边境进行毒品打击。10月15日开始在云南省楚雄市刘家洼村进行伏击,随身携带冲锋枪两只,手榴弹4枚。经过13天的等待后,并未抓获嫌疑人。经调查,10月15日傍晚,刘明私自外出会见了可疑分子并交换情报,收受了贿赂4500元,导致抓捕失败。省公安厅查明情况后,决定逮捕刘明。

处理结果:

昆明市公安局毒品中心调查人员【人员_1】和【人员_2】接到【地区_1】指挥中心通知,前往边境进行毒品打击。【时间_1】开始在【地区_2】【地区_3】【地区_4】进行伏击,随身携带冲锋枪【数量_1】,手榴弹【数量_2】。经过13天的等待后,并未抓获嫌疑人。经调查,【时间_2】,【人员_2】私自外出会见了可疑分子并交换情报,收受了贿赂【数量_3】,导致抓捕失败。省公安厅查明情况后,决定逮捕【人员_2】。

在脱敏过程中,如果简单的利用“*”代替原始的敏感内容,可能会造成很多歧义,因此处理时可以参照上面“引用结果”中的形式进行处理。如果不这样处理,可能会影响可读性(阅读者需要自己联想,星号内容究竟是地名还是人名),甚至导致无法阅读(例如上文,将所有的人名都换成星号,你将无法判断是谁会见了可疑分子):

传统处理方式:

昆明市公安局毒品中心调查人员**和**接到***指挥中心通知,前往边境进行毒品打击。******开始在*************进行伏击,随身携带冲锋枪**,手榴弹**。经过13天的等待后,并未抓获嫌疑人。经调查,******,**私自外出会见了可疑分子并交换情报,收受了贿赂*****,导致抓捕失败。省公安厅查明情况后,决定逮捕**。

目前可以处理数量、地名、场所、人名、时间等五种信息,利用正则表达式(replace_long_substrings)还可以处理一些常见的数字/字母混合字符串(例如手机号、订单编号等)。

处理代码如下:

from paddlenlp import Taskflow
ner= Taskflow("ner")

# 匹配长度超过5个字符的子串,由阿拉伯数字、常见标点符号、英文大小写字母组成,并用星号代替
# 可以针对订单编号、用户手机号等信息进行处理
def replace_long_substrings(s):

    pattern = r'[A-Za-z0-9!@$%^&*()+-_#]{5,}'
    str_index=1
    
    # 使用正则表达式查找所有匹配的子串
    matches = re.findall(pattern, s)
    
    # 遍历所有匹配的子串,替换为5个星号
    for match in matches:
        s = s.replace(match, "【符号串_"+str(str_index)+"】", 1)  # 只替换一次
        str_index+=1
    
    return s

# 判断一个字符串中是否包含中文数字或英文数字
def contains_chinese_and_english_numbers(s):  

    
    # 匹配中文数字的正则表达式  
    chinese_number_pattern = re.compile(r'[一二三四五六七八九十零壹贰叁肆伍陆柒捌玖拾]+')  
      
    # 匹配英文数字的正则表达式  
    english_number_pattern = re.compile(r'[0-9]+')  
      
    # 判断字符串中是否包含中文数字和英文数字  
    contains_chinese_number = chinese_number_pattern.search(s) is not None  
    contains_english_number = english_number_pattern.search(s) is not None  
      
    # 如果字符串同时包含中文数字和英文数字,则返回True,否则返回False  
    return contains_english_number  or contains_chinese_number

# 使用paddle完成敏感信息识别,能够识别数量_单位词(例如45亿元、37个技术提升等)、地名、场所、人名、时间
# 对于楼道单元号,可能处理不干净,比如东东方花园4号楼3单元304,可能无法识别3单元304
def replace_info_with_paddle_ner(s):
    
    # 存储返回结果
    result=[]

    # 敏感信息和替换词的对应关系,例如在一段文本中,
    # 敏感人名“张涛”出现了两次,“刘涛”出现了一次,
    # 需要保证“张涛”被替换为一个符号,例如“人物甲”,
    # 刘涛被替换为另一个符号,例如“人物乙”
    entity_dict={}

    num_index=1
    region_index=1
    position_index=1
    name_index=1
    time_index=1
    
    for i in ner(s):
        
        list_0,list_1=list(i)[0],list(i)[1]

        flag=1

        # 针对数量_单位词进行处理
        if list_1=="数量词_单位数量词":
            if not list_0 in entity_dict.keys():
                result.append("【数量_"+str(num_index)+"】")
                entity_dict[list_0]="【数量_"+str(num_index)+"】"
                num_index+=1
            else:
                result.append(entity_dict[list_0])

        # 针对地区和场所进行处理
        elif list_1 =="世界地区类":
            # todo 可能会存在一定的误识别,例如将“吐鲁番苹果”的前个字识别为“地名”
            if not list_0 in entity_dict.keys():
                result.append("【地区_"+str(region_index)+"】")
                entity_dict[list_0]="【地区_"+str(region_index)+"】"
                region_index+=1
            else:
                result.append(entity_dict[list_0])

        # 针对场所进行处理  
        elif list_1=="场所类":
            # todo 可能会存在一定的误识别,例如将“现场”两个字识别为“场所类”
            if not list_0 in entity_dict.keys() :
                result.append("【场所_"+str(position_index)+"】")
                entity_dict[list_0]="【场所_"+str(position_index)+"】"
                position_index+=1
            else:
                result.append(entity_dict[list_0])

        # 针对人名进行处理
        elif list_1=="人物类_实体":
            # todo 可能会存在一定的漏识别,例如生僻名字或者少数民族名字
            if not list_0 in entity_dict.keys():
                result.append("【人员_"+str(name_index)+"】")
                entity_dict[list_0]="【人员_"+str(name_index)+"】"
                name_index+=1
            else:
                result.append(entity_dict[list_0])

        # 针对时间进行处理
        elif list_1=="时间类_具体时间" or list_1=="时间类":
            # 只有包含数字时,才认为是真正的时间。
            # paddle会将“时间”识别为虚假的时间,因此需要额外处理
            
            if contains_chinese_and_english_numbers(list_0):

                if not list_0 in entity_dict.keys():
                    result.append("【时间_"+str(position_index)+"】")
                    entity_dict[list_0]="【时间_"+str(position_index)+"】"
                    position_index+=1
                else:
                    result.append(entity_dict[list_0])
                
            else:
                flag=0
                result.append(list_0)

        # 不属于上面的任意一个分类
        else:
            if flag:
                result.append(list_0)
            
    return "".join(result)

if  __name__=="__main__":

    # 原始文本
    text="""昆明市公安局毒品中心调查人员江涛和刘明接到市指挥中心通知,前往边境进行毒品打击。
            10月15日开始在云南省楚雄市刘家洼村进行伏击,随身携带冲锋枪两只,手榴弹4枚。经过13天的等待后,并未抓获嫌疑人。
            经调查,10月15日傍晚,刘明私自外出会见了可疑分子并交换情报,收受了贿赂4500元,导致抓捕失败。省公安厅查明情况后,决定逮捕刘明。"""
    
    # 获得结果
    print(replace_info_with_paddle_ner(text))
   

目前还存在一些问题,例如开头的“昆明市公安局”被识别成了组织机构,而没有将“昆明市”三个字识别成地名;又如处理结果中,将“云南省楚雄市刘家洼村”识别为“【地区_2】【地区_3】【地区_4】”,没有将“云南省”“楚雄市”“刘家洼村”识别成一个完整的地名。代码中还注明了其他一些可能出现问题的细节,需要不断结合实际数据进行修改。文章来源地址https://www.toymoban.com/news/detail-828571.html

到了这里,关于利用PaddleNLP进行文本数据脱敏的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【头歌】——数据分析与实践-基于Python语言的文件与文件夹管理-文本 文件处理-利用csv模块进行csv文件的读写操作

    第1关 创建子文件夹 第2关 删除带有只读属性的文件 第3关 批量复制文件夹中的所有文件 未通过本题,如果您通过了本题欢迎补充到评论区,有时间我会整理进来 第1关 读取宋词文件,根据词人建立多个文件 第2关 读取宋词文件,并根据词人建立多个文件夹 第3关 读取宋词文

    2024年01月25日
    浏览(68)
  • 如何使用Python进行数据挖掘?

    使用Python进行数据挖掘需要掌握以下几个关键步骤: 数据收集:首先,你需要获取你要进行数据挖掘的数据。可以从公共数据集、API、数据库等各种来源收集数据。 数据清洗:清洗数据是一个重要的步骤,它包括去除重复数据、处理缺失值、处理异常值、标准化数据等操作

    2024年02月16日
    浏览(53)
  • 数据挖掘题目:根据规则模板和信息表找出R中的所有强关联规则,基于信息增益、利用判定树进行归纳分类,计算信息熵的代码

    S∈R,P(S,x )∧ Q(S,y )== Gpa(S,w ) [ s, c ] 其中,P,Q ∈{ Major, Status ,Age }. Major Status Age Gpa Count Arts Graduate Old Good 50 Arts Graduate Old Excellent 150 Arts Undergraduate Young Good 150 Appl_ science Undergraduate Young Excellent Science Undergraduate Young Good 100 解答: 样本总数为500,最小支持数为5

    2024年02月06日
    浏览(48)
  • Python实战之使用Python进行数据挖掘详解

    1.1 数据挖掘是什么? 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,通过算法,找出其中的规律、知识、信息的过程。Python作为一门广泛应用的编程语言,拥有丰富的数据挖掘库,使得数据挖掘变得更加容易。 1.2 Python的优势 为什么我们要选

    2024年02月14日
    浏览(39)
  • 【Java-数据脱敏】使用Java对姓名、手机号码、证件号码进行数据脱敏

    一般证件号码使用 md5 算法的方式进行脱敏,这里我们直接使用 hutool 工具类中集成的 md5 ,需要导入 hutool 依赖。 (1)16位 (2)32位 (3)byte[]

    2024年02月16日
    浏览(39)
  • Java如何进行数据脱敏

    MYSQL(电话号码,身份证)数据脱敏的实现 1 2 3 4 5 6 7 8 -- CONCAT()、LEFT()和RIGHT()字符串函数组合使用,请看下面具体实现 -- CONCAT(str1,str2,…):返回结果为连接参数产生的字符串 -- LEFT(str,len):返回从字符串str 开始的len 最左字符 -- RIGHT(str,len):从字符串str 开始,返回最右len 字符

    2024年02月07日
    浏览(41)
  • sql语句对数据进行脱敏

    随着新的法律要求和业务需求,有些企业深刻地意识到,对数据的安全和脱敏处理,以保护敏感数据,如PII,假面具等,非常重要。 SQL Server 技术可以提供优质的解决方案,这种技术可以将真实数据转换为假数据,以简便的方式处理数据,并防止数据被非法使用。 在 SQL Ser

    2024年02月06日
    浏览(48)
  • SpringBoot利用自定义json序列化器实现敏感字段数据脱敏

    物料准备: 1.hutool依赖 2.自定义的jackson序列化器 3.测试@JsonSerialize效果 因为案例代码用到了hutool提供的DesensitizedUtil数据脱敏工具类,这里要引入hutool的依赖。 如果你需要自定义 数据脱敏的逻辑,可以不引入这个依赖 自定义一个手机号脱敏序列化器 自定义一个邮箱脱敏序列化

    2024年02月12日
    浏览(67)
  • 【数据挖掘 | 数据预处理】缺失值处理 & 重复值处理 & 文本处理 确定不来看看?

    🤵‍♂️ 个人主页: @AI_magician 📡主页地址: 作者简介:CSDN内容合伙人,全栈领域优质创作者。 👨‍💻景愿:旨在于能和更多的热爱计算机的伙伴一起成长!!🐱‍🏍 🙋‍♂️声明:本人目前大学就读于大二,研究兴趣方向人工智能硬件(虽然硬件还没开始玩,但一直

    2024年02月07日
    浏览(61)
  • SpringBoot进行自然语言处理,利用Hanlp进行文本情感分析

    . # 📑前言 本文主要是SpringBoot进行自然语言处理,利用Hanlp进行文本情感分析,如果有什么需要改进的地方还请大佬指出⛺️ 🎬作者简介:大家好,我是青衿🥇 ☁️博客首页:CSDN主页放风讲故事 🌄每日一句:努力一点,优秀一点 自然语言处理已经进入大模型时代,然而

    2024年02月05日
    浏览(69)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包