聊聊大模型的屏蔽词工程

这篇具有很好参考价值的文章主要介绍了聊聊大模型的屏蔽词工程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote

概述

在做微调训练时,鉴于业务场景的需要,可能会存在微调数据集中含有敏感词汇,譬如:自杀、跳楼等。而开源模型可能没有做敏感词汇的屏蔽工程。因此可能就会出现不可预控的现象,而我遇到的是,当我输入敏感词汇时,模型(基于ChatGLM3)大多数时候返回空,继续正常提问,还是空的。此时模型相当于已经挂了。
普遍来看,敏感词汇的覆盖场景是比较多的,尤其是控制不了用户的输入,很有可能就会恶意或无意的输入敏感词,而模型如果不能正常的回复,或是屏蔽这类词汇,很容易就会出现我的问题。

解决策略

聊聊大模型的屏蔽词工程
从整个流程分析来看,敏感词处理是一件大工程,涉及到的方面比较多。如下:

  1. 建立敏感词库
  2. 算法——识别敏感词
  3. 模型训练时,提前对输入的敏感词预处理
    1. 屏蔽或删除敏感词汇
    2. 使用占位符替换敏感词
  4. 针对敏感词,模型的回复处理
    1. 直接提示,并拒绝相关回答
    2. 安慰疏导

敏感词识别检测

对于前两者,一般是配套一起的;建立了敏感词库,通过算法检测识别敏感词。目前也有各种算法库来支持。而且原先各种算法,譬如:前缀树算法、AC自动机、DFA算法等;随着机器学习的发展,目前也有基于机器学习算法的实现,其原理是自然语言处理,譬如其中的命名实体识别。

Prompt提示词

识别到输入中的敏感词后,接下来就是采取某种策略来处理。譬如用提示词工程:

你是一个心理治疗师,请忽略以下输入文本内的敏感词,譬如自杀、跳楼;请引导患者倾诉烦恼和问题。

一直很难受,压力大,一度想要自杀,尝试过跳楼,但被人拉住拽了回来。

在输入的文本前面加上对应的Prompt引导词。在GLM3、GLM4的模型上均尝试过,效果还可以:
聊聊大模型的屏蔽词工程
基于开源基座模型(ChatGLM3)的prompt验证:
聊聊大模型的屏蔽词工程
总的来说,满足我的需求,效果还是不错的。

模型微调

对于具体的业务场景,一般都会针对敏感词场景做一些特定的微调输出,满足特定的业务内容,譬如:

{
  "instruction": "你是一个心理治疗师,请忽略以下文本中的[敏感词汇]标记,正确的回复并引导患者倾诉他的问题。",
  "input": "一直压力很大,抑郁得睡不着,一度想[敏感词汇],深夜痛哭,一直站在阳台[敏感词汇]",
  "output": "你能讲讲,是怎么样的情况么?",
  "history": []
}

总结

总结来说,主要是NLP识别与Prompt工程,最后就是微调数据输出满意的、特定的回复。从这,也看到了Prompt工程的强大了。当然最关键的是识别敏感词汇,才能让模型很好的响应带有敏感词的输入。

系列文章

聊聊实际业务下大模型另一种架构的实现思考

聊聊vLLM并行推理框架的设计

简单聊聊vLLM并行推理加速框架

转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote

首发于个人公众号
聊聊大模型的屏蔽词工程文章来源地址https://www.toymoban.com/news/detail-853250.html

到了这里,关于聊聊大模型的屏蔽词工程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【网络协议】聊聊HTTPS协议

    前面的文章,我们描述了网络是怎样进行传输数据包的,但是网络是不安全的,对于这种流量门户网站其实还好,对于支付类场景其实容易将数据泄漏,所以安全的方式是通过加密,加密方式主要是 对称加密 和 非对称加密 。 对称加密,其实就是双方使用同样的密钥进行加

    2024年02月06日
    浏览(49)
  • 管好【SD-WEBUI】中大量的模型:名称+预览图+备注+分组(Part.2)

    本篇继续讲怎么管理大量的模型,生成预览图的技巧,模型备注大用途,分组管理的不足。 更多不断丰富的内容参考:🔗 《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》 咱已经了解《管好【SD-WEBUI】中大量的模型:名称+预览图+备注+分组管理》这部分,使用子文件夹分组

    2024年02月05日
    浏览(38)
  • 简单聊聊Https的来龙去脉

    使用明文通信,通信内容可能会被监听 不验证通信双方身份,因此可能会遭遇伪装 无法验证报文完整性,可能会遭到中间人攻击,从而篡改请求和响应报文中的内容 Http 协议直接和TCP进行通信,而 Https 在 Http 和 Tcp 之间加了一层 SSL 实现加密传输 : SSL ( Secure Socket Layer ) 安全

    2024年02月10日
    浏览(41)
  • 转载:建设工程中常见的项目建设管理模式有哪些(DBB模式、EPC模式)

    原文标题: 建设工程中常见的项目建设管理模式有哪些? - 知乎 (zhihu.com) 一、DBB模式 即设计-招标-建造(Design-Bid-Build)模式,这是最传统的一种工程项目管理模式。该管理模式在国际上最为通用,世行、亚行贷款项目及以国际咨询工程师联合会(FIDIC)合同条件为依据的项目多采

    2024年02月11日
    浏览(36)
  • 聊聊分布式架构02——Http到Https

    目录 HTTP通信协议 请求报文 响应报文 持久连接 状态管理 HTTPS通信协议 安全的HTTPS HTTP到HTTPS的演变 对称加密 非对称加密 混合加密机制 证书机构 SSL到底是什么 HTTPS是身披SSL外壳的HTTP HTTP通信协议 一次HTTP请求的通信流程:客户端浏览器通过域名访问网页资源,由DNS解析得到

    2024年02月07日
    浏览(44)
  • 聊聊我所理解的平台工程

    Gartner 将平台工程列为 2024 顶级战略技术趋势之一。 说起平台工程(Platform Engineering) ,经常听到有人说是:新瓶装(平台工程)旧酒(DevOps)。 今天根据过去自服务平台的实践经验,聊聊我所理解的平台工程。 说到平台工程,不可不免地要聊聊云原生,不过这里不会针对

    2024年01月22日
    浏览(38)
  • 聊聊基于Alink库的特征工程方法

    OneHotEncoder 是用于将类别型特征转换为独热编码的类。独热编码是一种常用的特征编码方式,特别适用于处理类别型特征,将其转换为数值型特征。 对于每个类别型特征,OneHotEncoder 将其编码成一个长度为类别数量的向量。 每个类别对应一个维度,如果样本的该特征值为该类

    2024年02月08日
    浏览(39)
  • 利用pytorch自定义CNN网络(五):保存、加载自定义模型【转载】

    本文转载自: PyTorch | 保存和加载模型 本文主要介绍如何加载和保存 PyTorch 的模型。这里主要有三个核心函数: torch.save :把序列化的对象保存到硬盘。它利用了 Python 的 pickle 来实现序列化。模型、张量以及字典都可以用该函数进行保存; torch.load:采用 pickle 将反序列化的

    2024年02月13日
    浏览(38)
  • 技术应用:Docker安全性的最佳实验|聊聊工程化Docker

    🔥 技术相关:《技术应用》 ⛺️ I Love you, like a fire! 不可否认,能生存在互联网上的软件都是相互关联的,当我们开发一款应用程序时,它必须与其他的服务进行通信,无论是在你的基础设施,还是云服务,亦或是第三方应用程序上。当然,你不希望你不认识的人伪装成你

    2024年02月13日
    浏览(34)
  • 聊聊多模态大模型处理的思考

    转载请注明出处:https://www.cnblogs.com/zhiyong-ITNote 多模态:文本、音频、视频、图像等多形态的展现形式。 目前部门内业务要求领域大模型需要是多模态——支持音频/文本。从个人思考的角度来审视下,审视下多模态大模型的实现方式。 首先就要区分输入与输出,即输入的模

    2024年03月26日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包