Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测

这篇具有很好参考价值的文章主要介绍了Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

简介

题目:《Semi-Supervised Object Detection with Adaptive Class-Rebalancing Self-Training》,AAAI’22, 基于自适应类再平衡自训练的半监督目标检测
日期:2021.7.11(v1),2022.6.28(AAAI’22)
单位:清华大学
论文地址:https://arxiv.org/abs/2107.05031
GitHub:-

作者
Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python
Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

王斌,清华大学软件学院副教授,个人主页:https://binwangthss.github.io/
Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

  • 摘要

本研究深入研究了半监督对象检测(SSOD),以通过额外的未标记数据来提高检测器性能。最近,通过自我训练实现了最先进的SSOD表演,其中训练监督由GT和伪标签组成。在目前的研究中,我们观察到SSOD中的类失衡严重阻碍了自我训练的有效性。为了解决类不平衡问题,我们提出了一种新的内存模块CropBank的自适应类再平衡自训练(ACRST)。ACRST使用从CropBank中提取的前景实例自适应地重新平衡训练数据,从而缓解类不平衡。由于检测任务的高度复杂性,我们观察到自训练和数据再平衡在SSOD中都受到噪声伪标签的影响。因此,我们提出了一种新的两阶段滤波算法来生成准确的伪标签。我们的方法在MS-COCO和VOC基准方面取得了令人满意的改进。当在MS-COCO中仅使用1%的标记数据时,我们的方法比监督基线提高了17.02mAP,与最先进的方法相比提高了5.32mAP。


大多数真实世界的检测数据集都有偏差的类分布,其中很少的类占据了大多数实例,即前景前景不平衡,如图1(a)所示。而且,为了获得准确的伪标签,自我训练采用了高置信度阈值。该方案导致检测数据中前景实例分布稀疏,即前景-背景不平衡(见图1(b))
Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

Fig1:1%COCO标准中伪标签的类不平衡。GT是标记数据的真实标签,伪标签由教师模型生成。

(a) 前景前景失衡在伪标签中加剧。 (b)前景背景失衡。在Faster RCNN中,背景实例在伪标签的训练目标中占主导地位。

针对这两个问题提出了,前景背景再平衡(FBR)和自适应前景前景再平衡(AFFR)

然而,如图2所示,伪标签的准确性是不可取的(Recall明显低于ACC?)。为了获得准确的伪标签,参考半监督的多标签学习(SSMLL)模块,该模块提供与原始检测置信阈值互补的图像级约束。

v1:因此,我们利用额外的高级语义来过滤有噪声的伪标签。提出了一种半监督多标签分类模块,用于为未标记的数据生成图像级伪标签。

设计了一个两阶段的过滤机制来过滤掉在分类置信度或多标签预测(v1:图像级伪标签)中激活负的伪标签

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

Fig2:1%COCO-standard中每类伪标签的准确性和召回率

工作重点

我们设计了一个名为CropBank的新型存储模块,用于区分检测数据中的前/背景和前/前景实例。通过CropBank,我们进一步提出了自适应类再平衡自我训练(ACRST),以解决SSOD中的前景-背景和前景-前景不平衡问题。

提出了一个半监督多标签分类模块来从未标记的数据中挖掘高级语义。然后,我们提出了一种具有分类置信度和高级语义的两阶段伪标签过滤机制。该机制在伪标签去噪中是有效的,从而进一步促进FBR和AFFR。

所提出的数据再平衡和伪标签过滤算法对于任何基于自训练的SSOD框架来说都是即插即用的。此外,CropBank提供了一种有效的检测专用数据增强算法。

方法

为了解耦这些纠缠,我们引入了一种名为CropBank的新型内存模块,用于在标记/未标记的数据中存储前景实例的GT/伪标签。利用CropBank,我们提出了两种特定于检测的数据再平衡算法:前景背景再平衡(FBR)和自适应前景前景再平衡(AFFR)。将原来的自我训练范式扩展到基于FBR和AFFR的自适应类再平衡自我训练(ACRST)

FBR解决SSOD中的前背景不平衡问题。FBR首先根据CropBank中存储的GT/伪标签从整个数据集中提取前景实例。此后,前景实例被增强并粘贴到训练图像中的随机位置。利用合成数据,FBR可以提高训练目标中前景实例的比例,缓解前景-背景的不平衡。

针对前景不平衡问题,提出了基于FBR的前景自适应再平衡(AFFR)算法。特别地,我们设计了一个称为伪召回的新标准来判断一个类在SSOD中是否被忽视或过度关注。此后,由于较高的负置信度,被忽略类的伪标签被更频繁地采样。因此,整个数据集的前景重新平衡,从而导致在随后的自我训练中为在线伪标记提供最小偏差检测器。

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

图3:我们的半监督对象检测框架概述。教师模型从弱增广的未标记数据生成伪标签,学生模型在具有基本事实和伪标签组合的强增广数据上进行训练。为了缓解SSOD中的类不平衡,我们首先设计了一个名为CropBank的内存模块。然后,将前景-背景再平衡(FBR)和自适应前景-前景再平衡(AFFR)应用于基于CropBank的自适应类再平衡自训练(ACRST)。我们还提出了一种两阶段伪标签过滤(TPF)方法和一种选择性监督方案,以帮助ACRST并生成准确的伪标签。

  • Loss
    Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

CropBank

CropBank由两个子库组成,即Label CropBankPaper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python
和Pseudo CropBankPaper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python
,其中NL/NU表示Label /Pseudo CropBank的大小,yli / yui表示第i个标记 / 未标记图像的gt / 伪标签

在训练阶段,ΦL一旦生成就被固定,而ΦU在相互训练中用改进的伪标签定期更新。我们使用CropBank作为解耦实例的基础,并设计自适应类再平衡自训练(ACRST)来解决类不平衡问题。

CropBank的构成是少量的GT和大量的伪标签

FBR

foreground-background Rebalancing,前景-背景重平衡

给定训练mini batch Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python
,我们根据采样分布P从每个图像xi的CropBank ΦL和ΦU中获取前景实例Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python
的集合,其中cj是从具有注释yj的原始图像中裁剪的前景实例。此后,如下生成新的训练mini batchPaper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python
Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

α:粘贴对象的二进制掩码,ymixi:表示混合注释,xmixi:表示混合图像

cj:基于CropBank中的实例级注释从图像中裁剪的矩形区域

在训练期间,cj被扩充并随后被粘贴到xi的随机位置。这种组合过程增加了前景实例在训练数据中的比例,用于前景-背景重平衡,还从整体角度探索了基本的上下文语义。混合图像准备好后,我们将它们作为Mean Teacher的管道来训练检测器。再平衡过程如图4所示。

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

AFFR

Adaptive foreground-foregroundRebalancing,自适应前景前景重平衡

在自我训练过程中被忽视的类中的样本被更频繁地选择。为了测量每一类的被忽略程度,我们提出了一个新的标准伪召回(PR)对于每个类别k,我们根据经验使用低阈值(0.1)来过滤噪声预测

使用PR,我们设计了一种自适应样本策略:Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

μk:选择类k的实例的概率,k:类别的数量。β:用于调整样本概率。

其中的PRk是累积来自教师检测器的针对每个前景实例的检测置信度:

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

ski:第i个伪标签的检测置信度。

PR定义了一个类在SSOD中被忽略的程度。高的PRk表明检测器对类k是肯定的,甚至是过度自信的。因此,应该将较低的样本概率分配给类k中的样本,以避免过度拟合。低PRk意味着检测器对检测类k的实例缺乏信心。因此,在随后的训练中应该更频繁地选择这些实例。

当类别被类似地忽略时,较低的PR被自适应地分配给尾部类别,并引起人们对它们越来越多的关注。PR的定义不依赖于任何未标记数据的先验信息。

该机制自适应地将较高/较低的采样率分配给被忽略/过度聚焦的实例。AFFR和FBR同时执行。


(v1版本)

提出了一种用于前景前景重平衡的自适应采样概率分布P。在训练过程中,被忽略类中的样本被更频繁地选择。为了衡量一类的被忽视程度,我们提出了一个新的标准pseudo recall伪召回(PR),它量化了伪标签与gt的比例。详细地,我们根据标记数据和未标记数据之间的分布相似性,从标记数据中估计未标记数据的类分布。假设数据集中有K个类{1,2,…K}。我们将第k类的伪召回计算为:

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

Nku / Nkl:第k类的伪标签和gt的数量

r:未标记数据与标记数据的比率

定义了在SSOD设置下一个类被忽略的程度。高PRk表明检测器对类k是肯定的,甚至是过度自信的。因此,应将较低的采样概率分配给类k中的样本,以减轻过度拟合。相反,低PRk意味着检测器对检测k类实例缺乏信心。因此,我们应该经常选择这些实例。

作为一种解决方案,我们根据伪召回按降序对类进行排序,并设计以下自适应采样策略:

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

μk:选择第k类实例的概率,β:用于调整采样概率

该机制自适应地将较高/较低的采样率分配给被忽略/过度聚焦的实例。

这种机制的一个潜在问题是,被忽略类中的伪标签的噪声被放大。因此,提出了一种两阶段伪标签过滤机制


Two-stage Pseudo-label Filtering

两阶段伪标签过滤,pipeline中杏黄和砖红的模块,黄色就是最基础的置信度过滤,红的标明的是高阶语义过滤,其实就是设置一个图像级伪标签,看成一个多标签分类问题,预测图像级伪标签的置信度并进行过滤

  • 半监督多标签分类

    针对分类任务,提出了基于Mean Teacher的半监督多标签分类模块。对于每个图像xi,预测其图像级伪标签vi={lk}Kk=1,lk∈{0,1},其中k是总类别数,lk确定图像中是否存在类k的实例。在训练阶段,教师模型的预测被转换为监督学生模型的图像级伪标签。我们利用焦点-二进制-交叉熵(focal–binary–cross-entropy)损失来优化学生模型。

    与SSOD相比,SSMLL是一个容易得多的辅助任务,并且能够为两阶段伪标签选择生成可靠的参考。请注意,我们还扩展了ACRST以缓解SSMLL中的类不平衡,并且由于步骤更少、输入大小更小和框架更简化,SSMLL的总训练只需要SSOD的1/5分之一的时间。

  • 两阶段伪标签过滤

    对于来自教师模型的预测,我们采用两阶段伪标签过滤方案来获得 置信度得分为s的精确伪标签和图像级伪标签v。在第一阶段, 去除得分为s<τcls 的预测,以获得具有高对象性的伪标签。在第二阶段,去除具有在v中激活为负的类的预测(即激活值小于τml),以获得具有正确类标签的伪标签。请注意,我们使用消极而不是积极的多标签作为参考,因为消极学习比积极学习具有更高的准确性和回忆力。

  • 选择性监督

    虽然之前SSOD研究中的边界框回归损失(Liu et al.2021)由于回归不准确而被消除,但它们对我们的框架是有益的。我们将成功归功于CropBank,它减轻了部分检测到的实例的噪声,这些实例在有偏差的预测中占很大比例(在1%COCO标准中为81.2%)。使用这些嘈杂的伪标签盲目学习将严重恶化模型性能。然而,在我们的工作中,当从CropBank中部分检测到的实例被裁剪并粘贴到其他图像时,它们在新的背景中变得独立和完整,从而为回归学习提供了额外的准确监督。

    在选择性监督的情况下,方程5中的损失函数Lunsup可以表示如下:

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

~ yiss:表示源自xiu的CropBank中的实例

实验

  • dataset:MS-COCO和PASCAL VOC

  • 实验细节

    使用带FPN的Faster RCNN和ResNet50,并在Detectron2的基础上构建我们的框架

    标记和未标记图像的批量大小均为32。我们使用SGD优化器,lr=0.01,动量率=0.9。

    设定λema=0.9996,τcls=0.7,λunsup=4。设置β=0.6,τml=0.2。

    对于0.5/1/2/5/10%COCO标准,预训练需要3000/5000/5000/10000步,总训练需要180000步。

    对于VOC,预培训需要5000步,总训练需要72000步。

    我们对强增强应用颜色抖动、高斯模糊和剪切,对弱增强应用随机调整大小和翻转、剪切。广泛使用的mAP(AP50:95)用作比较的度量。

    对于SSMLL,标记图像和未标记图像的批量大小均为64。

    对于VOC/COCO-standard/COCO-addition,预训练需要2k/2k/6k步,总训练需要18k/36k/96k步,使用lr=1e-5的Adam优化器。数据扩充与SSOD相同,但图像的大小调整为576*576。

    v1:

    backbone:FPN Faster RCNN和ResNet-50

    ResNet-50使用ImageNet预训练的权重进行初始化。我们设置超参数λunsup=2,β=2。对于两阶段伪标签滤波,我们使用分类置信阈值τcls=0.7和多标签置信阈值τml=0.2。我们使用AP50:95,即mAP作为评估指标。我们用所有训练设置的32个标记图像和32个未标记图像构建每个训练批次。

    对于COCO-standard,0.5/1/2/5/10%的COCO-standard的预训练阶段为2500/5000/10000/20000/40000步,整个COCO标准训练阶段为180000步。对于COCOadditional,预训练阶段需要90000个步骤,总共需要270000个训练步骤。

    对于VOC07和12,预训练阶段需要12000步,整个训练阶段需要36000步。

与SOTA比较

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

表1:在1%到10%的COCO-standard中与SOTA比较实验结果

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

表2:COCO-addition和0.5%COCO-standard与SOTA的比较。

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

表3:VOC07&12中与SOTA的比较实验结果。

消融实验

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

表4:1%COCO-standard下的消融实验。

来自具有大随机样本范围的Labeled和Pseudo-CropBank的采样实例实现了最高的mAP。

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

表5:CropBank和样本范围的消融实验。
第k类的数量?

当β=0时,AFFR相当于均匀样品,并降解为FBR。当β=0.6较大时,AFFR可提供1.04mAP的性能提升。注意,当β=0.4或β=0.8时,AFFR获得了类似的增益,这些结果证明了AFFR对唯一的超参数β不敏感

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

表6:AFFR中不同β值的结果。

如图4(a)所示,在FBR之后,前景实例的分布得到了重新平衡。

图4(b)表明,当使用AFFR时,KL散度从0.00024降低到0.00013。这一结果进一步证实了AFFR在处理伪标签中的前景-前景不平衡和生成无偏数据分布方面的有效性。

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

图4:FBR(a)和AFFR(b)的消融实验。

Fig5:(a) 具有/不具有两阶段伪标签过滤的伪标签的框精度。(b) 在有/没有选择性监督(SS)的情况下,伪标签和GT之间的框mIoU。

如图5(b)所示,选择性监督不断提高伪标签的mIoU。虽然选择性监督是利用SSOD中部分检测到的伪标签的有效方法,但仍有改进的空间。例如,当对象在伪标签中相互重叠时,当前策略无法处理噪声。

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

图5:1%COCO-standard中Box准确性和Box mIoU的伪标签改进。

最常见和最罕见类别的消融研究。我们对所提出的模块对图中过度聚焦(最频繁)/被忽视(最罕见)类别的影响进行了另一项消融研究。图6(a)和(b)表明,两阶段伪标签滤波(TPF)和ACRST在过聚焦/忽略类上都表现良好。如(b)所示,ACRST在具有AFFR的被忽略类上实现了显著的改进,而基线在最稀有的类中出现了性能下降。

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

图6:TPF和ACRST对1%COCO标准中被忽视/过度关注类的影响。

在STAC框架上的消融

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

表7:1%COCO-standard上的STAC的消融实验

为了验证CropBank的有效性,我们在表8中提供了来自Instant Teaching的结果(Zhou et al.2021)和不同的数据扩充。

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

在1%COCO-standard的不同数据扩充下的Instant Teaching性能。

具有不同τml和相应SSOD性能的半监督多标签学习(SSMLL)的结果。如表9所示,SSMLL生成准确的图像级伪标签,SSOD性能对τml不敏感。

当使用0.7阈值时,正图像水平的伪标签不太准确,准确度为0.740,召回率为0.325。

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

表9:1%COCO-standard上图像级负伪标签的准确性和召回率。

阐明了使用否定伪标签而不是肯定伪标签作为参考的原因。我们提供了三种设置的结果:(1)单阶段:过滤检测置信度低的预测。(2) 两阶段过滤:对检测置信度低或激活图像级伪标签中的负样本预测进行过滤。(3) 两阶段挖掘:保留具有高检测置信度的预测或激活图像级伪标签中的正样本预测。

Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测,Paper Reading,目标检测,人工智能,计算机视觉,笔记,论文阅读,python

表10:1%COCO-standard伪标签的模型性能、准确性和召回率

  • Conclusion

本研究提出了一种简单而有效的ACRST来解决SSOD中的阶级失衡问题。通过CropBank,ACRST显著缓解了FBR和AFFR的前景-背景和前景-前景失衡。为了进一步改进FBR和AFFR,我们设计了一种具有检测置信度和高级语义的两阶段伪标签过滤算法。经过对重新平衡的训练数据的迭代,SSOD检测器变得无偏,并逐渐改善模型性能。大量的实验证明了我们方法的有效性。文章来源地址https://www.toymoban.com/news/detail-758350.html

到了这里,关于Paper Reading: (ACRST) 基于自适应类再平衡自训练的半监督目标检测的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 论文精读:带有源标签自适应的半监督域适应(Semi-Supervised Domain Adaptation with Source Label Adaptation)

    具有源标签适应的半监督域适应 原文链接 文章指出当前的半监督域适应(Semi-Supervised Domain Adaptation, SSDA)方法通常是通过特征空间映射和伪标签分配将目标数据与标记的源数据对齐,然而,这种面向源数据的模型有时会将目标数据与错误类别的源数据对齐,导致分类性能降

    2024年02月10日
    浏览(45)
  • m基于FPGA的半带滤波器verilog设计,对比普通结构以及乘法器复用结构

    目录 1.算法描述 2.仿真效果预览 3.verilog核心程序 4.完整FPGA         HBF模块由半带滤波器(HBF)和抽取模块组成。该模块的任务是实现2倍抽取进一步降低信号采样速率。由于HBF的冲激响应h(k)除零点外其余偶数点均为零,所以用HBF实现2倍抽取可以节省一半的运算量,对增强软

    2023年04月08日
    浏览(76)
  • 算法训练day17leetcode110平衡二叉树257二叉树的所有路径404左叶子之和

    https://www.bilibili.com/video/BV1GY4y1K7z8/?vd_source=8272bd48fee17396a4a1746c256ab0ae https://programmercarl.com/0404.%E5%B7%A6%E5%8F%B6%E5%AD%90%E4%B9%8B%E5%92%8C.html#%E6%80%9D%E8%B7%AF 采用后序递归遍历,比较左右子树的高度,相差小于等于1 前序,中左右,从根节点到叶子节点,会一直向下遍历下去,不会返回信

    2024年01月19日
    浏览(43)
  • 大语言模型(LLM)综述(四):如何适应预训练后的大语言模型

    随着人工智能和机器学习领域的迅速发展,语言模型已经从简单的词袋模型(Bag-of-Words)和N-gram模型演变为更为复杂和强大的神经网络模型。在这一进程中,大型语言模型(LLM)尤为引人注目,它们不仅在自然语言处理(NLP)任务中表现出色,而且在各种跨领域应用中也展示

    2024年02月08日
    浏览(48)
  • DyLoRA:使用动态无搜索低秩适应的预训练模型的参数有效微调

    又一个针对LoRA的改进方法: DyLoRA: Parameter-Efficient Tuning of Pretrained Models using Dynamic Search-Free Low Rank Adaptation https://arxiv.org/pdf/2210.07558v2.pdf https://github.com/huawei-noah/KD-NLP/tree/main/DyLoRA LoRA存在的问题 : rank的值是固定的,训练完成后不能修改。 优化rank的值需要大量的搜索和努力。

    2023年04月20日
    浏览(46)
  • LLMs领域适应的预训练Pre-training for domain adaptation

    到目前为止,我强调了在开发应用程序时,您通常会使用现有的LLM。这为您节省了大量时间,并可以更快地得到一个工作原型。 但是,有一种情况下,您可能会发现有必要从头开始预训练自己的模型。如果您的目标领域使用的词汇和语言结构在日常语言中并不常用,您可能需

    2024年02月11日
    浏览(45)
  • 云南森林火灾vr消防模拟安全演练系统训练消防员火灾和事故的适应和应对能力

    据统计,每一场破坏性地震发生后,会引发次生的灾害,而火灾是其中之一。导致火灾的原因,推测是地震时使供电线路短路,引燃易燃物,火灾就随即发生。所以,在日常生活中,定期的消防演练还是非常必要的, VR+消防,是VR公司深圳华锐视点利用VR虚拟现实技术,将VR和消防教育融合

    2024年02月11日
    浏览(37)
  • 剑指YOLOv5改进损失函数,具有自适应阈值的 Slide 权重函数,使模型在训练期间更加关注硬样本

    💡 本篇内容 :剑指YOLOv5改进损失函数,设计具有自适应阈值的 Slide 权重函数,使模型在训练期间更加关注硬样本 💡🚀🚀🚀本博客 改进源代码改进 适用于 YOLOv5 按步骤操作运行改进后的代码即可 💡:重点:该 专栏 《剑指YOLOv5原创改进》只更新改进 YOLOv5 模型的内容 剑

    2024年02月11日
    浏览(49)
  • 基于stm32的平衡小车

    目录 前言 一、电机驱动部分 1、TB6612FNG电机驱动模块接线方式: 2、代码使用定时器2的4路输出pwm 3、gpio引脚初始化,以及前进,后退引脚设置 二、MPU6050陀螺仪部分 三、编码器捕获部分 四、pid部分 1、直立环KD 2、速度环KI 3、转向环(PD) 五、蓝牙通信部分 总结 经过几天对

    2024年02月09日
    浏览(38)
  • 基于STM32-F401的平衡小车

    目录 一、控制系统设计 1.1机械结构设计 1.2传感系统设计 1.3执行器设计 1.4控制算法设计 二、控制系统的制作与调试 2.1机械结构的制作与调试 2.2电路系统的制作与调试 2.3控制程序的编写与调试 三、控制系统的测试与分析 3.1测试方法 3.2测试数据与现象 3.3结果分析 一个系统

    2024年02月06日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包