如何使YOLOv5在检测到目标后进行声音告警提示?

这篇具有很好参考价值的文章主要介绍了如何使YOLOv5在检测到目标后进行声音告警提示?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

说在前面的话

导师有一个异常行为检测的小任务(吸烟行为检测),给我让我和师弟一起去完成。本身以为在YOLOv5的detect.py检测脚本中加入语音提示很简单,但是其中的过程却是一言难尽。
这也是查阅了很多资料,尝试过了各种大佬分享的经验,集百家之长完成了这个任务,感谢CSDN中各位有开源精神的大佬的代码分享。

一、语音生成脚本

首先先安装好这个库:pyttsx3
在PyCharm这个软件中打开命令行(或叫:终端),激活自己所需的虚拟环境,
然后输入指令: pip install pyttsx3
等待安装完成即可。
语音生成、合成脚本如下:

# 导入pyttsx3库
import pyttsx3

class Voice():
      def __init__(self):
            self.engine = pyttsx3.init()  # 创建engine并初始化
            self.engine.setProperty('rate', 150)
            self.engine.setProperty('volume', 1.0)  # 在0到1之间重设音量

      def synthesis(self, text, filename):
            self.engine.save_to_file(text, filename)
            self.engine.runAndWait()

      def play(self, filename):
            self.engine.say(filename)
            self.engine.runAndWait()
            self.engine.stop()


if __name__ == "__main__":
      speech = Voice()
      speech.synthesis('注意,请勿吸烟!', '请勿吸烟.mp3') #此句是在当前文件目录下生成mp3文件,
                                                         #语音内容就是:注意,请勿吸烟!
      speech.play('注意,请勿吸烟') #此句是直接合成语音并播放

二、本地语音播放软件

首先选取FFmpeg播放器来播放自己录制好的mp3文件,FFmpeg拥有LGPL/GPL许可和前沿音/视频编解码库libavcodec,使用方便,功能强大。虽然FFmpeg(Fast Forward mpeg视频编码标准)在Linux系统开发并且在Linux系统使用较多,但在windows系统下也同样可以用来录制、编解码、转换、流化音视频等。FFmpeg在各种各样的构建环境、机器架构和配置下编译、运行,支持Linux、Mac OS X、Microsoft Windows、bsd、Solaris等。

FFmpeg具体下载地址:https://github.com/BtbN/FFmpeg-Builds/releases,如下图:

目标检测并报警,YOLOv5之改进的相关好点子,深度学习,目标检测,python

下载ffmpeg-N-104947-g631e31773b-win64-gpl.zip文件
目标检测并报警,YOLOv5之改进的相关好点子,深度学习,目标检测,python
解压fmpeg-N-104947-g631e31773b-win64-gpl.zip文件,里面有这些:

ffmpeg.exe:音视频转码、转换器。
ffplay.exe:简单的音视频播放器。
ffprobe.exe:简单的多媒体码流分析器。

三、YOLOv5的detect.py程序改进

在detect.py代码中修改!!

仔细找程序,睁大眼睛
第一步:
找到光标定位到的这里
目标检测并报警,YOLOv5之改进的相关好点子,深度学习,目标检测,python
插入如下代码

value = det[:, 4].max().item()  # 解决的是看到视频就报警 每取四个值 找到最大 大于0.5才播放告警语音
if value > 0.5:  # 大于0.5播放警示语音
    count += 1  # count等于一个滤波 小延时 防止误报 累计5个数之后再报
    if count > 5:
        count = 0
        if time.time() - tplay > 1.8:  # 防止声音叠加 1.8s播放完再继续
           import os  #
           os.system(
                     'start /b D:/Teacher_project/yolov5-v5s-smoke/ffmpeg/bin/ffplay.exe -autoexit -nodisp D:/Teacher_project/yolov5-v5s-smoke/abc.mp3')  # 音乐播放
                        #参数含义: start /b 后台启动    ffplay音乐播放软件的位置      
                      #-autoexit 播放完毕自动退出    -nodisp不显示窗口     mp3语音的位置路径
           tplay = time.time()  # 当前系统时钟


效果如下:
目标检测并报警,YOLOv5之改进的相关好点子,深度学习,目标检测,python
第二步:
再找到光标定位到的这里:
目标检测并报警,YOLOv5之改进的相关好点子,深度学习,目标检测,python

加入如下代码:
t0 = time.time()
count = 0
tplay = 0

效果如下:
目标检测并报警,YOLOv5之改进的相关好点子,深度学习,目标检测,python
到这里就改完了,运行detect.py脚本就行。

四、代码思想解释

这是集百家之长所得。
加入后台语音播放的记录:(总体原理如下)
第一步计算每四帧图像的最大置信度是为了解决人眼还没看到烟时,计算机已经识别到其中一帧大于阈值的问题,选取四帧计算最大值增加了可靠性。
计算后的置信度大于阈值进入下一步,否则返回上一步继续等待,阈值设定为0.5。
count计数滤波相当于设置了一个滤波器,用较短的延时滤除掉一些小毛刺,减少误报的几率,提升准确性。
使用time.time函数计算时间差是为了完整的播放语音,防止吸烟出现时语音叠加;时间差大于设定值时播放对应语音,否则返回上一步 继续等待,设定值设置为3.0s。这个值取决于由语音的时长;最后播放对应语音时, 首先使用‘start /b’开始播放语音,可以设置为后台启动,解决了播放语音时视频卡帧的问题, 同时在后缀加上‘-autoexit’,播放完语音后自动退出,解决了语音播放完之后,窗口卡 顿的问题,再加上‘-nodisp’,可以不显示语音播放窗口。

五、效果展示

背景音有点嘈杂,大家凑合看一下吧。

素材

六、写在后面

①之前也尝试过采用多线程技术来解决这个问题,但是奈何我代码水平太差,无法将detect.py中的代码改成我需要的样子,所以放弃这个想法了。
②其实文章中的做法不是多线程,是进行的后台调用,但是最终达到的效果是差不多的。

七、最后的最后

为自己推销一下。这里还有标注好的吸烟数据集、接打电话手机数据集、电梯按键数据集,训练好的YOLOv5检测权重,YOLOv5的改进好的方案(如注意力机制、结构改进等),有需要的同学私信滴滴我哦,绝对物美价廉。文章来源地址https://www.toymoban.com/news/detail-803036.html

到了这里,关于如何使YOLOv5在检测到目标后进行声音告警提示?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • YOLOv5+BiSeNet——同时进行目标检测和语义分割

    在Gayhub上看到个项目,有人在YOLOv5的基础上,新增了一个分割头,把BiSeNet语义分割算法加入到了目标检测中,使其能够同时进行目标检测和语义分割。 项目地址:https://github.com/TomMao23/multiyolov5 先看我使用原作者提供的模型,复刻出来的效果: (本来想放视频的,不过传了两

    2024年02月07日
    浏览(46)
  • Python——一文详解使用yolov5进行目标检测全流程(无需gpu)

    本文按步骤详细介绍了使用yolov5进行目标检测的全流程,包括:模型下载、环境配置、数据集准备和数据预处理、模型调整、模型训练、进行目标检测和检测结果分析。本文全部流程使用cpu完成(无需gpu),旨在跑通流程,模型训练过程较慢,且未能到达最优结果。需要 py

    2024年03月18日
    浏览(58)
  • c++读取yolov5模型进行目标检测(读取摄像头实时监测)

    文章介绍 本文是篇基于yolov5模型的一个工程,主要是利用c++将yolov5模型进行调用并测试,从而实现目标检测任务 任务过程中主要重点有两个,第一 版本问题,第二配置问题 一,所需软件及版本       训练部分 pytorch==1.13.0  opencv==3.4.1   其他的直接pip即可       c++部署 

    2024年02月07日
    浏览(45)
  • 计算机视觉的应用7-利用YOLOv5模型启动电脑摄像头进行目标检测

    大家好,我是微学AI,今天给大家介绍一下计算机视觉的应用7-利用YOLOv5模型启动电脑摄像头进行目标检测,本文将详细介绍YOLOv5模型的原理,YOLOv5模型的结构,并展示如何利用电脑摄像头进行目标检测。文章将提供样例代码,以帮助读者更好地理解和实践YOLOv5模型。 目录 引

    2024年02月10日
    浏览(58)
  • 【pytorch】目标检测:一文搞懂如何利用kaggle训练yolov5模型

    笔者的运行环境:python3.8+pytorch2.0.1+pycharm+kaggle。 yolov5对python和pytorch版本是有要求的,python=3.8,pytorch=1.6。yolov5共有5种类型nslmx,参数量依次递增,对训练设备的要求也是递增。本文以yolov5_6s为切入点,探究yolov5如何在实战种运用。 roboflow是一个公开数据集网站,里面有很

    2024年02月12日
    浏览(50)
  • 目标检测 YOLOv5 - 如何提高模型的指标,提高精确率,召回率,mAP等

    flyfish 文中包括了YOLOv5作者分享的提高模型指标小技巧和吴恩达(Andrew Ng)在做缺陷检测项目( steel sheets for defects)时遇到的需要提高模型指标的问题是如何解决的。 大多数情况下,只要数据集足够大且良好标注(provided your dataset is sufficiently large and well labelled),就可以在不更

    2024年02月05日
    浏览(72)
  • YOLOv8/YOLOv7/YOLOv5/YOLOv4/Faster-rcnn系列算法改进【NO.69】针对遥感图像目标检测中的小目标进行改进CATnet(ContextAggregation模块)

    前言 作为当前先进的深度学习目标检测算法YOLOv8,已经集合了大量的trick,但是还是有提高和改进的空间,针对具体应用场景下的检测难点,可以不同的改进方法。此后的系列文章,将重点对YOLOv8的如何改进进行详细的介绍,目的是为了给那些搞科研的同学需要创新点或者搞

    2024年02月11日
    浏览(60)
  • 目标检测笔记(十二):如何通过界面化操作YOLOv5完成数据集的自动标注

    通过界面化操作YOLOv5完成数据集的自动标注的意义在于简化数据标注的流程,提高标注的效率和准确性。 传统的数据集标注通常需要手动绘制边界框或标记关键点,这个过程费时费力且容易出错。而通过界面化操作YOLOv5完成数据集的自动标注,可以实现自动识别目标并生成标

    2024年02月11日
    浏览(44)
  • yolov5当检测到特定物体时发出警报声音

    可以修改detect.py里面的代码 首先先安装pyttsx3依赖:pip install pyttsx3 然后导包,这里采用多线程 import pyttsx3 import threading 在顶部合适位置,定义一个播放声音的方法: 在代码中,找到 **for *xyxy, conf, cls in reversed(det)**这一串代码,然后在它的下面添加判断语句,如下: 我这里是

    2024年02月05日
    浏览(41)
  • YOLOv5实现目标检测

    YOLOv5 🚀 是COCO数据集上预处理的一系列对象检测架构和模型,代表Ultralytics对未来视觉人工智能方法的开源研究,融合了数千小时研究和开发过程中积累的经验教训和最佳实践。 本文用来记录第一次使用 YOLOv5实现: 视频目标检测 摄像头目标检测 博主所使用的环境是win10 +

    2024年02月09日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包