工业异常检测AnomalyGPT-训练试跑及问题解决

这篇具有很好参考价值的文章主要介绍了工业异常检测AnomalyGPT-训练试跑及问题解决。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

        写在前面,AnomalyGPT训练试跑遇到的坑大部分好解决,只有在保存模型失败的地方卡了一天才解决,本来是个小问题,昨天没解决的时候尝试放弃在单卡的4090上训练,但换一台机器又遇到了新的问题,最后决定还是回来踏踏实实填坑了。

准备数据:(根据官方的提示直接准备就好)

Prerequisites: Before training the model, making sure the environment is properly installed and the checkpoints of ImageBind, Vicuna and PandaGPT are downloaded.

AnomalyGPT训练配置:

 一张4090 24g显存,33g内存,batchsize8,cuda12.2 ,torch2.1.2(安装环境的时候也可以把requirements.txt的版本号都去掉,默认都装最新的)

问题1:报错localhost

    raise ValueError(f"No slot '{slot}' specified on host '{hostname}'")
ValueError: No slot '1' specified on host 'localhost'

解决办法:原因是我电脑只有一张显卡,默认配置是两张,在脚本AnomalyGPT/code/scripts/train_mvtec.sh里改一下就好了;

工业异常检测AnomalyGPT-训练试跑及问题解决,linux,大模型,人工智能,LLAMA,单卡4090跑大模型,AnomalyGPT

问题2:scikit-image报没有安装

解决办法:安装一下

pip install scikit-image

问题3:deepseed版本不对

解决办法:requirements.txt里默认deepseed版本为deepspeed==0.9.2,我电脑需要至少0.9.3的版本,重新安装一下

pip install deepspeed==0.9.3

问题4:loraconfig找不到

解决办法:AnomalyGPT/code/model/openllama.py中加

from peft import LoraConfig, TaskType, get_peft_model

问题5:被kill

解决办法:cpu不够的时候不要开浏览器,不用开vscode等一切可能抢cpu的程序或应用,就小心翼翼开个terminal在里面进行训练。

问题6:NameError: name 'LlamaTokenizer' is not defined

解决办法:AnomalyGPT/code/model/openllama.py中加

from transformers import LlamaTokenizer

正常训练起来的样子:工业异常检测AnomalyGPT-训练试跑及问题解决,linux,大模型,人工智能,LLAMA,单卡4090跑大模型,AnomalyGPT

工业异常检测AnomalyGPT-训练试跑及问题解决,linux,大模型,人工智能,LLAMA,单卡4090跑大模型,AnomalyGPT

问题7:保存模型的时候报错TypeError: cannot pickle 'torch._C._distributed_c10d.ProcessGroup' object

工业异常检测AnomalyGPT-训练试跑及问题解决,linux,大模型,人工智能,LLAMA,单卡4090跑大模型,AnomalyGPT

解决办法:保存出错是因为我cpu内存小,所以加载预训练的时候将模型参数加载到了gpu上(具体操作参考上一篇web_demo.py试跑),保存的时候需要参数在cpu上才行(为什么这样?后面看一下细节再解答)。工业异常检测AnomalyGPT-训练试跑及问题解决,linux,大模型,人工智能,LLAMA,单卡4090跑大模型,AnomalyGPT

正常训练跑成功及模型保存成功的样子:

工业异常检测AnomalyGPT-训练试跑及问题解决,linux,大模型,人工智能,LLAMA,单卡4090跑大模型,AnomalyGPT

工业异常检测AnomalyGPT-训练试跑及问题解决,linux,大模型,人工智能,LLAMA,单卡4090跑大模型,AnomalyGPT

参考文献:

GitHub - CASIA-IVA-Lab/AnomalyGPT: The first LVLM based IAD method!


工业异常检测AnomalyGPT-Demo试跑-CSDN博客文章来源地址https://www.toymoban.com/news/detail-781608.html

到了这里,关于工业异常检测AnomalyGPT-训练试跑及问题解决的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 机器视觉工业检测——相机篇1

    (1)工业数字相机的分类: 工业相机按照芯片类型可以分为CCD相机、CMOS相机; 按照输出色彩可以分为单色(黑白)相机、彩色相机; 按照传感器的结构特性可以分为线阵相机(黑白摄像机、3Line彩色相机、3CCD彩色相机(分光棱镜)、面阵相机(黑白摄像机、Bayer彩色相机、

    2024年02月10日
    浏览(49)
  • 助力工业园区作业违规行为检测预警,基于YOLOv3开发构建工业园区场景下作业人员违规行为检测识别系统

    在很多工业园区生产作业场景下保障合规合法进行作业生产操作,对于保护工人生命安全降低安全隐患有着非常重要的作用,但是往往在实际的作业生产中,因为一个安全观念的淡薄或者是粗心大意,对于纪律约束等意思薄弱,导致在进行正常的作业生产中并没有按照安全规

    2024年01月20日
    浏览(52)
  • 使用Anomalib项目的padim无监督算法 进行自制工业缺陷数据集的模型训练和ONNX部署(一)——模型训练篇

    目录 前言  一、无监督学习缺陷检测 Anomalib介绍 二、Anomalib代码结构 三、任务描述和模型训练推理 四、总结与展望         本文专注于padim算法在自制数据集上的训练过程,博主水平有限,对神经网络模型秉持能用就行的态度,所以文中不涉及网络结构和论文细节的解读,

    2024年02月16日
    浏览(39)
  • 目标检测 图像处理 计算机视觉 工业视觉

    从事ai视觉算法有几年了,本帖是对以往做过的计算机视觉项目的一些总结,硬件部署的大多是基于nvidia的开发板和GPU服务器上,如jetson nano,还有地平线J3J5和瑞芯微以及星辰的开发板,另外就是对实时性要求不高的部署在cpu上。有相关项目需求可以一起交流和学习。(+v 3

    2024年02月06日
    浏览(57)
  • 工业缺陷检测项目实战(一)——基于opencv的工件缺陷检测C++和python实现

    作为研究生,每一个项目都很重要,这里给大家分享一个好入门项目,代码纯自己写,网上都是python的,但是有些企业要求C++编写项目,所以希望大家能学到东西。 一. 问题陈述 工件的展示,这是一个视频,然后工件一个个经过,要检测出哪个工件有缺陷,并且分类缺陷的种

    2024年02月04日
    浏览(59)
  • 基于半监督算法的工业图像缺陷检测方法:MemSeg

    来源:投稿 作者:橡皮 编辑:学姐 论文:https://arxiv.org/ftp/arxiv/papers/2205/2205.00908.pdf 代码:https://github.com/TooTouch/MemSeg 提出了一个精心设计的异常模拟策略,用于模型的自监督学习,该策略整合了目标前景、纹理和结构异常三个方面。 提出了具有更高效的特征匹配算法的记忆

    2024年02月16日
    浏览(44)
  • 目标检测——工业安全生产环境违规使用手机的识别

    一、重要性及意义 首先,工业安全生产环境涉及到许多复杂的工艺和设备,这些设备和工艺往往需要高精度的操作和严格的监管。如果员工在生产过程中违规使用手机,不仅可能分散其注意力,降低工作效率,更可能因操作失误导致设备故障或生产事故,从而对员工的生命安

    2024年04月13日
    浏览(56)
  • 异常检测模型:SparkMLlib库的异常检测模型

    异常检测模型是一种常用的数据分析和预测方法,用于识别数据中的异常点。在许多应用中,异常检测模型可以帮助我们发现数据中的潜在问题,从而提高数据质量和预测准确性。本文将介绍SparkMLlib库中的异常检测模型,包括其背景、核心概念、算法原理、实际应用场景和最

    2024年02月19日
    浏览(28)
  • 助力工业园区作业违规行为检测预警,基于YOLOv7【tiny/l/x】不同系列参数模型开发构建工业园区场景下作业人员违规行为检测识别系统

    在很多工业园区生产作业场景下保障合规合法进行作业生产操作,对于保护工人生命安全降低安全隐患有着非常重要的作用,但是往往在实际的作业生产中,因为一个安全观念的淡薄或者是粗心大意,对于纪律约束等意思薄弱,导致在进行正常的作业生产中并没有按照安全规

    2024年02月01日
    浏览(115)
  • 使用YOLOv5进行工业检测(如裂纹、划痕、破损等)

    本文将详细介绍如何使用YOLOv5实现工业检测项目,以检测生产线上的缺陷产品,如裂纹、划痕、破损等。我们将分步介绍数据准备、模型训练、模型优化和部署等过程。 但是只提供具体思路,本文内不进行模拟。 目录 ## 1. 前言 ## 2. 数据准备 ### 2.1 数据收集 ### 2.2 数据标注

    2024年02月05日
    浏览(58)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包