对Stable Diffusion做fine-tune时遇见的bug

7月前作者：幼稚的云锣分类：Toy博客阅读(27) 违法举报

这篇具有很好参考价值的文章主要介绍了对Stable Diffusion做fine-tune时遇见的bug。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

由于我的显卡比较垃圾(3050),加载模型时都用的

torch.dtype=float16

后来用下列方式保存模型：

pipeline = StableDiffusionPipeline(
        text_encoder=text_encoder,
        vae=vae,
        unet=unet,
        tokenizer=tokenizer,
        scheduler=PNDMScheduler(beta_start=0.00085,
                                beta_end=0.012,
                                beta_schedule='scaled_linear',
                                skip_prk_steps=True),
        safety_checker=StableDiffusionSafetyChecker.from_pretrained(
            'CompVis/stable-diffusion-safety-checker'),
        feature_extractor=CLIPFeatureExtractor.from_pretrained(
            'openai/clip-vit-base-patch32'),
    )
pipeline.save_pretrained('../modules/cat_toy')

报了错：

TypeError: Object of type dtype is not JSON serializable

在网上查到的各种方法都无法解决，折腾了一天后（想紫砂），又审视了一下这句话，意思是"dtype"这种类型不能JSON序列化，我的理解是，因为我的模型的dtype=float16，因此不能用这种方式保存。之后试了float32的模型，可以正常保存，但因为显存、内存太小，在本地跑不了😭😭😭文章来源地址https://www.toymoban.com/news/detail-532146.html

到了这里，关于对Stable Diffusion做fine-tune时遇见的bug的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

小白理解GPT的“微调“（fine-tuning）

对于GPT-3.5，我们实际上并不能在OpenAI的服务器上直接训练它。OpenAI的模型通常是预训练好的，也就是说，它们已经在大量的语料上进行过训练，学习到了语言的基本规则和模式。然而，OpenAI提供了一种叫做\\\"微调\\\"（fine-tuning）的方法，让我们可以在预训练好的模型基础上进行

2024年02月04日
浏览(36)
Fine-tuning：个性化AI的妙术

一、什么是大模型 ChatGPT大模型今年可谓是大火，在正式介绍大模型微调技术之前，为了方便大家理解，我们先对大模型做一个直观的抽象。本质上，现在的大模型要解决的问题，就是一个序列数据转换的问题：输入序列 X = [x1, x2, ..., xm]，输出序列Y = [y1, y2, …, yn]，X和Y之

2024年01月17日
浏览(36)
对 ChatGLM-6B 做 LoRA Fine-tuning

ChatGLM-6B 是一个支持中英双语的对话语言模型，基于 GLM (General Language Model)。它只有 62 亿个参数，量化后最低 (INT4 量化) 只需要 6GB 的显存，完全可以部署到消费级显卡上。在实际使用这个模型一段时间以后，我们发现模型的对话表现能力确实非常不错。那么，基于这个模型做

2023年04月25日
浏览(25)
ChatGPT进阶：利用Fine-tuning训练自己的模型

ChatGPT是“大力出奇迹”的经典表现，大模型给ChatGPT带来了惊人的智能，但是要训练这样的大模型，可是十分烧钱的，根据OpenAI给出的数据，1700亿参数的Davinci模型从头训练一遍，大概需要耗时3个月，耗资150万美元。那我们普通人或者小公司面对这个高门槛，对自定义模型是

2024年02月17日
浏览(37)
一分钟搞懂微调(fine-tuning)和prompt

大家都是希望让预训练语言模型和下游任务靠的更近，只是实现的方式不一样。Fine-tuning中：是预训练语言模型“迁就“各种下游任务；Prompting中，是各种下游任务“迁就“预训练语言模型。微调（fine-tuning）和prompt是自然语言处理领域中常用的两个术语，它们都是指训练和

2023年04月26日
浏览(38)
使用LoRA对大语言模型LLaMA做Fine-tune

目前有大量对LLM（大语言模型）做 Fine-tune 的方式，不过需要消耗的资源非常高，例如 Stanford Alpaca: 对LLaMA-7B做Fine-tune，需要4颗A100 (80GB) GPU FastChat/Vicuna: 对LLaMA-7B做Fine-tune，需要4颗A100 (40GB) GPU 这种资源需求令普通的学习者望而却步，使用 LoRA 则可以较好的解决这个问题 LoRA 全

2024年02月09日
浏览(32)
深度学习概念（术语）：Fine-tuning、Knowledge Distillation, etc

这里的相关概念都是基于已有预训练模型，就是模型本身已经训练好，有一定泛化能力。需要“再加工”满足别的任务需求。进入后GPT时代，对模型的Fine-tuning也将成为趋势，借此机会，我来科普下相关概念。有些人认为微调和训练没有区别，都是训练模型，但是微调是在原

2024年02月09日
浏览(30)
openai模型个性化训练Embedding和fine-tuning区别

现在基于自然语言和文档进行对话的背后都是使用的基于嵌入的向量搜索。OpenAI在这方面做的很好，它的Cookbook(github.com/openai/openai-cookbook)上有很多案例，最近他们对文档做了一些更新。 GPT擅长回答问题，但是只能回答它以前被训练过的问题，如果是没有训练过的数据，比如

2024年02月15日
浏览(28)
OpenAI LLM 应用最佳实践：提示词工程、Fine-Tune、RAG

一、背景本文介绍了 2023 年 11 月 OpenAI DevDay 中的一个演讲，演讲者为 John Allard 和 Colin Jarvis。演讲中，作者对 LLM 应用落地过程中遇到的问题和相关改进方案进行了总结。虽然其中用到的都是已知的技术，但是进行了很好的总结和串联，并探索了一条改进 LLM 应用的切实可行

2024年03月11日
浏览(31)
llamafactory:unified efficient fine-tuning of 100+ lanuage models

1.introduction llamafactory由三个主要模块组成，Model Loader，Data Worker，Trainer。 2.Efficient fine-tuning techniques 2.1 Efficient Optimization 冻结微调：冻结大部分参数，同时只在一小部分解码器层中微调剩余参数，GaLore将梯度投影到低维空间，以内存高效的方法实现全参数学习；相反，Lora冻结

2024年04月14日
浏览(34)