摘要:
本笔记分析了使用预训练的模型生成文本的示例代码。它的步骤如下:文章来源地址https://www.toymoban.com/news/detail-728225.html
- 使用已加载的分词器 tokenizer 对输入文本进行处理,转换为模型可以理解的格式。输入文本是国家和首都的信息,最后一句是未完成的,需要模型来生成。
- 将处理后的输入转移到模型所在的设备上(例如GPU或CPU)。
- 使用模型的 generate 方法对输入进行处理,生成预测的输出。
- 使用分词器的 decode 方法将生成的输出从模型理解的格式转换回文本,并打印出来。
实例分析
from transformers import AutoModelForCausalLM, AutoTokenizer from transformers.generation import GenerationConfig # 可选的模型包括: "Qwen/Qwen-7B", "Qwen/Qwen-14B" tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B", trust_remote_code=True) # 打开bf16精度,A100、H100、RTX3060、RTX3070等显卡建议启用以节省显存 # model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="auto", trust_remote_code=True, bf16=True).eval() # 打开fp16精度,V100、P100、T4等显卡建议启用以节省显存 # model = AutoModelForCausalLM.from_pretrained("Qwen/Q
文章来源:https://www.toymoban.com/news/detail-728225.html
到了这里,关于【通义千问】大模型Qwen GitHub开源工程学习笔记(3)-- 通过Qwen预训练语言模型自动完成给定的文本的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!