大模型 web ui 界面 text-generation-webui

这篇具有很好参考价值的文章主要介绍了大模型 web ui 界面 text-generation-webui。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

前言

web ui

ValueError: When localhost is not accessible


前言

使用 text-generation-webui 生成大模型界面,这个是专门用于文本对话生成的 web ui 界面

GitHub - oobabooga/text-generation-webui: A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models.

 克隆或下载到本地,我是想试试这个怎么样,我的环境:

win10, cpu

所以在模型方面找了小模型来试试,https://huggingface.co/Qwen/Qwen1.5-0.5B-Chat/tree/main

qwen1.5-0.5B 只有 2g 多,可以下载模型文件,我在本地电脑没 gpu 情况下能跑起来:

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cpu" # the device to load the model onto

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen1.5-0.5B-Chat",
    torch_dtype="auto",
    device_map="cpu"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-0.5B-Chat")

prompt = "Give me a short introduction to large language model."
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

 text-generation-webui,NLP,大模型,前端,ui

 

web ui

下载好后,按照它的安装指引安装一下,中途按照提示选择即可

text-generation-webui,NLP,大模型,前端,ui

模型文件位置,按照自行放置:

text-generation-webui,NLP,大模型,前端,ui

text-generation-webui,NLP,大模型,前端,ui

ValueError: When localhost is not accessible

到 text-generation-webui 目录下,运行 python service.py,先提示缺少包,提示啥就安装啥

注意:gradio 需要安装指定版本(requirements.txt 中可以看)

全部没问题后,会得到这个错误,需要在 shared.py 中加一个值 default=True 如下,这个代码直接用 pycham 打开搜索就能找到

group.add_argument('--share', action='store_true', help='Create a public URL. This is useful for running the web UI on Google Colab or similar.', default=True)

然后重新启动 service,点开 url 就可以看到效果

text-generation-webui,NLP,大模型,前端,ui

需要加载选择模型,由于我是 cpu ,还有一个 cpu 需要选择,在下面一点,就不截图了,加载成功会提示 successfull:

text-generation-webui,NLP,大模型,前端,ui

然后就恶意正常对话了,不过从模型上看,0.5 的效果太差了文章来源地址https://www.toymoban.com/news/detail-858697.html

到了这里,关于大模型 web ui 界面 text-generation-webui的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包