保姆级指导0基础如何快速搭建“对话机器人”类ChatGPT

这篇具有很好参考价值的文章主要介绍了保姆级指导0基础如何快速搭建“对话机器人”类ChatGPT。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

参考了CDSN上的文章,但发现不work, 不是这里有问题,就是那里有问题,查阅了大量的资料,做了无数次试验,终于整理出来了一个完整的教程,保可用,保真~~~~~如果各位遇到什么问题,也可以私信我

我把每个环节遇到的坑,都填平了,如果按我的操作,免去了大家查各种问题的富贵时间。祝你也能一次性来到人机对话的界面:

本地搭建chatgpt机器人,机器人,chatgpt,服务器,腾讯云

不多废话了,直接说,如何使用腾讯云上的机器,自建一个简单的类似ChatGPT、Kimi的会话机器人(没有他们的强大)

一、选择云服务器
1.申请云服务器

建议使用按量付费,按小时算还是非常便宜的。
硬件配置:
系统:ubuntu,20.04
系统盘:150G
GPU:12核44G,1 * NVIDIA A10(32G),硬盘150G,1*NVIDIA A10(24G)

本地搭建chatgpt机器人,机器人,chatgpt,服务器,腾讯云

软件版本:

由于A10的驱动,cuda均未安装,为了省事,直接申请了另一台,初始化完成后,打成镜像,然后再为A10重装就可以了,这样最省事。当然也可以手动安装。

使用的V100的镜像,初始化条件选择如下:
本地搭建chatgpt机器人,机器人,chatgpt,服务器,腾讯云

配置安全组,出全放开,入至少放开22和8760。
后付费要注意:要满足余额不低于要冻结金额。

2.GPU确认
登录服务器后,在安装V100的镜像时,可以看到显卡驱动在安装。(早了晚了可能都会错过这个页面)
本地搭建chatgpt机器人,机器人,chatgpt,服务器,腾讯云
等待显卡驱动安装完成后(会有一段时间),做下显卡确认
nvidia-smi
用于确认cuda版本。

安装cuda toolkit
sudo apt install nvidia-cuda-toolkit #时间有点久
如上面所述,然后制作为镜像,再导入到我们的A10当中。(重装系统)

二、安装并配置Python环境

1.安装python3.10
sudo apt-get update
sudo apt-get upgrade #需等待
sudo apt install -y software-properties-common
sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt -y install python3.10
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.10 1

#验证安装成功,均返回Python 3.10.13
python3.10 --version
python3 --version

#升级pip
wget https://bootstrap.pypa.io/get-pip.py
python3.10 get-pip.py

2.安装Git和Git LFS软件
sudo apt install -y git git-lfs python3.10-distutils

3.安装模型所需要的Python包

在此之前,先把pip工具设置好。
看两处pip的版本是否一致:
第一种方式:pip show pip
第二种方式:python3.10 -m pip --version
若不一样,则:
然后修改两个文件:sudo vim /usr/bin/pip 以及sudo vim /usr/bin/pip3,将每个文件里面的两个版本号位置,修改为新的,最后再用pip show pip验证下。

#需等待,可能要不停地试,直到成功
pip install git+https://github.com/huggingface/transformers

#1.如果上面pip工具没设置好,可能会有如下报错:
本地搭建chatgpt机器人,机器人,chatgpt,服务器,腾讯云
回到上面处理吧,也可以参考:https://zhuanlan.zhihu.com/p/664770225
#2.如果报128,则看 https://zhuanlan.zhihu.com/p/648289974
下载到本地再上传 或者等网络环境好的时候下载。

继续执行:
pip install sentencepiece==0.1.97 -i https://pypi.tuna.tsinghua.edu.cn/simple

#需等待,非常漫长
pip install peft==0.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

4.验证:在PyTorch环境下验证GPU是否正常工作
python3.10
import torch
#返回值为true,表示正常工作
torch.cuda.is_available()
quit()
有可能会报cuda与python版本不匹配的问题:需要选择正确版本的CUDA和PyTorch安装(windows)
参考:https://zhuanlan.zhihu.com/p/672526561

三、下载与配置模型

1.下载Chinese-LLaMA-Alpaca模型。
git clone https://github.com/ymcui/Chinese-LLaMA-Alpaca.git
本地已下载:Chinese-LLaMA-Alpaca-main.zip

修改代码:Chinese-LLaMA-Alpaca/scripts/merge_llama_with_chinese_lora.py文件,dType类型 由float16全部换为bfloat16
全部修改为:
torch_dtype=torch.bfloat16

否则,在最终运行时,会报错:RuntimeError: probability tensor contains either inf, nan or element < 0
2.下载chinese-alpaca-lora-13b模型
git-lfs clone https://huggingface.co/ziqingyang/chinese-alpaca-lora-13b
大概率会失败,解决办法是把该文件夹下载到本地,然后再上传到服务上

//如果需要文件进行下载,可以联系我:lucky_shisheng
scp -r chinese-alpaca-lora-13b ubuntu@106.52.198.183:~
修改代码:chinese-alpaca-lora-13b中的adapter_config.json
去掉两行:
“enable_lora”: null,
“merge_weights”: false,

否则,在最终运行时,会报错:TypeError: init() got an unexpected keyword argument ‘enable_lora’

3.下载 llama-13b-hf模型
git-lfs clone https://huggingface.co/decapoda-research/llama-13b-hf
大概也会失败,解决办法是用wget直接下载,或者是像上面一样,下载到本地后,再上传上去。

//如果需要文件进行下载,可以联系我:lucky_shisheng
scp -r llama-13b-hf ubuntu@106.52.198.183:~

4.合并代码
合并代码,生成新模型
cd Chinese-LLaMA-Alpaca/
python3.10 scripts/merge_llama_with_chinese_lora.py --base_model ~/llama-13b-hf/ --lora_model ~/chinese-alpaca-lora-13b/ --output_type huggingface --output_dir ./llama_with_lora_hf

在这里,指定了base model和lora_model,输出路径为./llama_with_lora_hf
如果出现被kill,则是资源内存不足,需要换台机器来做。

合并完成后,可以确认一下转换完成后的文件内容,大概25G
ls -lh llama_with_lora_hf

四、部署WebUI

1.下载WebUI
#需要多试几次
cd~
git clone https://github.com/oobabooga/text-generation-webui.git
备份:text-generation-webui-main.zip

2.安装代码及依赖库
cd text-generation-webui/

#非常耗时
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
3.模型软链接生成到models下面
ln -s /home/ubuntu/Chinese-LLaMA-Alpaca/llama_with_lora_hf/ models/llama_with_lora_hf

五、最终对话界面生成
验证结果
python3.10 server.py --model llama_with_lora_hf --listen --chat --load-in-8bit

人机界面:
本地搭建chatgpt机器人,机器人,chatgpt,服务器,腾讯云
控制台:

本地搭建chatgpt机器人,机器人,chatgpt,服务器,腾讯云
若提示GPU内存不足,可以换个命令试一下:
python3.10 server.py --model llama_with_lora_hf --listen --chat --load-in-4bit文章来源地址https://www.toymoban.com/news/detail-850030.html

到了这里,关于保姆级指导0基础如何快速搭建“对话机器人”类ChatGPT的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 新版nonebot,go-cqhttp搭建qq机器人保姆级教程

    前段时间QQ进行了更新,所以导致了非手表协议扫码登陆报错的问题,不过好在大佬已经推出rc5版本的go-cqhttp,解决了这一头疼的问题 在开始之前,我需要说明一下,本文章是针对没有经验和基础的用户,所以说篇幅可能会长一点 你需要准备的东西有: python3.8及以上版本 虚

    2023年04月18日
    浏览(48)
  • Midjourney 创建私人画图机器人,共享账号如何设置独立绘画服务器(保姆级教程)

    你是不是遇到以下问题: 1.Midjourney会员怎么自建绘图服务器,不受其他人的打扰? 2.Midjourney会员共享账号如何自建服务器,供其他人使用? 3.在官方服务器作图,频道里面的人太多了,自己的指令刷一下就到上面了,翻来翻去太麻烦了,如何解决? 今天详细的教大家创建一

    2024年02月09日
    浏览(53)
  • 使用腾讯云服务器+Nonebot2+go-cqhttp搭建QQ聊天机器人【保姆级教程 2023最新版】

    下载go-cqhttp 这里有不同版本的cqhttp,并且对每个版本都有介绍。但是大家可以看到有 arm与adm 不同的版本,这两个啥关系呢? 严格来说, AMD和ARM没有任何关系 。AMD是桌面级处理器和桌面级GPU的生产厂商,而ARM是移动级处理器的生产厂商。AMD是目前业内唯一一个可以提供高性能

    2023年04月18日
    浏览(47)
  • 【对话机器人】开源机器人项目介绍

    目录 1. 闲聊机器人介绍 2. 青云客平台 3. 思知项目 闲聊机器人是一种基于人工智能和自然语言处理技术的智能对话系统,旨在模拟人类的语言交流能力,与用户进行自然、连贯的对话。闲聊机器人能够理解用户的问题或指令,通过分析和处理文本,生成符合语法和语义规则的

    2024年02月11日
    浏览(53)
  • 通用操作接口UMI:如何快速简单地给机器人提供更多学习数据?

    论文标题: Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots 论文作者: Cheng Chi , Zhenjia Xu , Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song 项目地址: https://umi-gripper.github.io/ 导读: 斯坦福团队提出通用操纵接口(UMI)通用框架,可以直接

    2024年04月12日
    浏览(34)
  • 如何使用国内服务器搭建TG机器人

    首先要想在国内服务器搭建TG机器人需要准备以下几样东西: 1、一台国内服务器 2、cloudflare账号 3、tg机器人账号 好 准备好以上东西 我们就开始操作吧 首先, 我们登录cloud flare,找到worker ,点击右边的下拉小箭头 ,点击概述,在出来的页面点击创建服务 然后服务名称你可以

    2024年02月06日
    浏览(43)
  • Rasa——对话机器人开源框架

    Rasa是一套对话机器人的开源框架,主要用于构建面向任务(Task Oriented)的对话系统。 NLU自然语言理解 基于规则 神经网络方法 DIET(Dual Intent Entity Transformer) 在Rasa中两种方法都可以使用,但神经网络方法是核心 一个rasa项目包含的文件: domain 包含了聊天机器人需要知道的所有

    2024年02月08日
    浏览(47)
  • 智能对话机器人设计全流程

    8.1什么是对话机器人 对话机器人模拟人类对话聊天形式并提供服务的程序,对话机器人之所以被广泛应用,是因为名称中的对话和机器人分别和用户和服务提供方都提供了价值 先说说对话,对于寻求服务的用户,不同于查看网站或阅读,对话机器人模拟了自然地交互方式,

    2024年02月13日
    浏览(40)
  • Rasa 多轮对话机器人

    目录 Rasa 开源机器人 1. 学习资料 2. Rasa 安装 2.1. rasa 简介 2.2. Rasa系统结构 2.3. 项目的基本流程 2.4. Rasa安装 2.5. 组件介绍 3. Rasa NLU 3.0. NLU 推理输出格式 3.1. 训练数据 ./data/nlu.yml 数据文件 3.2. ./config.yml配置文件 4. Rasa Core 4.1. 领域 4.2. 动作Action 4.2.1. 回复动作 4.2.2. 表单 4.2.3. 默

    2024年01月24日
    浏览(50)
  • transformers生成式对话机器人

    生成式对话机器人是一种人工智能技术,它通过学习大量自然语言数据,模拟人类进行开放、连贯和创造性的对话。这种类型的对话系统并不局限于预定义的回答集,而是能够根据上下文动态生成新的回复内容。其核心组件和技术包括: 1、神经网络架构:现代生成式对话机

    2024年03月10日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包