群晖NAS使用Docker部署大语言模型Llama 2结合内网穿透实现公网访问本地GPT聊天服务

这篇具有很好参考价值的文章主要介绍了群晖NAS使用Docker部署大语言模型Llama 2结合内网穿透实现公网访问本地GPT聊天服务。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


随着ChatGPT 和open Sora 的热度剧增,大语言模型时代,开启了AI新篇章,大语言模型的应用非常广泛,包括聊天机器人、智能客服、自动翻译、写作助手等。它们可以根据用户输入的文本生成相应的响应,提供个性化的建议和服务,目前大部分大语言模型的产品都是基于网络线上的,如果我们本地想自己部署一个自己的大语言模型,该如何操作呢,下面介绍一款可以在自己本地部署运行的大语言模型Llama 2

Llama 2是一款开源的大语言模型,其中训练的数据目前已经达到7B级别,在上下文长度为4K下的单轮与多轮对话中表现出色,部署运行Llama 2同时需要借助一个框架Ollama.

Ollama是一个强大的框架,设计用于在Docker容器中部署大型语言模型(LLM)。它的主要功能是简化在Docker容器内部署和管理LLM的过程。Ollama通过提供简单的安装指令,使用户能够轻松地在本地运行大型开源语言模型.

借助Ollama 框架可以很方便运行Llama2大语言模型,同时,为了方便与模型进行交互,还需要部署一个web交互 界面Chatbot-Ollama.

Chatbot-Ollama是一个基于Ollama框架的聊天机器人前端应用。它利用Ollama框架提供的接口和功能,将大型语言模型(LLM)集成到聊天机器人中,使其能够与用户进行交互,并提供各种聊天机器人服务。

Chatbot-Ollama 接入本地Ollama框架运行的Llama2大语言模型,使我们可以很轻松简便在本地创建一个聊天机器人.Chatbot-Ollama 同时也是基于docker本地部署的,本地部署,只能局限于本地访问,无法做到提供远程给其他人访问,下面我们还需要安装一个内网穿透工具cpolar,使得本地聊天机器人可以被远程访问.

Cpolar是一款强大的内网穿透软件,它能够在多个操作系统上无缝运行,包括Windows、MacOS和Linux,因此无论您使用哪种操作系统,都可以轻松将本地内网服务器的HTTP、HTTPS、TCP协议端口映射为公网地址端口,使得公网用户可以轻松访问您的内网服务,无需部署至公网服务器.

下面我们通过群晖Docker来演示如何结合上面介绍的技术来运行一个自己的本地聊天机器人并且发布到公网访问.本地部署,对设备配置要求高一些,如果想要拥有比较好的体验,可以使用高配置的服务器设备.

1. 拉取相关的Docker镜像

运行Llama 2需要借助Ollama镜像,对语言模型进行交互需要用到Chatbot-Ollama前端界面,所以我们需要拉取这两个docker镜像,本例群晖版本由于无法直接在群晖控制面板docker界面搜索下载镜像,所以采用命令行方式进行镜像下载,首先开启群晖ssh连接,然后使用工具通过ssh连接上群晖,分别执行下面docker命令 拉取

*拉取Ollama镜像命令

sudo docker  pull ollama/ollama:latest

*拉取Chatbot-Ollama镜像命令

sudo docker  pull ghcr.io/ivanfioravanti/chatbot-ollama:main

拉取成功后,我们可以在Docker界面看到拉取的两个镜像,下面开始运行两个镜像,首先运行ollama

群晖中大模型套件,cpolar,docker,语言模型,llama

2. 运行Ollama 镜像

选中镜像,点击运行进入配置界面,名称无需设置,默认即可,然后点击下一步

群晖中大模型套件,cpolar,docker,语言模型,llama

输入外部访问的端口,和容器内部端口一致,填写11434即可,然后点击下一步

群晖中大模型套件,cpolar,docker,语言模型,llama

然后点击完成即可运行ollama

群晖中大模型套件,cpolar,docker,语言模型,llama

运行后,打开容器界面,可以看到运行的服务,下面开始下载运行Llama 2模型,点击选中ollama容器,点击操作

群晖中大模型套件,cpolar,docker,语言模型,llama

然后打开终端机,进入终端命令界面

群晖中大模型套件,cpolar,docker,语言模型,llama

然后选择左边新增一个bash命令界面

群晖中大模型套件,cpolar,docker,语言模型,llama

然后在bash命令界面,执行ollama run llama2命令,接着等待下载即可,最后出现success,表示下载运行Llama 2模型成功,下载完成后可以关闭掉窗口.这样ollama 容器启动,并运行Llama 2模型就成功了,下面运行chatbot-ollama镜像,配置前端交互界面

群晖中大模型套件,cpolar,docker,语言模型,llama

3. 运行Chatbot Ollama镜像

选中我们下载的镜像,点击运行,开始进行设置

群晖中大模型套件,cpolar,docker,语言模型,llama

名称可以默认,直接点击下一步

群晖中大模型套件,cpolar,docker,语言模型,llama

设置对外端口,本例设置3001,具体可以自己自定义,这个端口也是我们浏览器上web访问的端口

群晖中大模型套件,cpolar,docker,语言模型,llama

然后设置一个环境变量,该变量就是连接我们上面运行Ollama框架服务的地址,我们设置本地地址:http://群晖局域网IP:11434即可,设置完成点击下一步,然后直接点击完成即可,chatbot Ollama镜像就运行成功了,接下来我们进行本地访问.

群晖中大模型套件,cpolar,docker,语言模型,llama

4. 本地访问

上面我们运行设置chatbot ollama 的对外端口是3001(具体以自己设置的为准),下面我们在浏览器访问群晖3001端口,既可看到我们的web交互 界面,同时,上面显示了使用的llama2模型,下面输入文字即可对话,这样一个本地部署的机器人就完成了,对话的响应速度取决于设备的配置,尽量使用高配置的服务器运行部署哦,本地完成后,我们接下来设置远程也可以访问,下面安装cpolar工具,实现无公网IP也可以远程访问我们的聊天机器人界面!

群晖中大模型套件,cpolar,docker,语言模型,llama

5. 群晖安装Cpolar

点击下面Cpolar群晖套件下载地址,下载相应版本的群晖Cpolar套件

https://www.cpolar.com/synology-cpolar-suite,

群晖中大模型套件,cpolar,docker,语言模型,llama

打开群晖套件中心,点击右上角的手动安装按钮。

群晖中大模型套件,cpolar,docker,语言模型,llama

选择我们本地下载好的cpolar套件安装包,然后点击下一步

群晖中大模型套件,cpolar,docker,语言模型,llama

点击同意按钮,然后点击下一步

群晖中大模型套件,cpolar,docker,语言模型,llama

最后点击完成即可。

群晖中大模型套件,cpolar,docker,语言模型,llama

安装完成后,在外部浏览器,我们通过群晖的局域网ip地址9200端口访问Cpolar的Web管理界面,然后输入Cpolar邮箱账号与密码进行登录

群晖中大模型套件,cpolar,docker,语言模型,llama

6. 配置公网地址

点击左侧仪表盘的隧道管理——创建隧道,创建一个chatbot的公网地址隧道!

  • 隧道名称:可自定义命名,注意不要与已有的隧道名称重复
  • 协议:选择http
  • 本地地址:3001 (本地访问的端口)
  • 域名类型:免费选择随机域名
  • 地区:选择China

点击创建

群晖中大模型套件,cpolar,docker,语言模型,llama

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是http 和https,下面我们使用生成的http地址访问

群晖中大模型套件,cpolar,docker,语言模型,llama

7. 公网访问

使用上面cpolar生成的http地址,在浏览器访问,同样可以看到聊天机器人主界面,公网地址访问成功,无需公网IP,无需云服务器,即可把我们本地聊天机器人发布到公网进行访问!

群晖中大模型套件,cpolar,docker,语言模型,llama

小结

为了更好地演示,我们在前述过程中使用了cpolar生成的隧道,其公网地址是随机生成的。

这种随机地址的优势在于建立速度快,可以立即使用。然而,它的缺点是网址由随机字符生成,不太容易记忆(例如:3ad5da5.r10.cpolar.top)。另外,这个地址在24小时内会发生随机变化,更适合于临时使用。

我一般会使用固定二级子域名,原因是我希望将网址发送给同事或客户时,它是一个固定、易记的公网地址(例如:chatbot.cpolar.cn),这样更显正式,便于流交协作。

8. 固定公网地址

由于以上使用Cpolar所创建的隧道使用的是随机公网地址,24小时内会随机变化,不利于长期远程访问。因此我们可以为其配置二级子域名,该地址为固定地址,不会随机变化【ps:cpolar.cn已备案】

注意需要将cpolar套餐升级至基础套餐或以上,且每个套餐对应的带宽不一样。【cpolar.cn已备案】

登录cpolar官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留,保留成功后复制保留的二级子域名名称

群晖中大模型套件,cpolar,docker,语言模型,llama

保留成功后复制保留成功的二级子域名的名称

群晖中大模型套件,cpolar,docker,语言模型,llama

返回登录Cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道,点击右侧的编辑

群晖中大模型套件,cpolar,docker,语言模型,llama

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名

点击更新(注意,点击一次更新即可,不需要重复提交)

群晖中大模型套件,cpolar,docker,语言模型,llama

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名的名称域名

群晖中大模型套件,cpolar,docker,语言模型,llama

最后,我们使用固定的公网http地址访问,可以看到同样访问成功,这样一个固定且永久不变的公网地址就设置好了!

群晖中大模型套件,cpolar,docker,语言模型,llama文章来源地址https://www.toymoban.com/news/detail-854634.html

到了这里,关于群晖NAS使用Docker部署大语言模型Llama 2结合内网穿透实现公网访问本地GPT聊天服务的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 群晖NAS:通过Docker 部署宝塔面板【注册表:btpanel-baota、cyberbolt/baota、pch18/baota】

    备注说明: btpanel-baota 最好用,小巧快速,安装时nginx 比价容易成功 cyberbolt/baota 小巧,但是nginx不容易安装,老是失败,安装使用过程基本上第一个相同 pch18/baota 镜像包太大了,运行起来有点卡,不建议 安装过程遇到问题,不要一直死磕某一步骤,先看文末解决方案。 由于

    2024年02月05日
    浏览(42)
  • 群晖折腾记1—群晖NAS使用docker中的ddns-go,DDNS阿里云ali实现Ipv6访问

    1、移动宽带只有IPv6公网地址,若你的宽带为电信或联通,它们都可以申请到公网IPv4地址,不需要这么复杂。 2、主路由为小米AX9000(虽然是定制OpenWrt系统,但是固件真的很辣鸡, 已开启SSH ),若你的路由器为其它系统,可以参考思路。 3、路由器拨号,怎么设置光猫桥接自己

    2024年02月13日
    浏览(55)
  • nas-群晖docker查询注册表失败解决办法(平替:使用SSH命令拉取ddns-go)

    群晖里面的docker图形化界面现在不能直接查询需要下载的东西,原因可能就是被墙了,那么 换一种方式使用SSH命令下载 也是可以的,文章这里以在docker里面下载ddns-go为例子。  1. 在群晖系统里面的 控制面板 搜SSH,然后回车。 2. 勾选启动SSH功能,然后点击应用就好了。 3.

    2024年01月18日
    浏览(192)
  • 小白的proxmox ve(pve)打造AIO(all in boom)折腾日记 (六)黑群晖nas虚拟机建立(包括群晖安装使用及docker jellyfin、qbittorrent的安装使用)

            很多人搞aio主机的最终目的就在于搞一个nas,群晖系统算是nas中用户用的比较多的,各种软件做的也相对比较好。我这里安装的是黑群晖DS918-7.01。         群晖安装部分主要参考教程为:Proxmox VE(PVE)安装黑群晖DSM7.X教程(PVE虚拟机安装群晖DS918-7.01保姆级教程)

    2024年02月16日
    浏览(43)
  • 在群晖NAS上搭建私有部署笔记软件——Blossom

            Blossom 是一个需要私有部署的笔记软件,虽然本身定位是一个云端软件,但你仍然 可以在本地部署,数据和图片都将保存在本地,不依赖任何的图床或者对象存储 。 Blossom | Blossom (wangyunf.com) https://www.wangyunf.com/blossom-doc/index.html         登陆群晖的管理界面打开

    2024年02月03日
    浏览(56)
  • 群晖(Synology)NAS 后台安装 Docker 后配置 PostgreSQL

    群晖(Synology)NAS 的后台在新版本对 Docker 不再称为 Docker,现在改称为 Container Manager 了。 单击进入后运行 Container Manager。 针对 PostgreSQL 的容器,我们选择容器后,如果你已经安装了 PostgreSQL 的话,应该就能看到运行的容器了。 然后选择设置。 在 PostgreSQL 的容器设置中有

    2024年02月09日
    浏览(44)
  • 群晖NAS和绿联NAS的Docker安装odoo16社区版和企业版教程

    Docker安装odoo17,odoo16方法一样的 社区版安装: 1.在群晖后台安装好docker套件,并去控制面板-终端机和SNMP打开SSH功能。 绿联nas的同样进管理界面安装docker套件 绿联打开SSH方法是在设备-远程调试下面 把远程调试打开,然后就会跳出来 验证码 然后下面这一段L#W$%W1uGa+验证码 (+号

    2024年02月11日
    浏览(122)
  • 群晖NAS教程(十七)、利用Docker安装网心云容器魔方

    为了更好的浏览体验,欢迎光顾勤奋的凯尔森同学个人博客 群晖NAS教程(十七)、利用Docker安装网心云容器魔方 个人博客 一、群晖docker套件中安装onething1/wxedge镜像。 二、wxedge容器启动项配置 容器名称随便起,并启用高级执行权限,然后配置高级设置。 启用自动重启 在群晖

    2024年02月04日
    浏览(83)
  • 群晖NAS如何在内网部署HTTPS服务让浏览器信任证书

    最近在折腾内部部署Web服务。通过Vue实现一个H5的内部的管理服务。但在实际部署过程中由于种种原因,必须部署成Https服务。但在部署成Https服务后,由于没有HTTPS证书,每次进入页面都会被浏览器拦截。使用起来非常不便。于是开始各种Google折腾,终于实现了在导入证书的

    2024年02月05日
    浏览(49)
  • 群晖NAS+DMS7.0以上版本+无docker机型安装zerotier

    测试机型:群晖synology 218play / DSM版本为7.2.1 因218play无法安装docker,且NAS系统已升级为7.0以上版本,按zerotier官网说法无法安装zerotier, 不过还是可以通过ssh终端和命令方式安装zerotier。 用于存放zerotier脚本,文件夹名自定义,如zero,权限:管理员可读写,其他权限无 以管理员

    2024年01月24日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包