免费部署一个开源大模型 MOSS

这篇具有很好参考价值的文章主要介绍了免费部署一个开源大模型 MOSS。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

2023年初,ChatGPT 人工智能对话模型火爆全球,仅两个月的时间就突破一亿月活用户,成为有史以来应用速度最快的技术之一。

ChatGPT 的大热引发了全球科技巨头之间的“军备竞赛”,中国本土的“中国版 ChatGPT ”也随之展开了激烈角逐。在中国多家科技公司中,百度于3月上线的对话 AI 产品“文心一言”最先开火。

近日复旦大学自然语言处理实验室邱锡鹏教授团队研发的大语言模型 MOSS 也已公开发布并开源。MOSS 的公开发布无疑加剧了国内 ChatGPT 式产品的竞争。

MOSS 是什么?

免费部署一个开源大模型 MOSS

MOSS 是一个支持中英双语和多种插件的开源对话语言模型,moss-moon系列模型具有160亿参数,在 FP16 精度下可在单张 A100/A800 或两张 3090 显卡运行,在 INT4/8 精度下可在单张 3090 显卡运行。MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到,后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

申请服务器

这里使用阿里云免费的 GPU 服务器进行部署,免费试用活动页 https://free.aliyun.com/ 。

只要没有申请过 PAI-DSW 资源的新老用户皆可申请 5000CU 的免费额度,3个月内使用。

免费部署一个开源大模型 MOSS

点击试用,完成注册、实名、领取产品后进入如下页面。

免费部署一个开源大模型 MOSS

创建工作空间并授权。

免费部署一个开源大模型 MOSS

授权完成,前往默认工作空间。

免费部署一个开源大模型 MOSS

创建交互式建模(DWS)实例。

免费部署一个开源大模型 MOSS

输入实例名称,就叫它 550W 吧~,GPU 选择 A10 或者 V100 都行,这俩是支持资源包抵扣的,其他的不支持,这里注意!V100 性能更好,但我们测试使用没必要,就选 A10 就行,A10 显卡每小时消耗6.991计算时,如果不关机持续使用大概可以使用30天。

免费部署一个开源大模型 MOSS

数据集是可选的,如果想闲时关机建议使用数据集,可以把数据保存,不然每次关机后启动都得重新部署。

免费部署一个开源大模型 MOSS

选择镜像 URL,填入与地区对应的镜像地址。

杭州地域:dsw-registry-vpc.cn-hangzhou.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

北京地域:dsw-registry-vpc.cn-beijing.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

上海地域:dsw-registry-vpc.cn-shanghai.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

深圳地域:dsw-registry-vpc.cn-shenzhen.cr.aliyuncs.com/cloud-dsw/eas-service:aigc-torch113-cu117-ubuntu22.04-v0.2.1_accelerated

免费部署一个开源大模型 MOSS

然后点击下一步,耐心等待实例创建,这个过程还是比较耗时的。

部署 MOSS

实例创建成功后,点击打开,进入控制台。

免费部署一个开源大模型 MOSS

进入下面这个页面后,点击 “Terminal” 进入命令行。

免费部署一个开源大模型 MOSS

1、下载仓库内容到本地

# git clone ``https://github.com/OpenLMLab/MOSS.git

免费部署一个开源大模型 MOSS

2、进入MOSS文件夹

# cd MOSS

3、修改 requirements.txt

torch==1.10.1 改为 torch==1.13.1

免费部署一个开源大模型 MOSS

4、安装依赖

# pip install -r requirements.txt

5、修改moss_cli_demo.py文件第 31 至 33 行

model = load_checkpoint_and_dispatch(
    raw_model, model_path, device_map="auto", no_split_module_classes=["MossBlock"], dtype=torch.float16, max_memory={0: "18GiB", "cpu": "26GiB"}
)

免费部署一个开源大模型 MOSS

6、启动服务,第一次启动需要下载模型,耐心等待

# python moss_cli_demo.py

免费部署一个开源大模型 MOSS

等待一段时间后,出现以下对话框就是安装成功了,你就可以跟MOSS对话啦~

免费部署一个开源大模型 MOSS

总结

MOSS 的公开无异于宣告与百度对话模型的“正面竞争”,这场人工智能的“决战”注定轰动一时。未来几个月, ChatGPT 式对话产品将在中国大行其道,而 MOSS 和“文心一言”的 PK 则成为行业和公众最关心的话题。这场竞赛的结果,将对中国在人工智能领域的地位产生重大影响。人工智能时代的创新,正在以前所未有的速度在中国大陆蔓延。

MOSS 和“文心一言”的竞逐,只是 AI 产业发展的序章。随着竞争不断升级,未来的 AI 产品将更加智能,技术创新更加频繁。中国终将在这场科技革命的浪潮中,占领一席之地。文章来源地址https://www.toymoban.com/news/detail-462955.html

到了这里,关于免费部署一个开源大模型 MOSS的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 一个开源免费功能强大的Chatgpt Web程序 搭建自己的Chatgpt机器人

    ChatGPT Web Midjourney Proxy 是我用过的几款ChatGPT Web程序当中我觉得最好用的一款,还支持midjourney的图片生成 ai换脸和很多的ChatGPT store。 ✅ 原chatgpt web 所有功能 ✅ chatgpt web 支持自定义api key、base_url ✅ midjourney 文生图 ✅ midjourney 垫图+文生图 ✅ midjourney 图变 U1到U4 、 V1到V4、重绘

    2024年03月23日
    浏览(52)
  • 三个开源大模型(chatglm2-6B, moss, llama)-chatglm2的测试

    chatglm2-6B 是清华大学开源的一款支持中英双语的对话语言模型。经过了 1.4T 中英标识符的预训练与人类偏好对齐训练,具有62 亿参数的 ChatGLM2-6B 已经能生成相当符合人类偏好的回答。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6G

    2024年02月11日
    浏览(66)
  • 类ChatGPT的部署与微调(下):从ChatGLM、MOSS到ChatDoctor、可商用

    随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出,绝大部分公司的技术 产品 服务,以及绝大部分人的工作都将被革新一遍 类似iPhone的诞生 大家面向iOS编程 有了App Store 现在有了ChatGPT插件/GPT应用商店,以后很多公司 很多人面向GPT编程(很快技术人员

    2024年02月01日
    浏览(42)
  • 类ChatGPT的部署与微调(下):从GLM、ChatGLM到MOSS、ChatDoctor、可商用

    随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出,绝大部分公司的技术 产品 服务,以及绝大部分人的工作都将被革新一遍 类似iPhone的诞生 大家面向iOS编程 有了App Store 现在有了ChatGPT插件/GPT应用商店,以后很多公司 很多人面向GPT编程(很快技术人员

    2024年02月04日
    浏览(45)
  • ChatGPT和Bard太贵,介绍8个免费开源的大模型解决方案!

    8个开源的ChatGPT和Bard的替代方案,带你发现更多广泛使用的开源框架和模型。 微信搜索关注《Python学研大本营》,加入读者群,分享更多精彩 LLaMA项目包含了一组基础语言模型,其规模从70亿到650亿个参数不等。这些模型在数以百万计的token上进行训练,而且它完全在公开的

    2024年02月14日
    浏览(47)
  • Vicuna- 一个类 ChatGPT开源 模型

    Meta 开源 LLaMA(大羊驼)系列模型为起点,研究人员逐渐研发出基于LLaMA的Alpaca(羊驼)、Alpaca-Lora、Luotuo(骆驼)等轻量级类 ChatGPT 模型并开源。 google提出了一个新的模型:Vicuna(小羊驼)。该模型基于LLaMA,参数量13B。Vicuna-13B 通过微调 LLaMA 实现了高性能的对话生成 Vicun

    2024年02月04日
    浏览(92)
  • 本地部署 Chatbot UI,一个开源的 ChatGPT UI

    Chatbot UI 是一个用于 AI 模型的开源聊天 UI。适用于 OpenChat 模型。 画面效果展示如下, https://github.com/imoneoi/openchat-ui 安装 nvm, 激活 nvm, 安装 node, 克隆代码, 安装依赖项, 创建配置文件, 启动应用, 访问应用,使用浏览器打开 http://localhost:3000/, Environment Variable Default

    2024年02月16日
    浏览(56)
  • AI模型部署记录(一)-ChatGLM:清华开源本地部署(2023/05/06更新)

    文章首发及后续更新:https://mwhls.top/4500.html,无图/无目录/格式错误/更多相关请至首发页查看。 新的更新内容请到mwhls.top查看。 欢迎提出任何疑问及批评,非常感谢! 服务部署汇总 本来这篇是为了打比赛写的,写着写着发现两个问题,AI部署连续几篇,等我比赛打完再发模

    2024年02月03日
    浏览(42)
  • 本地免费GPT4?Llama 2开源大模型,一键部署且无需硬件要求教程

            目前扎克布格带来了最新的Llama 2开源NLP大模型,目前有三个版本分别是70亿参数量,130亿参数量和700亿参数量,庞大的数据集和参数量保证了模型的强大,官网宣称性能与gpt4相比不落下风,又因为开源使得我们可以实现本地化gpt4的梦想并且免费!我们可以通过微

    2024年02月11日
    浏览(63)
  • 【Docker】快速部署 ChatGPT Next Web,一键免费部署你的私人 ChatGPT 网页应用,支持 GPT3, GPT4 & Gemini Pro 模型。

    ChatGPT Next Web 可以一键免费部署你的私人 ChatGPT 网页应用,支持 GPT3, GPT4 Gemini Pro 模型。你无需任何复杂的配置,只需几行命令就可以完成部署。我们将通过 Docker 来部署这个应用。 下载 Docker 镜像 首先,我们需要从 Docker Hub 下载 ChatGPT 应用的 Docker 镜像。 Docker 版本需要在

    2024年03月10日
    浏览(76)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包