本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。

这篇具有很好参考价值的文章主要介绍了本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

之前由于ChatGpt处处受限,又没法注册的同学们有福了,我们可以在自己电脑上本地化部署一套AI语言模型,且对于电脑配置要求也不是非常高,对它就是RWKV

关于RWKV

RWKV是一个开源且允许商用的大语言模型,灵活性很高且极具发展潜力,它是一种纯 RNN 的架构,能够进行语言建模,目前最大参数规模已经做到了 14B,该模型训练由Stability赞助。本文发布时RWKV在GitHub上已获得7.8k stars,还在迅速增长中。

RWKV官方仓库:https://github.com/BlinkDL/RWKV-LM

RWKV-Runner

开源仓库地址:https://github.com/josStorer/RWKV-Runner
下载地址(RWKV目录):https://pan.baidu.com/s/1wchIUHgne3gncIiLIeKBEQ?pwd=1111

RWKV-Runner是RWKV的管理和启动工具,由大神 国服第一海豹 制作并开源,它旨在降低大语言模型的使用门槛,做到人人可用,提供了全自动化的依赖和模型管理,你只需要直接点击运行,跟随引导,即可完成本地大语言模型的部署,工具本身体积极小,只需要一个exe即可完成一键部署。

此外,RWKV也提供了与OpenAI API完全兼容的接口,这意味着你可以把任意ChatGPT客户端用作RWKV的客户端,实现能力拓展,而不局限于聊天。

项目介绍

部署RWKV

访问 RWKV开源仓库地址

进入 Release 找到最新版1.1.0

本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。
下载 RWKV-Runner_windows_x64.exe 文件
本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。
将执行程序存放到单独目录中,此目录将作为系统根目录,执行启动器后所有的依赖将安装至此
本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。

启动程序,根据自己的PC显卡配置选择语言模型,并点击启动

本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。

程序启动后自动安装Python、Pytouch等依赖,以及所选择的模型语言库,等所所有需要的内容都下载完毕后就可以开始体验了,部署就是如此简单。

主页

本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。

聊天

本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。

补全

本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。

配置

本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。

模型管理

本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。

下载管理

本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。

设置

本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。

聊天实例

启动中文模型,由于我的笔记本电脑配置并不是很高,只能启用 GPU-4G-7B-CN 这个模型,当看到 模型状态:运行中 变绿时就可以开始提问了。

我简单提了两个问题,计算机在收到问题后开始疯狂的运算,文字输出并不快,移动鼠标会感觉到电脑卡顿,在经过几分钟的等待后,RWKV给出了完整的回答。

本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。

介绍一下 linux

Linux是一种开源的操作系统,它具有高度的可定制性和灵活性。Linux可以在多种硬件上运行,包括服务器、个人电脑、移动设备等。Linux被广泛用于Web服务器、嵌入式系统、桌面应用程序等领域。

如何学习Linux

学习Linux的最佳方法是通过阅读相关的书籍和文档,以及参加在线课程和培训。此外,还可以参加Linux社区的活动和讨论,与其他Linux用户交 学习Linux的最佳方法是通过实践和经验积累。以下是一些学习Linux的建议:

阅读文档和手册:Linux的用户手册和官方文档非常详细,它们可以帮助你了解Linux的基本概念、系统组件和命令行工具。
安装Linux操作系统:在学习Linux之前,你需要先安装一个Linux操作系统。你可以选择使用Ubuntu、Debian或Fedora等流行的发行版。
编写Shell脚本:Shell脚本是用于自动化任务的脚本文件,它们可以帮助你更高效地管理服务器和网络设置。
参加社区活动:参加Linux社区活动可以帮助你与其他开发人员交流并学习新技能。
持续学习: Linux是一个不断发展的领域,因此保持对新技术和趋势的关注非常重要。通过阅读技术博客、参加线上课程或与其他开发人员交流来保持对最新技术的了解。
总之,学习Linux需要耐心和时间,但通过不断实践和探索,你将获得更深入的了解和更广泛的应用场景。

整合包

到目前为止 huggingface 应该很多地区都无法访问,导致模型文件无法下载,以下提供本人的一键整合包,解压后直接运行目录下的 RWKV-Runner_windows_x64.exe 启动即可,整合包内包含模型文件

RWKV-4-Raven-7B-v11-Eng49%-Chn49%-Jpn1%-Other1%-20230430-ctx8192.pth

选择的 GPU-4G-7B-CN 启动,也可以在配置页面中行转换后再使用。文章来源地址https://www.toymoban.com/news/detail-482485.html

链接:https://pan.baidu.com/s/1MqxMQ9hjvZ1ZtQo9RG2QRQ?pwd=36h7 
提取码:36h7 

到了这里,关于本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • google最新大语言模型gemma本地化部署_gemma对服务器要求

    与同类大语言模型对比,它不仅对硬件的依赖更小,性能却更高。关键是完全开源,使得对模型在具有行业特性的场景中,有了高度定制的能力。 Gemma模型当下有四个版本,Gemma 7b, 2b, 2b-it, 7b-it 。通俗来说,2b及精简小巧,覆盖了现代流行的语言,对硬件依赖小。7b是常规型的

    2024年04月25日
    浏览(44)
  • 中文大语言模型 Llama-2 7B(或13B) 本地化部署 (国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门)

            本文目的是让大家先熟悉模型的部署,简单入门;所以只需要很小的算力,单台服务器 单GPU显卡(显存不低于12GB),操作系统需要安装 Ubuntu 18.04。         准备一台服务器 单张英伟达GPU显卡(显存不低于12GB),操作系统需要安装 Ubuntu 18.04 (具体安装过程忽略)

    2024年02月08日
    浏览(45)
  • 实战whisper:本地化部署通用语音识别模型

            Whisper 是一种通用语音识别模型。它是在大量不同音频数据集上进行训练的,也是一个多任务模型,可以执行多语言语音识别、语音翻译和语言识别。         这里呢,我将给出我的一些代码,来帮助你尽快实现【语音转文字】的服务部署。         以下是该A

    2024年01月18日
    浏览(95)
  • 【AI工具】-Stable Diffusion本地化部署教程

    今天我们要介绍的是时下最流行的AI绘图软件Stable Diffusion,虽然Diffusion.ai已经开放api,但是长时间的商业化调用我们需要购买很多的金币。所以我们需要找一个平替的AI绘图平台,现在主流市场中AI绘图软件主要就是OpenAI的DALLE、midjourney以及今天要学习的Stable Diffusion,而前两

    2024年02月13日
    浏览(54)
  • Window本地化部署stable diffusion AI绘图

    从零开始,手把手教你Window本地化部署stable diffusion AI绘图 - 知乎 (zhihu.com) 解决MAC笔记本Stable Diffusion安装时报No matching distribution found for tb-nightly的问题 - 阿狸哥哥 - 博客园 (cnblogs.com)  修改启动脚本启动命令里加入了 --precision full --no-half precision full就是全精度,no half是不使用

    2024年02月11日
    浏览(52)
  • stable diffusion 本地化部署安装踩坑指南---纯小白首次安装编辑

    stable diffusion 本地化部署安装踩坑指南 提示:这里简述项目相关背景: AI画图最近流行,小白也要尝试本地部署,压榨N卡性能。 版本为github上的:AUTOMATIC1111/stable-diffusion-webui 官方安装说明如下: Automatic Installation on Windows 1,Install Python 3.10.6, checking “Add Python to PATH”. 2,I

    2024年02月02日
    浏览(51)
  • Window本地化部署stable diffusion AI绘图+问题汇总

    1. 为什么要本地部署 本地部署没有生成数量的限制,不用花钱,生成时间快,不用排队,自由度高很多,可以调试和个性化的地方也更多。 部署过程可以熟悉环境配置的流程,熟悉工程化部署步骤。对于PM来说也是一种技术成长。 部署过程遇到各种问题,在尝试解决的过程

    2024年02月09日
    浏览(53)
  • 不需要GPU就可以玩转模型,同时支持本地化部署

            简单一款不需要GPU就可以在Win 机器跑的模型:Ollama;用于本地运行和部署大型语言模型(LLMs)的开源工具 关于Ollama的简要介绍 平台兼容性 :Ollama支持多种操作系统,包括macOS、Linux和Windows,这使得它在不同用户之间具有较好的可访问性。 模型支持 :它能够支持

    2024年04月16日
    浏览(46)
  • 本地化部署离线开源免费语音识别API,支持多模态AI能力引擎

    思通数科作为一家专注于多模态AI能力开源引擎平台,其技术产品涵盖了自然语言处理、情感分析、实体识别、图像识别与分类、OCR识别以及语音识别等多个领域。在语音识别这一细分市场,思通数科的技术产品中的音频文件转写服务有着相似的应用场景和功能特点。 思通数

    2024年04月12日
    浏览(62)
  • 基于GitHub代码库训练模型本地化AI代码自动补全 - Tabby Windows10

    参考: https://github.com/TabbyML/tabby 已经有好几款类似强劲的代码补全工具,如GitHub Copilot,Codeium等,为什么还要选择Tabby? Tabby除了和其他工具一样支持联网直接使用之外, 还支持本地化部署 。 即对内部代码安全性要求很高时,可以采取Tabby项目模型的本地化部署,不用担心本

    2024年02月02日
    浏览(118)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包