100% RNN language model ChatRWKV 相关开源项目-Toy模板网

这篇具有很好参考价值的文章主要介绍了100% RNN language model ChatRWKV 相关开源项目。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

RWKV(读作RwaKuv)借鉴了RNN的移动平均模型（MA），将transformer的 $O(T^2d)$ 复杂度降低到 $O (T d)$ ，同时保持较好的结果表现。RWKV也是一个开源模型，甚至其介绍主页的html代码都有开源。以下为发现的与RWKV相关的开源项目，其中包括模型结构，任务扩展，微调训练，模型加速，服务化等几个部分。

模型结构

https://www.bilibili.com/video/BV1b8411Z7Df/?
http://export.arxiv.org/pdf/2305.13048
https://github.com/RWKV/RWKV-wiki
Trying to make the code in RWKV more easily understoodhttps://github.com/cooljoseph1/rwkv-simple
https://www.zhihu.com/question/602564718

100% RNN language model ChatRWKV 相关开源项目,深度学习,rnn,语言模型,人工智能

【群主】Bo 2023/3/1 16:52:48 RWKV pip package https://pypi.org/project/rwkv/ 做了 pip 包，大家可以直接 inference 了
用150行python独立实现RWKV算法和文字生成，以及RWKV pip package https://zhuanlan.zhihu.com/p/610489720

数据集

https://huggingface.co/datasets/codeparrot/github-code
https://huggingface.co/datasets/allenai/c4
https://registry.opendata.aws/
https://www.luge.ai/#/
https://pile.eleuther.ai/

任务扩展

This is a project to train classification model using RWKV model from Huggingface transformers library https://github.com/yynil/RWKV-Classification
使用 RWKV 预测股票调整后的收盘价https://github.com/tomer9080/Stock-Prediction-Using-RWKV
植物花卉数据集[PlantFlower Datasets]基于RWKV大模型RWKV World模型数据集https://github.com/lovebull/PlantFlowerDatasets
最佳开源AI作曲模型，基于RWKV，全部开源免费

微调训练包

基于GO语言的深度学习框架的rwkv
https://github.com/harrisonvanderbyl/godot-rwkv： The Godot Engine is a free, all-in-one, cross-platform game engine that makes it easy for you to create 2D and 3D games.
将RWKV World/World-CHN系列模型由原生pth转为HF格式，并进行基于peft库的Lora增量微调+Alpaca全量微调https://github.com/StarRing2022/HF-For-RWKVWorld-LoraAlpaca

cpu 加速，手机加速，amd intel 卡加速，重写 cuda 加速

The CUDA version of the RWKV language model ( https://github.com/BlinkDL/RWKV-LM ) https://github.com/BlinkDL/RWKV-CUDA
https://github.com/npk48/rwkv_cuda
A torchless, c++ rwkv implementation using 8bit quantization, written in cuda/hip/vulkan for maximum compatibility and minimum dependencieshttps://github.com/harrisonvanderbyl/rwkv-cpp-accelerated
LLaMa/RWKV onnx models, quantization and testcase
https://github.com/harrisonvanderbyl/rwkv-cpp
INT4/INT5/INT8 and FP16 inference on CPU for RWKV language model
https://github.com/ZTMIDGO/RWKV-Android:使用Android cpu 运行 RWKV V4 ONNX
Run ONNX RWKV-v4 models with GPU acceleration using DirectML [Windows], or just on CPU [Windows AND Linux]; Limited to 430M model at this time because of .onnx 2GB file size limitation
https://github.com/tensorpro/tpu_rwkv
https://github.com/ZeldaHuang/rwkv-cpp-server

服务化

使用Gradio制作的基于RWKV的角色扮演的webui
https://github.com/cgisky1980/ai00_rwkv_server
https://github.com/cgisky1980/ai00_rwkv_server

CG

Large-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities
https://github.com/amazon-science/mm-cot 试试亚马逊的mm-cot
Meta 的大语言模型 LLaMA 最近引起了广泛关注，它的一大优势是参数规模更小但性能强于 OpenAI 的 GPT-3 模型，而且能运行在单张显卡上，让普通消费者的硬件也有可能提供类似 ChatGPT 性能的 AI 聊天机器人。LLaMA 是一组大语言模型的集合，其参数规模从 70 亿到 650 亿，它最新的 LLaMA-13B 模型有 130 亿个参数，不到 GPT-3 模型 1750 亿个参数的十分之一。现在 Nebuly AI 推出了首个基于人类反馈强化学习的 LLaMA AI 聊天机器人开源实现 ChatLLaMA。https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama
https://view.inews.qq.com/k/20230117A03EVJ00
https://arxiv.org/abs/2302.14045
链接：https://pan.baidu.com/s/1Jkc60TPzc4ArMN530NlZWg?pwd=c8lj
提取码：c8lj
–来自百度网盘超级会员V2的分享
https://www.bilibili.com/video/BV1m8411P7v7/
GPT-3 + RL 全流程训练开源整理:https://zhuanlan.zhihu.com/p/608705255?utm_id=0
https://zhuanlan.zhihu.com/p/609003237?utm_id=0
Accelerating PyTorch with Intel® Extension for PyTorch*
https://github.com/karpathy/llama2.c
https://github.com/facebookresearch/llama文章来源地址https://www.toymoban.com/news/detail-613943.html