今年新年很特别，AI工具添光彩。今天就来感受下最新的AI神器天选组合“WasmEdge+Yi-34B”，只要短短三步，为这个甲辰龙年带来一份九紫离火运的科技感。
环境准备
这次用的算力是OpenBayes提供的英伟达RTX_4090*1、24GB显存、20核CPU、80GB内存、50 GB工作空间。可点击本链接https://openbayes.com/console/public/tutorials/v6ZVAzejUCM
进入工作空间后，点击页面上方的克隆，它将依据当前模板创建新的训练任务，并预装本次运行需要的各项文件：
1、Yi-34B-Chat-Q4_K_M GGUF 模型。
2、使用 LlamaEdge 运行大模型所需要的Wasm推理文件。
3、用于构建 chatbot 的 web UI。
注意：如果要使用web的chatbot，需要完成实名认证。
福利彩蛋：通过以下链接注册可获免费英伟达RTX 4090（官方售价1599美元，涨价60%还买不到）计算资源1h
注册 - OpenBayeshttps://openbayes.com/console/signup?r=wordsworth0126_GC2U大模型准备（重点）
本次使用的大模型是零一万物团队发布的 Yi-34B-Chat，该因优越的中英双语性能而受开发者广泛欢迎，获得全球开源评测“双料冠军”。
推理工具准备（重点）
本次推理使用LlamaEdge，它是一个基于Rust和WasmEdge的框架，可以实现本地开发与测试大模型应用，然后跨平台地运行应用。
WasmEdge是轻量级、安全、高性能、可扩展、兼容OCI的软件容器与运行环境。WasmEdge被广泛应用在 SaaS、云原生，service mesh、边缘计算、边缘云、微服务、流数据处理、LLM 推理等领域。
模型启动
1、SSH访问
打开电脑上的终端，通过 SSH访问OpenBayes工作空间。
ssh root@ssh.openbayes.com -p端口
2、安装WasmEdge和ggml plugin
输入以下命令安装 CNCF WasmEdge runtime 以及 ggml plugin。
curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- --plugin wasi_nn-ggml
安装后要启动容器
source /root/.bashrc3、与模型交互
本项目提供了两种与模型交互的方式。
3.1 通过 CLI 与大模型交互
使用下面的命令行，启动大模型，然后可以通过 CLI 与 大模型交互。
wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-chat.wasm -p chatml -r '<|im_end|>' -c 1024这里要注意模型所在的路径(/openbayes/input/input0)。
3.2 通过 chatbot UI 与 大模型交互
1、先打开一个新的终端窗口，将 OpenBayes的8080 端口映射到本地。这一步需要 SSH 访问的密码。
ssh -vNL 8080:localhost:8080 root@ssh.openbayes.com -p端口2、在原终端窗口使用下面的命令行，创建 API server
wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-api-server.wasm -p chatml -r '<|im_end|>' -c 1024这里要注意模型所在的路径(/openbayes/input/input0)。
3、API 服务器启动成功，出现 [INFO] Listening on http://0.0.0.0:8080 。在浏览器打开 http://localhost:8080/ ，这就可以搞搞大模型，调戏Yi-34B-Chat了。文章来源：https://www.toymoban.com/news/detail-828644.html
文章来源地址https://www.toymoban.com/news/detail-828644.html
（未完待续～）
到了这里，关于驾辰龙跨Llama持Wasm，玩转Yi模型迎新春过大年（上）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![[玩转AIGC]如何训练LLaMA2（模型训练、推理、代码讲解，并附可直接运行的kaggle连接）](https://imgs.yssmx.com/Uploads/2024/02/651303-1.png)
