之前试用过两个网页端的神经网络框架,一个是 Tensorflow PlayGround,它相当与实现了一个网页端的简单的训练框架,有关节点的数据结构可看这篇。另一个是onnx的网页端(nodejs绿色免安装+try onnx on web(chrome)),需要自己转换onnx模型用于推理。这里的transformers.js相当于在网页端实现了transformer库。Transformers.js 在功能上等同于 Hugging Face 的 transformers python 库,这意味着您可以使用非常相似的 API 运行相同的预训练模型。(但是应该是不能训练的,毕竟训练需要的资源还是很多的。)
这个也是 Hugging Face game jam的项目之一,链接地址: https://itch.io/jam/open-source-ai-game-jam
试用
- 可在https://xenova.github.io/transformers.js/试用
- 可能也是封装了onnx模块,第一次运行需要下载onnx文件:
- 运行结果如下:
try one
感觉这个https://huggingface.co/blog/ml-web-games还挺有意思的。
-
其中依赖https://sharp.pixelplumbing.com/install 需要 Node.js >= 14.15.0
-
下载安装最新版本https://nodejs.org/download/release/v20.5.0/
-
vim ~/.bashrc
-
export PATH=$PATH:/home/pdd/Documents/node-v20.5.0-linux-x64/bin
-
restart (source ~/.bashrc)
-
node --version
v20.5.0 -
clone --recursive https://github.com/xenova/doodle-dash.git
-
cd doodle-dash
-
npm install
-
npm install @xenova/transformers
-
npm run dev
文章来源:https://www.toymoban.com/news/detail-676779.html
(base) pdd@pdd-Dell-G15-5511:~/transformerjs/doodle-dash$ npm install @xenova/transformers
changed 1 package, and audited 357 packages in 2s
100 packages are looking for funding
run `npm fund` for details
1 high severity vulnerability
To address all issues, run:
npm audit fix
Run `npm audit` for details.
文章来源地址https://www.toymoban.com/news/detail-676779.html
复现
- 教程链接 https://huggingface.co/blog/ml-web-games
- 教程中使用https://huggingface.co/docs/optimum/quicktour将模型转换为 ONNX,然后使用transformers.js进行部署
CG
- https://huggingface.co/docs/transformers.js/index
- Moving ML Inference from the Cloud to the Edge https://github.com/jobergum/browser-ml-inference
到了这里,关于webassembly009 transformers.js 网页端侧推理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!