WHY
在jetson上使用docker跑opencv和pytorch其实主要是要找对镜像,docker官方的hub里并没有适合的能直接跑的镜像,但是nvidia自己提供了L4T的pytorch和ML镜像。
镜像地址
单独pytorch的镜像:
https://catalog.ngc.nvidia.com/orgs/nvidia/containers/l4t-pytorch
整合了opencv,pytorch,tensorflow的ML镜像:
https://catalog.ngc.nvidia.com/orgs/nvidia/containers/l4t-ml
如果不是嫌大推荐直接使用ML的镜像,包含了opencv,要在pytorch的镜像中安装编译opencv太慢了,jetson的cpu都不太行,除非对opencv的版本有特殊需求。
如果对opencv的版本有特殊需求,建议还是找一下jetpack有没有对应的版本直接刷机对应的jetpack然后使用对应的docker镜像。
使用方法
先查看当前jetson设备的jetpack版本,例如我的是4.6版本,找到对应的镜像的编号,从tag里找到镜像地址
然后pull下来就行了
sudo docker pull nvcr.io/nvidia/l4t-ml:r32.6.1-py3
然后就可以进docker使用了
sudo docker run -it --rm --runtime nvidia --network host nvcr.io/nvidia/l4t-ml:r32.6.1-py3
docker常用命令备忘
sudo docker images #查看现有的镜像
sudo docker ps #查看现在运行的容器
#运行docker并把本地的work目录挂在容器的/workspace目录
sudo docker run -it --gpus all --restart always --name torch1 -p 6013:6013 -w /workspace -v /home/nvidia/work/:/workspace repo001:pth1.9-cu102-py3.6 /bin/bash
sudo docker exec -it 1dd3379af334 /bin/bash #进入容器命令交互
sudo docker stop 1dd3379af334 #停止容器
jtop安装
要查看jetson的运行状态,我们可以安装jtop
sudo apt-get update
sudo apt-get install python3-pip
sudo -H pip3 install jetson-stats
然后重启jetson,就可以在命令行里使用jtop命令来查看系统资源使用情况了。
按7查看具体的jetson的信息和jetpack版本号
关于保存容器镜像
cuda版本还有pytorch版本的问题可以在上述容器中进行相应的更新和修改,然后把容器保存为离线image供后续使用(不使用dockerfile构建)
先查看一下做过改动的容器的container ID(比如在容器里pip install了或者apt install了其他内容)
sudo docker ps #查看此容器的container ID
假设container id是1dd4687afdr4,然后使用
sudo docker commit 1dd4687afdr4 repo001:pth1.9-cu102-py3.6
这边repo001就是自定的repo名称,pth1.9-cu102-py3.6是自定义的镜像名称
然后就可以使用了,如果要保存为本地文件,
sudo docker save -o repo001.pth1.9.tar repo001:pth1.9-cu102-py3.6
后续到其他的jetson上就可以使用命令来读取镜像直接使用
sudo docker load -i epo001.pth1.9.tar
关于使用dockerfile构建
除了挂载外部文件外,我们可以在打包镜像的时候直接把应用文件打到镜像中,直接运行
Dockerfile
FROM repo001:xxxxx
ENV LC_ALL=C.UTF-8
ENV LANG=C.UTF-8
RUN apt-get update
RUN apt-get install python3-tk
RUN pip3 install --upgrade pip
RUN pip3 install pandas
RUN pip3 install pydantic[dotenv]
RUN mkdir /myworkspace/myapp
# Copy the application files
COPY . /myworkspace/myapp
WORKDIR /myworkspace/myapp
# Run the application
CMD ["python3","myapp.py"]
打完直接build镜像
sudo docker build -t repo001:xxxx -f /xxx/Dockerfile /myapppath
创建容器,运行app
sudo docker run -d --gpus all -p 8001:80001 repo001:xxxx
然后app运行起来以后可以查看运行日志
sudo docker logs -f 1dd3379af334 #查看容器日志
关于映射外部路径让容器访问外部文件
有时候应用也许不是完全无状态的,例如应用需要调取宿主机的文件路径,这时候我们run docker的时候把相关路径挂载进去就行了,和宿主机名称保持一致
sudo docker run -d --gpus all -v /home/nvidia/images:/home/nvidia/images -p 8001:80001 repo001:xxxx
这样如果调用myapp的时候传了一个/home/nvidia/images/1.jpg这样的参数在容器里也能同样访问到文章来源:https://www.toymoban.com/news/detail-653811.html
关于性能
使用docker在容器中跑带有yolo和opencv的应用比起直接在原生环境中跑在jetson xavier NX上并不一定能见到明显的性能下降,容器化性能和很多因素有关,特别是应用对于cpu,gpu的使用情况不同,带宽算力使用情况不同,结果可能会不太一样,具体还是得测试,不能一概而论。文章来源地址https://www.toymoban.com/news/detail-653811.html
到了这里,关于【Nvidia Jetson Xavier NX/AGX/NANO】上用docker跑pytorch等cv推理应用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!