【ffmpeg+cuda实现硬编解码】-Toy模板网

这篇具有很好参考价值的文章主要介绍了【ffmpeg+cuda实现硬编解码】。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

前言

最近在搞一个项目，我需要向AI提供视频帧数，本来一开始摄像头是H.264的编码，我直接复制流推到AI层去推理，然后需要将事件回溯成30秒的视频截取。结果摄像头换成了HEVC编码，截取的视频不能在网页直接播放（需要JS实现调用硬解码）。一开始的方案是ffmpeg直接将HEVC转成H.264结果因为事务巨多CPU占用量过大，导致影响到了推理，因为本身选用的模型+杂七杂八的业务逻辑也要占用大量的CPU资源，所以经过研究把ffmpeg和nvcodec结合起来来平衡设备性能，算是解决了这个问题吧。

一、先安装CUDA+NVCODEC

这两个是前提条件，我在之前的文章里已经说明了具体步骤，有需要的请移步文章。
opencv+nvcodec实现视频硬解码

二、编译带NVCODEC的FFMPEG

这里使用的ffmpeg版本是4.4.2，之前也有尝试过编译5.0.1，本身没有什么错误，但是和我的opencv-4.5.1合并编译遇到了很多错误，可能是这个版本太新的缘故，所以就选择了4.4.2这个版本，实测没有任何问题，至少可以满足我的需求了。

1、安装环境

安装必要软件包

sudo apt install autoconf automake build-essential cmake git-core libass-dev libfreetype6-dev libsdl2-dev libtool libva-dev libvdpau-dev libvorbis-dev libxcb1-dev libxcb-shm0-dev libxcb-xfixes0-dev pkg-config texinfo wget zlib1g-dev

安装汇编编译器

sudo apt install nasm yasm

3.安装扩展
这里我只用到了libx264和libx265，如果你有其它的需求就自行安装即可，这些软件基本上在Ubuntu的库里都能找到，不能找到的也可以通过源代码编译安装。

注意：必须在ffmpeg编译前就把需要的软件安装，否则勾选了这些选项会报错

sudo apt install libx264-dev libx265-dev

4.安装依赖头文件包

这里需要安装一个头文件包，里面包含了一系列用到的头文件。

git clone https://git.videolan.org/git/ffmpeg/nv-codec-headers.git
cd nv-codec-headers
sudo make install

2、开始编译

可以从官网或者github下载4.4.2的源代码，这里我只演示4.4.2版本，如果你的环境和我一样，绝对可以保证完美运行，其他版本请自行测试。
FFMPEG官网

tar -xmf ffmpeg-4.4.2.tar.xz
cd ffmpeg-4.4.2/
./configure --prefix=/usr --toolchain=hardened --libdir=/usr/lib/x86_64-linux-gnu --incdir=/usr/include/x86_64-linux-gnu --disable-stripping --enable-avresample --enable-shared --enable-libx264 --enable-libx265 --enable-cuda --enable-cuvid --enable-nvenc  --enable-gpl
make -j$(nproc)
sudo make install

3、验证

ffmpeg -encoders

【ffmpeg+cuda实现硬编解码】
只要有红框里面的说明ffmpeg编译没有问题，具体功能还要进一步验证，找一个hevc格式或h264的视频执行下面的命令

HEVC->H.264

ffmpeg -vcodec hevc_cuvid -an -gpu 0 -i <vidoe_path> -vcodec h264_nvenc -an -gpu 0 -y output.mp4

H.264->HEVC

ffmpeg -vcodec h264_cuvid -an -gpu 0 -i <video_path> -vcodec hevc_nvenc -an -gpu 0 -y output.mp4

参数说明:
-i 视频路径，可以是绝对，可以是相对
-vcodec 视频解码器或编码器，写在-i前面的是解码，写在后面的是编码
-an 这里由于测试视频，所以禁用了音频，需要音频的可以不加这个选项
-gpu 指定哪个显卡来完成操作，只有一张显卡的可以不指定，默认显卡是从0开始的，指定了不存在的显卡会报错
-y 直接确认覆盖output.mp4假如存在的话

我用到的就这些，其他还有很多如比特率，帧率，质量等等请自行摸索，毕竟学无止境。到这里就算是讲完了，如果想看显卡的占用率的话输入以下命令

nvidia-smi dmon

【ffmpeg+cuda实现硬编解码】

参数就不详细解读了，简单介绍下：

Idx就是显卡索引，0是第一块，1是第二块，依次类推；pwr是功率，单位瓦特
gtemp是核心温度，工作起来会增长，太高了会降频或者触发保护
mtemp应该是显存温度，这里一直是0，不知道啥原因
sm是流处理器占用率
enc是编码器占用率
dec是解码器占用率
mclk是显存时钟，动态调整的，待机很低，工作会自行增长
pclk是核心频率，就是流处理器的频率，也是动态调整的

这里多说一句:

1、编解码本身肯定是占用显存的，这一点是没有疑问的。所以老黄说的完全独立的硬件这里是不完全对的。这句话应该是相对于cuda软解码说的，cuda本身也是可以硬算的，从某种角度来说，cuda也属于通用处理器了，而nvcodec才是专用编解码处理器

2、从占用上来看，硬件编解码应该是消耗一定的cuda性能的，这一部分可能主要是显存拷贝数据的消耗，这个目前只是我的猜测，现在还拿不出证据，具体可以通过测试AI能力是否下降来确定，就推理来说，显存一般都是够用的。