FPGA基于VCU的H265视频压缩,支持4K60帧,提供工程源码+开发板+技术支持
1、前言
Xilinx Zynq UltraScale+ ZUEV系列FPGA自带VCU视频编解码功能,VCU有以下特点:
• 支持多达 32 个流的同步编码和解码 (最大聚合带宽为3840x2160 @ 60fps)
• 低时延速率控制
• 灵活的速率控制:CBR、 VBR 和常量 QP
• 支持分辨率高达 4K UHD @ 60 Hz 的同步编码和解码
• 支持 8 K UHD (~15 Hz) 的降低帧速率
本设计采用Zynq UltraScale+MPSoCs–XCZU4EV的高端型号FPGA做基于VCU的H265视频压缩,输入视频源使用笔记本电脑,接收显示设备使用4K显示器;输入视频首先接入板载的HDMI2.0输入接口,然后经过板载的PS8409或其他同等功能的芯片做均衡处理;然后输入差分视频信号直接连到FPGA的GT BANK2上;然后调用Xilinx官方的Video PHY Controller IP核接收4K输入视频并做解串工作,将原来高速串行信号解为3路20bit的AXI4-Stream并行数据,该IP需使用FPGA GT资源;然后调用Xilinx官方的HDMI 1.4/2.0 Receiver Subsystem IP核做4K 高清视频的解码工作,IP 同时解码出音频流和视频流,以AXI4-Stream流输出;然后然后调用Xilinx官方的Video Processing Subsystem IP核做图像缩放操作;然后然后调用Xilinx官方的Video Frame Buffer Write IP核将图像写入PS侧的DDR4中缓存;然后然后调用Xilinx官方的Zynq UltraScale+ VCU IP核读出图像并作H265压缩;至此,整个FPGA工程已经完成;然后编译工程,导出.xsa文件,并在PetaLinux中做嵌入式Linux启动文件,在Linux软件设计中,将压缩的H265视频码流通过TCP协议从网口发送出去,在PC端可通过LVC播放器播放压缩的H265码流;然后将做好的Linux启动文件复制到TF卡中,插上TF卡即可启动Linux系统,在Xshell中即可操作终端进行配置;
本设计提供资源如下:
• 提供一套XCZU4EV开发板
• 提供一套Vivado2020.2版本的工程源码
• 提供一套编译好的固件,可启动Linux系统
本博客详细描述了Xilinx系列Zynq UltraScale+MPSoCs–XCZU4EV的高端型号FPGA做基于VCU的H265视频压缩的设计方案,工程代码可综合编译上板调试,可直接项目移植,适用于在校学生、研究生项目开发,也适用于在职工程师做学习提升,可应用于医疗、军工等行业的高速接口或图像处理领域;
提供完整的、跑通的工程源码和技术支持;
工程源码和技术支持的获取方式放在了文章末尾,请耐心看到最后;
免责声明
本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网以及其他开源免费获取渠道等等),若大佬们觉得有所冒犯,请私信批评教育;部分模块源码转载自上述网络,版权归原作者所有,如有侵权请联系我们删除;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。
2、相关方案推荐
我这里已有的视频图像编解码方案
我这里有图像的JPEG解压缩、JPEG-LS压缩、H264编解码、H265编解码以及其他方案,后续还会出更多方案,我把他们整合在一个专栏里面,会持续更新,专栏地址:
直接点击前往
3、详细设计方案
设计框图
本设计使用的工程详细设计方案框图如下:
FPGA开发板
本UP主有下列FPGA开发板均可实现4K@60Hz视频 HDMI2.0的收发,本博客仅仅是介绍了其中Zynq UltraScale+系列的开发板实现方案,需要其他方案的朋友可以在博客末尾联系到本UP,现有开发板方案如下:
1–>Xilinx Kintxe7 FPGA开发板;
2–>Xilinx Kintxe7 UltraScale FPGA开发板;
3–>Xilinx Kintxe7 UltraScale+ FPGA开发板;
4–>Xilinx Virtxe7 FPGA开发板;
5–>Zynq UltraScale FPGA开发板;
6–>Zynq UltraScale+ FPGA开发板(本博客使用到的);
关于本博客使用的这款开发板详细信息,请参考我之前的博客,对这块开发板感兴趣的朋友可以咨询本UP获得;博客链接如下:
点击直接前往
视频输入
工程源码1的视频输入为笔记本电脑,前提是你的笔记本电脑要能够输出4K@60Hz分辨率才行,可通过查看显示驱动版本确定是否支持4K@60Hz分辨率,参考如下:
一般驱动版本在20.0以上就是支持输出4K的;
Video PHY Controller
用XIlinx方案做4K HDMI2.0视频收发必须要用到此IP,Video PHY Controller IP核主要做解串和串化的工作,利用FPGA GT资源,即利用GTH;在接收端接收4K 高清视频并做解串工作,将原来高速串行信号解为3路20bit的AXI4-Stream并行数据,在发送端做4K 高清视频并做串化工作,将原3路20bit的AXI4-Stream并行数据串化为高速串行信号;Video PHY Controller配置如下:
关于Video PHY Controller收发HDMI2.0的用法,请参考我之前的博客,博客地址如下:
点击直接前往
HDMI 1.4/2.0 Receiver Subsystem
用XIlinx方案做4K HDMI视频收发必须要用到此IP,4K HDMI输入视频经过Video PHY Controller解串后输入HDMI 1.4/2.0 Receiver Subsystem IP,该IP做4K 高清视频的解码工作,IP 同时解码出音频流核视频流,以AXI4-Stream流输出;HDMI 1.4/2.0 Receiver Subsystemr配置如下:
关于HDMI 1.4/2.0 Receiver Subsystem接收HDMI2.0的用法,请参考我之前的博客,博客地址如下:
点击直接前往
Video Processing Subsystem
这里介绍一下Video Processing Subsystem;
Video Processing Subsystem有缩放、去隔行、颜色空间转换等功能,这里仅使用图像缩放功能;其特点如下:
适用于Xilinx所有系列的FPGA器件;
支持最大分辨率:8K,即可以处理高达8K的视频;
输入视频格式:AXI4-Stream;
输出视频格式:AXI4-Stream;
需要SDK软件配置,其本质为通过AXI_Lite 做寄存器配置;
模块占用的FPGA逻辑资源更小,相比于自己写的HLS图像缩放而言,官方的Video Processing Subsystem资源占用大约减小30%左右,且更高效:
Video Processing Subsystem逻辑资源如下,请谨慎评估你的FPGA资源情况;
Video Processing Subsystem IP配置如下:这里配置为仅缩放模式,最高4K;
在Linux设计中可以对输入视频进行缩放,通过终端指令配置缩放视频分辨率;
关于Video Processing Subsystem图像缩放的详细用法,请参考我之前的博客,博客地址如下:
点击直接前往
Video Frame Buffer Write
Video Frame Buffer Write相当于精简版的VDMA,只具有视频写入DDR的功能,与VDMA相比具有YUV视频写入的功能,配置如下:
在Linux设计中可以对视频写入的基地址进行配置,通过终端指令配置;
Zynq UltraScale+ VCU
Zynq UltraScale+ VCU是Xilinx Zynq UltraScale+ ZUEV系列FPGA才有的IP,可以实现最高4K60帧的视频压缩和解压,IP的官方文档是《PG252》,读者可以自行前往阅读,Zynq UltraScale+ VCU配置如下:
输入视频格式为YUV420,最高分辨率配置为4K60帧;
PetaLinux 系统制作
PetaLinux版本为2020.2,提供一套编译好的固件,文件复制到TF卡后,可启动Linux系统;
VLC播放器
压缩后的H265码流可通过VLC播放器播放,关于VLC播放器的安装与使用,请参考下面的博客链接:
点击直接前往
工程源码架构
工程源码架构包括vivado Block Design逻辑设计和PetaLiux软件设计;
Block Design逻辑设计架构截图如下:
综合后的源码架构如下:
4、Vivado工程源码详解
开发板FPGA型号:Xilinx–Zynq UltraScale+MPSoCs–xczu4ev-sfvc784-2-i;
开发环境:Vivado2020.2;
输入:笔记本电脑,HDMI2.0,最高分辨率4K @60Hz;
输出:RJ45网口;
视频压缩方案:Zynq UltraScale+ VCU–H265;
工程源码架构请参考前面第3章节中的《工程源码架构》小节;
工程作用:此工程目的是让读者掌握FPGA基于VCU的H265视频压缩的设计能力,以便能够移植和设计自己的项目;
工程的资源消耗和功耗如下:
5、工程移植说明
vivado版本不一致处理
1:如果你的vivado版本与本工程vivado版本一致,则直接打开工程;
2:如果你的vivado版本低于本工程vivado版本,则需要打开工程后,点击文件–>另存为;但此方法并不保险,最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本;
3:如果你的vivado版本高于本工程vivado版本,解决如下:
打开工程后会发现IP都被锁住了,如下:
此时需要升级IP,操作如下:
FPGA型号不一致处理
如果你的FPGA型号与我的不一致,则需要更改FPGA型号,操作如下:
更改FPGA型号后还需要升级IP,升级IP的方法前面已经讲述了;
其他注意事项
1:由于每个板子的DDR不一定完全一样,所以MIG IP需要根据你自己的原理图进行配置,甚至可以直接删掉我这里原工程的MIG并重新添加IP,重新配置;
2:根据你自己的原理图修改引脚约束,在xdc文件中修改即可;
3:纯FPGA移植到Zynq需要在工程中添加zynq软核;
6、上板调试验证并演示
准备工作
FPGA开发板,推荐使用本博的开发板;
笔记本电脑,仅作输入源;
带显卡的电脑主机,显卡越贵越好;
网线;
开发板连接如下:
插上TF卡,然后将串口线和网线连接到电脑,安装串口驱动,资料包中已经提供,上电;
配置Xshell
我们使用Xshell连接开发板模拟Linux终端的操作,Xshell配置如下:
配置开发板IP
首先需要配置开发板IP,配置为和你的电脑在同一网段即可,因为开发板压缩的码流视频需要发送给电脑;首先查看你的电脑IP,以我的为例如下:
然后在Xshell依次输入如下指令配置配置开发板IP,具体配置要根据你的电脑IP而定,这里只是以我的为例,如果这一步都看不懂建议不要往下看了。。。
• 终端指令:ifconfig
• 终端指令:ifconfig ethe 169.254.86.135
如下:
然后ping电脑IP,一定要能ping通,不然后面的操作就没意义了,如下:
• 终端指令:ping 169.254.86.136
配置输入视频
需要检测输入视频的格式,配置视频缩放,如下:
• 终端指令:media-ctl -p -d /dev/media0
可以看到我的输入视频为1080P,其中 RBG888_1X24/1920x1080为 HDMI 输入的视频格式,后面配 VPSS 参数会用到,接着配置视频缩放,如下:
• 终端指令:media-ctl -d /dev/media0 -V ““a0080000.v_proc_ss”:0 [fmt:RBG888_1X24/1920x1080 field:none]”
• 终端指令:media-ctl -d /dev/media0 -V ““a0080000.v_proc_ss”:1 [fmt:RBG888_1X24/1920x1080 field:none]”
如果输入的视频为4K,则指令变为如下:
• 终端指令:media-ctl -d /dev/media0 -V ““a0080000.v_proc_ss”:0 [fmt:RBG888_1X24/3840x2160 field:none]”
• 终端指令:media-ctl -d /dev/media0 -V ““a0080000.v_proc_ss”:1 [fmt:RBG888_1X24/3840x2160 field:none]”
配置H265视频压缩
输入如下指令:
• 终端指令:gst-launch-1.0 v4l2src device=/dev/video0 io-mode=4 ! video/x-raw, format=NV12, width=1920, height=1080, framerate=60/1 ! omxh265enc qp-mode=auto gop-mode=basic gop-length=60 b-frames=0 target-bitrate=60000 num-slices=8 control-rate=constant prefetch-buffer=true low-bandwidth=false filler-data=true cpb-size=1000 initial-delay=500 periodicity-idr=60 ! video/x-h265,profile=main, alignment=au ! queue ! mpegtsmux alignment=7 name=mux ! rtpmp2tpay ! udpsink host=192.168.3.125 port=5004
注意!!!
注意!!!
注意!!!
上述指令中的《udpsink host=192.168.3.125 port=5004》
这里的IP是根据我自己的电脑配置的,你的电脑请根据实际情况修改;端口号5004为固定值;
如果输入的视频为4K,则指令变为如下:
• 终端指令:gst-launch-1.0 v4l2src device=/dev/video0 io-mode=4 ! video/x-raw, format=NV12, width=3840, height=2160, framerate=60/1 ! omxh265enc qp-mode=auto gop-mode=basic gop-length=60 b-frames=0 target-bitrate=60000 num-slices=8 control-rate=constant prefetch-buffer=true low-bandwidth=false filler-data=true cpb-size=1000 initial-delay=500 periodicity-idr=60 ! video/x-h265,profile=main, alignment=au ! queue ! mpegtsmux alignment=7 name=mux ! rtpmp2tpay ! udpsink host=192.168.3.125 port=5004
配置VLC播放器
开发板网线连接电脑,打开VLC播放器,配置如下:
这里一定要注意:这里的IP是根据我自己的电脑配置的,你的电脑请根据实际情况修改;
注意!!!
注意!!!
注意!!!
电脑端一定要用有显卡的电脑,不要用笔记本电脑,不然延时很大,根本无法播放。。。
VLC播放H265码流视频演示
VLC播放H265码流视频演示如下:
FPGA实现H265视频压缩文章来源:https://www.toymoban.com/news/detail-849792.html
7、福利:工程源码获取
福利:工程代码的获取
代码太大,无法邮箱发送,以某度网盘链接方式发送,
资料获取方式:私,或者文章末尾的V名片。
网盘资料如下:
文章来源地址https://www.toymoban.com/news/detail-849792.html
到了这里,关于FPGA基于VCU的H265视频压缩,HDMI2.0输入,支持4K60帧,提供工程源码+开发板+技术支持的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!