系列文章目录
- 基于 FFmpeg 的跨平台视频播放器简明教程(一):FFMPEG + Conan 环境集成
- 基于 FFmpeg 的跨平台视频播放器简明教程(二):基础知识和解封装(demux)
前言
在前面章节 基于 FFMPEG 的跨平台视频播放器简明教程(二):基础知识和解封装(demux) 中我们引入了视频编解码的基础知识以及解封装的概念。
请记住我们的任务:使用 ffmpeg 解码视频,并将解码后的视频帧保存在本地(就像对视频截图一样)。今天,围绕这个任务让我们继续下一个知识点:视频解码。
本文参考文章来自 An ffmpeg and SDL Tutorial - Tutorial 01: Making Screencaps。这个系列对新手较为友好,但 2015 后就不再更新了,以至于文章中的 ffmpeg api 已经被弃用了。幸运的是,有人对该教程的代码进行重写,使用了较新的 api,你可以在 rambodrahmani/ffmpeg-video-player 找到这些代码。
本文的代码在 ffmpeg_video_player_tutorial-tutorial01。
使用 ffmpeg api 进行视频解码的步骤
概括来说,视频解码的步骤包括:
- 创建解码器
- 解封装,从视频流中读取一个 packet
- 将 packet 送给解码器,解码器进行解码
- 从解码器中,取回解码后的数据
创建解码器
在 ffmpeg 中与解码器相关的结构体有两个:AVCodec 和 AVCodecContext。
AVCodec结构体包含了编解码器的特定信息,如编解码器的类型、名称、支持的像素格式或音频样本格式等。你可以使用 avcodec_find_decoder
从 ffmpeg 支持的编解码器中找到你需要的那个。
AVCodec *avcodec_find_decoder(enum AVCodecID id);
avcodec_find_decoder 函数的主要目的是根据给定编解码器ID(AVCodecID)找到合适的解码器。在实现逻辑中,它对FFmpeg支持的所有编解码器进行迭代,并比较它们的AVCodecID与所需的AVCodecID。
如果发现有无法找到某个 id,有可能是因为你使用的 ffmpeg 做了裁剪,不支持这种类型的 codec,这时候你可以在代码中打印一下当前 ffmpeg 支持的 codec 信息:
const AVCodec *codec = NULL;
void *i = 0;
printf("List of supported codecs:\n");
// Iterate over all codecs using av_codec_iterate
// Note: use av_codec_next(codec) instead for older versions of FFmpeg
while ((codec = av_codec_iterate(&i))) {
printf("Codec name: %s, codec type: %s\n", codec->name,
codec->type == AVMEDIA_TYPE_AUDIO ? "Audio"
: codec->type == AVMEDIA_TYPE_VIDEO ? "Video"
: codec->type == AVMEDIA_TYPE_SUBTITLE ? "Subtitle"
: "Other/Unknown");
}
AVCodec 结构体仅仅是对某个编解码器的描述,要进行编解码还需要 AVCodecContext 参与。
在 FFmpeg 中,AVCodecContext 是一个结构体,它表示编解码器的上下文,主要负责存储与编解码器相关的配置信息和状态。AVCodecContext 的作用在于为音频、视频或字幕数据的编码和解码过程提供所需要的各种参数和数据。AVCodecContext 包含以下主要信息:
- 编解码器类型(音频、视频或字幕)
- 编解码器的 ID(用于标识特定的编解码器,例如 H.264,MP3 等)
- 时间基(用于计算时间戳)
- 帧率或采样率(视频或音频播放的速度)
- 比特率(编解码后的数据流的速率)
- 编码或解码期间使用的各种配置选项(如像素格式,音频通道数量,视频分辨率等)
要使用特定的 AVCodec 对象进行编解码,需要为其配置一个相应的 AVCodecContext,并设置相应的参数。然后使用 FFmpeg 提供的函数(如 avcodec_open2,avcodec_send_packet 等)对数据进行编解码。
因此,AVCodecContext 是连接原始数据、编解码器(AVCodec)和输出数据之间的桥梁。它帮助用户在输入和输出之间传递数据,并提供编解码过程所需的参数。
在代码中,使用 avcodec_alloc_context3
创建一个 AVCodecContext
pCodecCtx = avcodec_alloc_context3(pCodec);
接着,需要填充 AVCodecContext 中各种信息,一种简便的方式是使用 avcodec_parameters_to_context
avcodec_parameters_to_context(pCodecCtx, pFormatCtx->streams[videoStream]->codecpar);
最后一步,使用 avcodec_open2
打开编解码器并与 AVCodecContext 相关联。
avcodec_open2(pCodecCtx, pCodec, NULL);
解封装,读取 packet
关于解封装我们在 基于 FFMPEG 的跨平台视频播放器简明教程(二):基础知识和解封装(demux) 已经做了详细的介绍。
从文件中读取一个 packet 非常简单,代码如下:
AVPacket * pPacket = av_packet_alloc();
av_read_frame(pFormatCtx, pPacket); // 从 AVFormatContext 中读取一个 packet
if(pPacket->stream_index == videoStream) // 只处理视频流
{
// do something
}
-
av_packet_alloc
用于申请一个 AVPacket -
av_read_frame
从 AVFormatContext 中读取一个 packet - 判断当前 packet 是否是视频数据(或者其他你想要的数据),接着进行处理
将 packet 送给解码器,解码器进行解码
这一步非常简单,调用 avcodec_send_packet
即可。avcodec_send_packet函数的主要作用如下:
- 将输入的压缩数据包传递给解码器进行解码。
- 在数据发送完毕时(例如,文件结束或流结束),传递NULL数据包以通知解码器将剩余数据刷新。
avcodec_send_packet 函数的返回值是值得注意的,用于表示操作的结果。以下是可能的返回值及其含义:
-
0:操作成功。这意味着输入的压缩数据包已成功传递给解码器。
-
AVERROR(EAGAIN):当前解码器的状态不允许接收更多的数据包。这通常意味着解码器内部缓冲区已满,需要先调用avcodec_receive_frame()函数接收解码帧才能继续发送数据包。
-
AVERROR_EOF:解码器已经被刷新并且不再接受数据包。这意味着文件或流已结束,并且解码器已经清空。
-
AVERROR(EINVAL):提供的AVCodecContext或AVPacket无效,例如AVCodecContext为NULL。也可能意味着解码器没有被正确打开,或者在编码器AVCodecContext上调用了avcodec_send_packet。
-
AVERROR(ENOMEM):解码器内部缓冲区分配失败,内存不足。
-
其他负数:其他库错误或解码器实现特定的错误代码,具体的错误代码可以通过 av_err2str 函数将错误码转为字符串进行输出。
从解码器中,取回解码后的数据
这一步也非常简单,使用 avcodec_receive_frame
从 codec 中取回解码后的数据。avcodec_receive_frame 函数的主要作用如下:
- 尝试从解码器获得已解码的帧(例如,解码后的视频或音频帧)。
- 提供对解码器内部缓冲区和状态管理的抽象,使得调用者不需要直接处理内部缓冲区和状态。
- 在解码器已经处理完所有输入数据包且内部缓冲区已空时,返回AVERROR_EOF,从而告知调用者解码过程已完成。
- 如果解码器需要更多的输入数据包才能生成解码帧,则返回AVERROR(EAGAIN),告知调用者继续发送数据包。
avcodec_send_packet
和 avcodec_receive_frame
一般是成配对使用的,但是你看代码通常这部分代码会夹杂了一些 while/for 循环,这是为啥?这是因为 packet 与 frame 的生成速度不一定是一对一的:avcodec_send_packet
发送了一个 packet 之后,avcodec_receive_frame
可能没有产生,也可能产出多帧。因此你需要用一个 for/while 循环来处理。
while (ret >= 0) {
ret = avcodec_receive_frame(pCodecCtx, pFrame);
if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
// EOF exit loop
break;
} else if (ret < 0) {
// could not decode packet
printf("Error while decoding.\n");
// exit with error
return -1;
}
}
总结
本文说明了使用 ffmpeg api 进行视频解码的流程,步骤顺序为:文章来源:https://www.toymoban.com/news/detail-482580.html
- 创建解码器
- 解封装,从视频流中读取一个 packet
- 将 packet 送给解码器,解码器进行解码
- 从解码器中,取回解码后的数据
整个过程中,最为关键的部分是使用 avcodec_send_packet 和 avcodec_receive_frame 进行解码操作。理解这两个 api 是理解视频解码的关键。文章来源地址https://www.toymoban.com/news/detail-482580.html
参考
- ffmpeg_video_player_tutorial-tutorial01
- An ffmpeg and SDL Tutorial - Tutorial 01: Making Screencaps
到了这里,关于基于 FFMPEG 的跨平台视频播放器简明教程(三):视频解码的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!