ffmpeg的函数调用知识点-Toy模板网

这篇具有很好参考价值的文章主要介绍了ffmpeg的函数调用知识点。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

av_dump_format 打印的内容是什么意思？

av_dump_format 会打印出AVFormatContext的内容，打印的内容是什么意思？

我们使用av_dump_format打印出如下信息：

Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'https://demo.com/BigBuckBunny.mp4':
  Metadata:
    major_brand     : mp42
    minor_version   : 0
    compatible_brands: isomavc1mp42
    creation_time   : 2010-01-10T08:29:06.000000Z
  Duration: 00:09:56.47, start: 0.000000, bitrate: 2119 kb/s
    Stream #0:0(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 125 kb/s (default)
    Metadata:
      creation_time   : 2010-01-10T08:29:06.000000Z
      handler_name    : (C) 2007 Google Inc. v08.13.2007.
    Stream #0:1(und): Video: h264 (High) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 1991 kb/s, 24 fps, 24 tbr, 24k tbn, 48 tbc (default)
    Metadata:
      creation_time   : 2010-01-10T08:29:06.000000Z
      handler_name    : (C) 2007 Google Inc. v08.13.2007.

什么是文件的容器格式？

"mov,mp4,m4a,3gp,3g2,mj2" 表示输入文件的容器格式（Container Format）支持的扩展名。

在多媒体文件中，容器格式用于组织和存储多个音视频流以及其他相关数据。不同的容器格式支持不同的文件扩展名。这些扩展名用于指示文件的格式和类型。

在示例输出中，"mov,mp4,m4a,3gp,3g2,mj2" 表示输入文件是支持这些扩展名的容器格式。具体含义如下：

"mov"：QuickTime Movie 文件，通常用于 macOS 平台。
"mp4"：MPEG-4 Part 14 文件，是一种常见的多媒体容器格式，广泛用于存储音视频数据。
"m4a"：MPEG-4 Audio 文件，用于存储音频数据。
"3gp"：3rd Generation Partnership Project 文件，用于在移动设备上播放音视频。
"3g2"：3rd Generation Partnership Project 2 文件，是 3GP 的增强版本。
"mj2"：Motion JPEG 2000 文件，用于存储基于 JPEG 2000 压缩的视频。

因此，"mov,mp4,m4a,3gp,3g2,mj2" 表示输入文件是支持这些容器格式的文件，可以根据文件扩展名来推断文件的类型和格式。

多媒体文件格式说法比较笼统，准确说应该是被分为两种格式，编码格式 + 容器格式。

这就相当于我们会用盘子盛菜，也能用盘子盛米饭。

我们可以使用不同的容器格式盛放不同的编码格式。（当然这里也是有一些规定的，某个容器格式允许盛放哪些编码格式都是有明确要求的）

这个容器格式也就是我们日常看到的文件后缀。

在这里的输出中，我们有多个容器格式，说明我们是允许这个网络url下载的内容存放在mov/mp4/m4a等文件格式中的。

Metadata 有哪些信息？

在 av_dump_format() 输出的信息中，"Metadata" 部分包含了一些元数据信息，用于描述媒体文件的特定属性和相关数据。下面是对每个字段的解释：

major_brand：表示文件的主要品牌标识。它表示“最好”基于哪种格式来解析当前的文件。在示例中，"mp42" 表示该文件的主要品牌为 "mp42"。这是一种标识符，用于标识所使用的容器格式或编码器。
minor_version：表示文件的次要版本号。在示例中，"0" 表示该文件的次要版本为 0。
compatible_brands：表示文件与哪些兼容的品牌标识符兼容。在示例中，"isomavc1mp42" 表示该文件兼容 "isom"、"avc1" 和 "mp42" 这些品牌标识符。
creation_time：表示文件的创建时间。在示例中，"2010-01-10T08:29:06.000000Z" 表示该文件的创建时间为 2010 年 1 月 10 日 08:29:06（UTC 时间）。

这些元数据信息提供了关于媒体文件的额外信息，如文件的品牌标识、版本号、兼容性和创建时间。这些信息可以用于判断文件的属性、兼容性和制作信息。

Duration有哪些信息？

Duration: 00:09:56.47, start: 0.000000, bitrate: 2119 kb/s

这个信息比较好理解，视频文件有9分56秒，播放比特率是2119kb/s

视频的比特率（bitrate）是指在单位时间内传输或处理的比特数，通常以每秒的比特数（bps，bits per second）为单位。它表示视频数据的传输速率或处理速度。

比特率直接影响视频的数据量和质量，较高的比特率意味着更多的数据被分配给每个时间单位，从而提供更高的视频质量和更精细的细节。较低的比特率则表示视频数据被压缩得更多，可以减小文件大小或降低传输带宽要求，但可能会导致视频质量的损失和细节的丢失。

音频流有哪些信息？

Stream #0:0(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 125 kb/s (default)
    Metadata:
      creation_time   : 2010-01-10T08:29:06.000000Z
      handler_name    : (C) 2007 Google Inc. v08.13.2007.

"Stream #0:0(und)" 表示第一个流（Stream）的信息。下面是对每个字段的解释：

Audio：表示该流是音频流。
aac (LC)：表示音频编解码器为 AAC（Advanced Audio Coding）的低复杂度（Low Complexity）模式。
mp4a / 0x6134706D：表示音频编码器的标识符为 "mp4a"，对应的十六进制值为 "0x6134706D"。
44100 Hz：表示音频采样率为 44,100 Hz，即每秒采集和播放的音频样本数。
stereo：表示音频通道模式为立体声，即左右两个声道。
fltp：表示音频采样格式为浮点型（floating point）。
125 kb/s：表示音频的比特率为 125 kb/s，即每秒传输或处理的音频数据量为 125 kb。
(default)：表示该流是默认的流。
handler_name: 表示是由 Google 公司开发的某个版本的处理程序生成或处理的。

视频流有哪些信息？

"Stream #0:1(und)" 表示第二个流（Stream）的信息，即视频流。下面是对每个字段的解释：

Video：表示该流是视频流。
h264 (High)：表示视频编解码器为 H.264（高级）。
avc1 / 0x31637661：表示视频编码器的标识符为 "avc1"，对应的十六进制值为 "0x31637661"。
yuv420p：表示视频采样格式为 YUV420P，即色彩空间为 YUV，亮度和色度分量的采样比例为 4:2:0。
1280x720：表示视频分辨率为 1280x720 像素。
[SAR 1:1 DAR 16:9]：表示视频的样本宽高比（Sample Aspect Ratio）为 1:1，显示宽高比（Display Aspect Ratio）为 16:9。
1991 kb/s：表示视频的比特率为 1991 kb/s，即每秒传输或处理的视频数据量为 1991 kb。
24 fps：表示视频的帧率为 24 帧每秒。
24 tbr, 24k tbn, 48 tbc：表示视频的时间基准信息。
(default)：表示该流是默认的流。
handler_name: 表示是由 Google 公司开发的某个版本的处理程序生成或处理的。

AVStream结构有哪些元素？

AVStream 结构是 FFmpeg 中表示媒体流的数据结构，它包含了媒体流的各种属性和信息。下面是 AVStream 结构中一些常用的成员变量：

index：表示流的索引号。
id：表示流的唯一标识符。
codecpar：指向 AVCodecParameters 结构的指针，包含了与该流关联的编解码器参数。
time_base：表示流的时间基准，用于将时间单位转换为实际时间。
start_time：表示流的起始时间。
duration：表示流的时长。
nb_frames：表示流中的帧数。
disposition：表示流的布局或位置相关的标志。
avg_frame_rate：表示流的平均帧率。
r_frame_rate：表示流的参考帧率。
metadata：指向 AVDictionary 结构的指针，包含了流的元数据。

要使用 AVStream 结构，可以先通过 AVFormatContext 结构中的 streams 数组获取特定的 AVStream 结构，然后使用相应的成员变量获取所需的信息。例如，要获取流的索引号可以使用 avStream->index，获取流的时间基准可以使用 avStream->time_base，获取流的元数据可以使用 avStream->metadata。

ffmpeg如何读取视频流？

ffmpeg需要先定位mp4中的视频流，从视频流stream中读取每一帧，将每一帧再转换为yuv格式。

// 解码器
    AVCodec* codec = nullptr;
    AVCodecContext* codecContext = avcodec_alloc_context3(codec);

  // 寻找到视频流
    int videoStreamIndex = av_find_best_stream(inputContext, AVMEDIA_TYPE_VIDEO, -1, -1, &codec, 0);
    if (videoStreamIndex < 0) {
        // 没有找到视频流
        return -1;
    }

    // 获取视频流
    AVStream* stream = inputContext->streams[videoStreamIndex];
           
    if (avcodec_parameters_to_context(codecContext, stream->codecpar) < 0) {
        // 获取解码器上下文失败
        return -1;
    }
    if (avcodec_open2(codecContext, codec, nullptr) < 0) {
        // 打开解码器失败
        return -1;
    }

    // 分配视频帧和 YUV 帧
    AVFrame* frame = av_frame_alloc();
    AVFrame* frameYUV = av_frame_alloc();
    int frameBufferSize = av_image_get_buffer_size(AV_PIX_FMT_YUV420P, codecContext->width, codecContext->height, 1);
    uint8_t* frameBuffer = (uint8_t*)av_malloc(frameBufferSize * sizeof(uint8_t));
    av_image_fill_arrays(frameYUV->data, frameYUV->linesize, frameBuffer, AV_PIX_FMT_YUV420P, codecContext->width, codecContext->height, 1);

    // 初始化图像转换上下文
    struct SwsContext* swsContext = sws_getContext(codecContext->width, codecContext->height, codecContext->pix_fmt, codecContext->width, codecContext->height, AV_PIX_FMT_YUV420P, SWS_BILINEAR, nullptr, nullptr, nullptr);
    // 读取视频帧并转换为 YUV 格式
    AVPacket packet;
    while (av_read_frame(inputContext, &packet) >= 0) {
        if (packet.stream_index == videoStreamIndex) {
            // 解码视频帧
            avcodec_send_packet(codecContext, &packet);
            avcodec_receive_frame(codecContext, frame);

            // 转换为 YUV 格式
            sws_scale(swsContext, frame->data, frame->linesize, 0, codecContext->height, frameYUV->data, frameYUV->linesize);

            // 在这里可以对 YUV 数据进行处理

            // 释放帧的引用
            av_frame_unref(frame);
        }

        av_packet_unref(&packet);
    }

ffmpeg如何定位到某个流的第几秒开始播放？

使用 av_seek_frame 函数：可以使用 av_seek_frame 函数在特定的时间点进行定位。这个函数可以用于音频和视频流。以下是一个示例代码片段，展示了如何使用 av_seek_frame 定位到指定的时间点：

int64_t timestamp = desired_time * AV_TIME_BASE;  // 将秒转换为时间戳
int stream_index = 0;  // 假设我们要定位到第一个流

AVStream* stream = formatContext->streams[stream_index];
int64_t seek_target = av_rescale_q(timestamp, AV_TIME_BASE_Q, stream->time_base);

// 定位到指定时间点
av_seek_frame(formatContext, stream_index, seek_target, AVSEEK_FLAG_BACKWARD);