FFmpeg入门 - 格式转换

1、音频分⽚(plane)与打包(packed)

---

解码出来的AVFrame,它的data字段放的是视频像素数据或者音频的PCM裸流数据,linesize字段放的是对齐后的画面行长度或者音频的分片长度:

/**

* For video, size in bytes of each picture line.

* For audio, size in bytes of each plane.

*

* For audio, only linesize[0] may be set. For planar audio, each channel

* plane must be the same size.

*

* For video the linesizes should be multiples of the CPUs alignment

* preference, this is 16 or 32 for modern desktop CPUs.

* Some code requires such alignment other code can be slower without

* correct alignment, for yet other it makes no difference.

*

* @note The linesize may be larger than the size of usable data -- there

* may be extra padding present for performance reasons.

*/

intlinesize[AV_NUM_DATA_POINTERS];

视频相关的在之前的博客中有介绍,音频的话可以看到它只有linesize[0]会被设置,如果有多个分片,每个分片的size都是相等的。

要理解这里的分片size,先要理解音频数据的两种存储格式分⽚(plane)与打包(packed)。以常见的双声道音频为例子,

分⽚存储的数据左声道和右声道分开存储,左声道存储在data[0],右声道存储在data[1],他们的数据buffer的size都是linesize[0]。

打包存储的数据按照LRLRLR...的形式交替存储在data[0]中,这个数据buffer的size是linesize[0]。

AVSampleFormat枚举音频的格式,带P后缀的格式是分配存储的:

AV_SAMPLE_FMT_U8P, ///< unsigned 8 bits, planar

AV_SAMPLE_FMT_S16P, ///< signed 16 bits, planar

AV_SAMPLE_FMT_S32P, ///< signed 32 bits, planar

AV_SAMPLE_FMT_FLTP, ///< float, planar

AV_SAMPLE_FMT_DBLP, ///< double, planar

不带P后缀的格式是打包存储的:

AV_SAMPLE_FMT_U8, ///< unsigned 8 bits

AV_SAMPLE_FMT_S16, ///< signed 16 bits

AV_SAMPLE_FMT_S32, ///< signed 32 bits

AV_SAMPLE_FMT_FLT, ///< float

AV_SAMPLE_FMT_DBL, ///< double

2、音频数据的实际长度

---

这里有个坑点备注里面也写的很清楚了,linesize标明的大小可能会大于实际的音视频数据大小,因为可能会有额外的填充。

@note The linesize may be larger than the size of usable data -- there
may be extra padding present for performance reasons.

所以音频数据实际的长度需要用音频的参数计算出来:

intchannelCount=audioStreamDecoder.GetChannelCount();

intbytePerSample=audioStreamDecoder.GetBytePerSample();

intsize=frame->nb_samples*channelCount*bytePerSample;

3、音频格式转换

---

视频之前的demo中已经可以使用OpenGL播放,而音频可以交给OpenSL来播放,之前我写过一篇《OpenSL ES 学习笔记》详细的使用细节我就不展开介绍了,直接将代码拷贝来使用。

但是由于OpenSLES只支持打包的几种音频格式:

#define SL_PCMSAMPLEFORMAT_FIXED_8 ((SLuint16) 0x0008)

#define SL_PCMSAMPLEFORMAT_FIXED_16 ((SLuint16) 0x0010)

#define SL_PCMSAMPLEFORMAT_FIXED_20 ((SLuint16) 0x0014)

#define SL_PCMSAMPLEFORMAT_FIXED_24 ((SLuint16) 0x0018)

#define SL_PCMSAMPLEFORMAT_FIXED_28 ((SLuint16) 0x001C)

#define SL_PCMSAMPLEFORMAT_FIXED_32 ((SLuint16) 0x0020)

这里我们指的AudioStreamDecoder的目标格式为AV_SAMPLE_FMT_S16,如果原始音频格式不是它,则对音频做转码:

audioStreamDecoder.Init(reader, audioIndex, AVSampleFormat::AV_SAMPLE_FMT_S16);

​

​

boolAudioStreamDecoder::Init(MediaReader*reader, intstreamIndex, AVSampleFormatsampleFormat) {

...

​

boolresult=StreamDecoder::Init(reader, streamIndex);

​

if (sampleFormat==AVSampleFormat::AV_SAMPLE_FMT_NONE) {

mSampleFormat=mCodecContext->sample_fmt;

} else {

mSampleFormat=sampleFormat;

}

​

if (mSampleFormat!=mCodecContext->sample_fmt) {

mSwrContext=swr_alloc_set_opts(

NULL,

mCodecContext->channel_layout,

mSampleFormat,

mCodecContext->sample_rate,

mCodecContext->channel_layout,

mCodecContext->sample_fmt,

mCodecContext->sample_rate,

0,

NULL);

swr_init(mSwrContext);

​

// 虽然前面的swr_alloc_set_opts已经设置了这几个参数

// 但是用于接收的AVFrame不设置这几个参数也会接收不到数据

// 原因是后面的swr_convert_frame函数会通过av_frame_get_buffer创建数据的buff

// 而av_frame_get_buffer需要AVFrame设置好这些参数去计算buff的大小

mSwrFrame=av_frame_alloc();

mSwrFrame->channel_layout=mCodecContext->channel_layout;

mSwrFrame->sample_rate=mCodecContext->sample_rate;

mSwrFrame->format=mSampleFormat;

}

returnresult;

}

​

AVFrame*AudioStreamDecoder::NextFrame() {

AVFrame*frame=StreamDecoder::NextFrame();

if (NULL==frame) {

returnNULL;

}

if (NULL==mSwrContext) {

returnframe;

}

​

swr_convert_frame(mSwrContext, mSwrFrame, frame);

returnmSwrFrame;

}

这里我们使用swr_convert_frame进行转码:

intswr_convert_frame(SwrContext*swr, // 转码上下文

AVFrame*output, // 转码后输出到这个AVFrame

constAVFrame*input// 原始输入AVFrame

);

这个方法要求输入输出的AVFrame都设置了channel_layout、 sample_rate、format参数,然后回调用av_frame_get_buffer为output创建数据buff:

/**

* ...

*

* Input and output AVFrames must have channel_layout, sample_rate and format set.

*

* If the output AVFrame does not have the data pointers allocated the nb_samples

* field will be set using av_frame_get_buffer()

* is called to allocate the frame.

* ...

*/

intswr_convert_frame(SwrContext*swr,

AVFrame*output, constAVFrame*input);

SwrContext为转码的上下文,通过swr_alloc_set_opts和swr_init创建,需要把转码前后的音频channel_layout、 sample_rate、format信息传入:

structSwrContext*swr_alloc_set_opts(structSwrContext*s,

int64_tout_ch_layout, enumAVSampleFormatout_sample_fmt, intout_sample_rate,

int64_t in_ch_layout, enumAVSampleFormat in_sample_fmt, int in_sample_rate,

intlog_offset, void*log_ctx);

​

intswr_init(structSwrContext*s);

4、视频格式转换

---

之前的demo里面我们判断了视频格式不为AV_PIX_FMT_YUV420P则直接报错,这里我们仿照音频转换的例子,判断原始视频格式不为AV_PIX_FMT_YUV420P则使用sws_scale进行格式转换:

boolVideoStreamDecoder::Init(MediaReader*reader, intstreamIndex, AVPixelFormatpixelFormat) {

...

boolresult=StreamDecoder::Init(reader, streamIndex);

if (AVPixelFormat::AV_PIX_FMT_NONE==pixelFormat) {

mPixelFormat=mCodecContext->pix_fmt;

} else {

mPixelFormat=pixelFormat;

}

​

if (mPixelFormat!=mCodecContext->pix_fmt) {

intwidth=mCodecContext->width;

intheight=mCodecContext->height;

​

mSwrFrame=av_frame_alloc();

​

// 方式一,使用av_frame_get_buffer创建数据存储空间,av_frame_free的时候会自动释放

mSwrFrame->width=width;

mSwrFrame->height=height;

mSwrFrame->format=mPixelFormat;

av_frame_get_buffer(mSwrFrame, 0);

​

// 方式二,使用av_image_fill_arrays指定存储空间,需要我们手动调用av_malloc、av_free去创建、释放空间

// unsigned char* buffer = (unsigned char *)av_malloc(

// av_image_get_buffer_size(mPixelFormat, width, height, 16)

// );

// av_image_fill_arrays(mSwrFrame->data, mSwrFrame->linesize, buffer, mPixelFormat, width, height, 16);

​

mSwsContext=sws_getContext(

mCodecContext->width, mCodecContext->height, mCodecContext->pix_fmt,

width, height, mPixelFormat, SWS_BICUBIC,

NULL, NULL, NULL

);

}

returnresult;

}

​

​

AVFrame*VideoStreamDecoder::NextFrame() {

AVFrame*frame=StreamDecoder::NextFrame();

if (NULL==frame) {

returnNULL;

}

if (NULL==mSwsContext) {

returnframe;

}

​

sws_scale(mSwsContext, frame->data,

frame->linesize, 0, mCodecContext->height,

mSwrFrame->data, mSwrFrame->linesize);

returnmSwrFrame;

}

sws_scale看名字虽然是缩放,但它实际上也会对format进行转换,转换的参数由SwsContext提供:

structSwsContext*sws_getContext(

intsrcW, // 源图像的宽

intsrcH, // 源图像的高

enumAVPixelFormatsrcFormat, // 源图像的格式

intdstW, // 目标图像的宽

intdstH, // 目标图像的高

enumAVPixelFormatdstFormat, // 目标图像的格式

intflags, // 暂时可忽略

SwsFilter*srcFilter, // 暂时可忽略

SwsFilter*dstFilter, // 暂时可忽略

constdouble*param // 暂时可忽略

);

sws_scale支持区域转码,可以如我们的demo将整幅图像进行转码,也可以将图像切成多个区域分别转码,这样方便实用多线程加快转码效率:

intsws_scale(

structSwsContext*c, // 转码上下文

constuint8_t*constsrcSlice[], // 源画面区域像素数据,对应源AVFrame的data字段

constintsrcStride[], // 源画面区域行宽数据,对应源AVFrame的linesize字段

intsrcSliceY, // 源画面区域起始Y坐标,用于计算应该放到目标图像的哪个位置

intsrcSliceH, // 源画面区域行数,用于计算应该放到目标图像的哪个位置

uint8_t*constdst[], // 转码后图像数据存储,对应目标AVFrame的data字段

constintdstStride[] // 转码后行宽数据存储,对应目标AVFrame的linesize字段

);

srcSlice和srcStride存储了源图像部分区域的图像数据,srcSliceY和srcSliceH告诉转码器这部分区域的坐标范围,用于计算偏移量将转码结果存放到dst和dstStride中。

例如下面的代码就将一幅完整的图像分成上下两部分分别进行转码:

inthalfHeight=mCodecContext->height/2;

​

// 转码上半部分图像

uint8_t*dataTop[AV_NUM_DATA_POINTERS] = {

frame->data[0],

frame->data[1],

frame->data[2]

};

sws_scale(mSwsContext, dataTop,

frame->linesize, 0,

halfHeight,

mSwrFrame->data, mSwrFrame->linesize);

​

// 转码下半部分图像

uint8_t*dataBottom[AV_NUM_DATA_POINTERS] = {

frame->data[0] + (frame->linesize[0] *halfHeight),

frame->data[1] + (frame->linesize[1] *halfHeight),

frame->data[2] + (frame->linesize[2] *halfHeight),

};

sws_scale(mSwsContext, dataBottom,

frame->linesize, halfHeight,

mCodecContext->height-halfHeight,

mSwrFrame->data, mSwrFrame->linesize);

5、AVFrame内存管理机制

---

我们创建了一个新的AVFrame用于接收转码后的图像:

mSwrFrame=av_frame_alloc();

​

// 方式一,使用av_frame_get_buffer创建数据存储空间,av_frame_free的时候会自动释放

mSwrFrame->width=width;

mSwrFrame->height=height;

mSwrFrame->format=mPixelFormat;

av_frame_get_buffer(mSwrFrame, 0);

​

// 方式二,使用av_image_fill_arrays指定存储空间,需要我们手动调用av_malloc、av_free去创建、释放buffer的空间

// int bufferSize = av_image_get_buffer_size(mPixelFormat, width, height, 16);

// unsigned char* buffer = (unsigned char *)av_malloc(bufferSize);

// av_image_fill_arrays(mSwrFrame->data, mSwrFrame->linesize, buffer, mPixelFormat, width, height, 16);

av_frame_alloc创建出来的AVFrame只是一个壳,我们需要为它提供实际存储像素数据和行宽数据的内存空间,如上所示有两种方法:

1.通过av_frame_get_buffer创建存储空间,data成员的空间实际上是由buf[0]->data提供的:

LOGD("mSwrFrame --> buf : 0x%X~0x%X, data[0]: 0x%X, data[1]: 0x%X, data[2]: 0x%X",

mSwrFrame->buf[0]->data,

mSwrFrame->buf[0]->data+mSwrFrame->buf[0]->size,

mSwrFrame->data[0],

mSwrFrame->data[1],

mSwrFrame->data[2]

);

// mSwrFrame --> buf : 0x2E6E8AC0~0x2E753F40, data[0]: 0x2E6E8AC0, data[1]: 0x2E7302E0, data[2]: 0x2E742100

1. 通过av_image_fill_arrays指定外部存储空间,data成员的空间就是我们指的的外部空间,而buf成员是NULL:

LOGD("mSwrFrame --> buffer : 0x%X~0x%X, buf : 0x%X, data[0]: 0x%X, data[1]: 0x%X, data[2]: 0x%X",

buffer,

buffer+bufferSize,

mSwrFrame->buf[0],

mSwrFrame->data[0],

mSwrFrame->data[1],

mSwrFrame->data[2]

);

// FFmpegDemo: mSwrFrame --> buffer : 0x2DAE4DC0~0x2DB4D5C0, buf : 0x0, data[0]: 0x2DAE4DC0, data[1]: 0x2DB2A780, data[2]: 0x2DB3BEA0

而av_frame_free内部会去释放AVFrame里buf的空间,对于data成员它只是简单的把指针赋值为0,所以通过av_frame_get_buffer创建存储空间,而通过av_image_fill_arrays指定外部存储空间需要我们手动调用av_free去释放外部空间。

6、align

---

细心的同学可能还看到了av_image_get_buffer_size和av_image_fill_arrays都传了个16的align,这里对应的就是之前讲的linesize的字节对齐,会填充数据让linesize变成16、或者32的整数倍:

@paramalign thevalueusedinsrcforlinesizealignment

这里如果为0会填充失败:

1.png

而为1不做填充会出现和实际解码中的linesize不一致导致画面异常:

2.png

av_frame_get_buffer则比较人性化,它推荐你填0让它自己去判断应该按多少对齐:

*@paramalignRequiredbuffersizealignment. Ifequalto0, alignmentwillbe

* chosenautomaticallyforthecurrentCPU. Itishighly

* recommendedtopass0hereunlessyouknowwhatyouaredoing.

7、完整代码

---

完整的demo代码已经放到Github上,感兴趣的同学可以下载来看看

原文：https://www.jianshu.com/p/9a093d8b91ef

★文末名片可以免费领取音视频开发学习资料，内容包括（FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）以及音视频学习路线图等等。

见下方!↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓文章来源地址https://www.toymoban.com/news/detail-514143.html