MediaFormat 是 Android 平台中用于描述音视频格式的类,它提供了许多 API 用于设置和获取音视频的格式信息。以下是 MediaFormat 类的主要 API:
createAudioFormat 和 createVideoFormat
用于创建音频和视频格式的 MediaFormat 对象。需要指定媒体类型(例如 audio/mp4a-latm 或 video/avc)、媒体的采样率、通道数、码率、帧率等信息。
MediaFormat audioFormat = MediaFormat.createAudioFormat("audio/mp4a-latm", 44100, 2);
MediaFormat videoFormat = MediaFormat.createVideoFormat("video/avc", 1920, 1080);
setInteger 和 getInteger
用于设置和获取整数类型的属性值,例如音频的比特率、视频的帧率等。其中 setInteger 方法接收两个参数,第一个参数为属性名称(例如 MediaFormat.KEY_BIT_RATE),第二个参数为属性值。getInteger 方法接收一个参数,即要获取的属性名称,返回对应的整数值。
getInteger常见的属性如下:
KEY_BIT_RATE:音频或视频的比特率,单位为比特每秒(bps)。
KEY_SAMPLE_RATE:音频的采样率,单位为赫兹(Hz)。
KEY_CHANNEL_COUNT:音频的通道数。
KEY_WIDTH:视频的宽度,单位为像素。
KEY_HEIGHT:视频的高度,单位为像素。
KEY_FRAME_RATE:视频的帧率,单位为帧每秒(fps)。
KEY_I_FRAME_INTERVAL:视频的 I 帧间隔,单位为秒。通常情况下,视频编码器会在视频中周期性地插入一个 I 帧,以便于视频的随机访问。该属性指定 I 帧之间的时间间隔,如果值为 1,则表示每一帧都是 I 帧,如果值为 2,则表示每两帧为一个 GOP(Group Of Pictures),第一帧为 I 帧,后续帧为 P 帧或 B 帧。
如果MediaFormat.KEY_I_FRAME_INTERVAL的返回值是-1,则表示编码器使用了默认值。
在Android中,如果使用MediaCodec进行视频编码,可以设置MediaFormat.KEY_I_FRAME_INTERVAL参数来控制生成关键帧的频率。如果您没有显式地设置此参数或设置为-1,则编码器将使用默认值,这通常是10秒左右的时间间隔。
需要注意的是,不同的视频编码器可能会对默认值进行不同的设置。因此,如果您需要更精细地控制关键帧的生成频率,最好显式地设置MediaFormat.KEY_I_FRAME_INTERVAL参数,而不是依赖默认值。
KEY_MAX_INPUT_SIZE:媒体输入数据的最大大小,单位为字节。通常情况下,编码器需要知道输入数据的最大大小,以便于为输入数据分配足够的缓冲区。
int bitRate = mediaFormat.getInteger(MediaFormat.KEY_BIT_RATE);
int sampleRate = mediaFormat.getInteger(MediaFormat.KEY_SAMPLE_RATE);
int channelCount = mediaFormat.getInteger(MediaFormat.KEY_CHANNEL_COUNT);
int width = mediaFormat.getInteger(MediaFormat.KEY_WIDTH);
int height = mediaFormat.getInteger(MediaFormat.KEY_HEIGHT);
float frameRate = mediaFormat.getInteger(MediaFormat.KEY_FRAME_RATE);
float iFrameInterval = mediaFormat.getInteger(MediaFormat.KEY_I_FRAME_INTERVAL);
int maxInputSize = mediaFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE);
setString 和 getString
用于设置和获取字符串类型的属性值,例如音频的 MIME 类型、视频的颜色空间等。其中 setString 方法接收两个参数,第一个参数为属性名称,第二个参数为属性值。getString 方法接收一个参数,即要获取的属性名称,返回对应的字符串值。
audioFormat.setString(MediaFormat.KEY_MIME, "audio/mp4a-latm");
videoFormat.setString(MediaFormat.KEY_COLOR_SPACE, "bt709");
String mimeType = audioFormat.getString(MediaFormat.KEY_MIME);
getString常见的属性如下:
KEY_MIME:媒体格式的 MIME 类型。MIME(Multipurpose Internet Mail Extensions)类型是一种标准化的方式,用于表示不同类型的数据格式。例如,视频格式的 MIME 类型可能为 video/mp4,音频格式的 MIME 类型可能为 audio/mpeg。
KEY_LANGUAGE:媒体的语言。
KEY_TITLE:媒体的标题。
KEY_ALBUM:媒体所属的专辑。
KEY_AUTHOR:媒体的作者。
KEY_GENRE:媒体的流派或类型。
KEY_MIME_TYPE:同 KEY_MIME。
String mime = mediaFormat.getString(MediaFormat.KEY_MIME);
String language = mediaFormat.getString(MediaFormat.KEY_LANGUAGE);
String title = mediaFormat.getString(MediaFormat.KEY_TITLE);
String album = mediaFormat.getString(MediaFormat.KEY_ALBUM);
String author = mediaFormat.getString(MediaFormat.KEY_AUTHOR);
String genre = mediaFormat.getString(MediaFormat.KEY_GENRE);
setByteBuffer和getByteBuffer
用于设置和获取ByteBuffer类型的数据。具体介绍如下:
setByteBuffer(String key, ByteBuffer bytes)
setByteBuffer方法用于设置指定键值对应的ByteBuffer类型数据。其中,key表示键名,bytes表示要设置的ByteBuffer类型数据。该方法可以用于设置音频或视频数据的具体内容。例如,可以使用该方法将PCM音频数据或H.264视频数据设置到MediaFormat对象中。
getByteBuffer(String key)
getByteBuffer方法用于获取指定键值对应的ByteBuffer类型数据。其中,key表示键名。该方法可以用于获取音频或视频数据的具体内容。例如,可以使用该方法获取AAC音频数据或H.264视频数据。
需要注意的是,使用setByteBuffer和getByteBuffer方法时需要保证媒体格式已经被正确设置,否则可能会导致数据无法被正确解析。此外,对于视频数据,由于H.264和HEVC等视频编码格式采用了一些特殊的编码方式,因此需要通过特定的方式将视频数据封装成封装格式,例如MP4或MKV等格式。
MediaFormat中的csd-0和csd-1分别是什么意思
在 Android 的 MediaFormat 类中,csd-0 和 csd-1 分别代表 H.264 和 H.265 编码器中的 SPS(Sequence Parameter Set)和 PPS(Picture Parameter Set)数据。
具体来说,H.264 和 H.265 编码器在编码视频数据时,会将视频帧数据分为多个 NAL(Network Abstraction Layer)单元,并在每个 NAL 前面添加特定的起始码(start code)或者长度信息(length information)。SPS 和 PPS 分别是 H.264 和 H.265 编码器中的两个关键信息单元,包含了视频的基本参数信息(如分辨率、帧率、码率等)以及编码参数(如编码方式、压缩比等),是解码器解码视频时必须用到的信息。
在 MediaFormat 中,csd-0 和 csd-1 分别对应 H.264 和 H.265 编码器中的 SPS 和 PPS 数据,是作为 MediaFormat 对象中的附加参数来描述视频流的。当使用 MediaCodec 对象进行编码或解码时,需要将这些附加参数设置到 MediaFormat 对象中,以便编码器或解码器使用。文章来源:https://www.toymoban.com/news/detail-429848.html
需要注意的是,由于不同的编码器可能使用不同的起始码或长度信息格式,因此在解析 SPS 和 PPS 数据时需要根据编码器的具体实现来进行解析。文章来源地址https://www.toymoban.com/news/detail-429848.html
到了这里,关于音视频开发系列(6)——全面了解Android MediaFormat的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!