Android 显示框架:Surface详解之一

这篇具有很好参考价值的文章主要介绍了Android 显示框架:Surface详解之一。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、Surface图形系统概览

Surface是一个显示系统中的组件,无论是在图形系统的结构之中,还是在生产消费模型的流程之中都做作为一个举足轻重的角色,参与整个安卓的显示生命周期之中。

我们摘抄了两段谷歌对surface的描述作为贯穿整个文章的中心:
1.A surface is an interface for a producer to exchange buffers with a consumer.
2.No matter what rendering API developers use, everything is rendered onto a surface. The surface represents the producer side of a buffer queue that is often consumed by SurfaceFlinger. Every window that is created on the Android platform is backed by a surface.

  • 下图是安卓官网对于安卓图形架构组成的说明
    • 其中High-level components 是在编写安卓程序时使用到的具体类,安卓app通过控制这些工具,来间接控制surface在底层的使用。
    • 其中Low-level components 是真正属于在framework层中的图形显示实践。

android surface,android

  • 下图是整个Low-level components的Graphic Oerview,着重说明了整个显示系统的流转。我们从每个组件,每个箭头来一一分析。
    android surface,android

我们将整个过程当做一次美术博物馆的展出,便于理解这些组件在显示过程中的作用。

1.1 IMAGE STREAM PRODUCERS

android surface,android
位于生产消费模型的生产端,所有可以生成buffer data 的内容。读取media中的内容,读取camera中的内容,用NDK生成图像,用OpenGL生成图像等等。他们都可以作为纯粹的画家,也就是内容生产者。
他们既决定Buffer Data中的内容,也同时决定“取景框”Windows的大小位置。

1.2 NATIVE FRAMEWORK

android surface,android

  • 在native framework层中,libgui负责构建buffer队列,安排buffer的消费者,组织有序的生产和消费流程。
  • 可以理解为“不懂画但是手握画品的拍卖工厂”。

1.3 WINDOW POSITIONING

android surface,android

  • 大部分显示系统,无论安卓、windows、qnx都会需要一个window管理,用来管理不同buffer的大小、层级、位置等等信息,在一个屏幕中,尽可能的配合所有画面的内容。
  • 相当于“杂志的排版编辑”

1.4 IMAGE STREAM CONSUMERS

android surface,android

  • 自此真正的消费者出现了,他们根据排版编辑的排列信息,去到拍卖工厂中的GraphicBufferQueue中,整合信息将展览画面传到屏幕中。SurfaceFlinger会与HWC通信,决定由谁来合成layer画面。

1.5 HAL

android surface,android

  • 硬件部分的内容,HWC是Android中进行窗口(Layer)合成和显示的HAL层模块,Gralloc是用于给graphicbuffer申请内存地址的。

2 Surface的创建

surface在很多层面都有自己的属性,从base到native。由上而下来看看surface到底是怎么创建的。

2.1 构造函数

  • 第一层:java接口调用
    • 位置:/frameworks/base/core/java/android/view/Surface.java
    /**
     * Create an empty surface, which will later be filled in by readFromParcel().
     * @hide
     */
    public Surface() {
    }

    /**
     * Create Surface from a {@link SurfaceTexture}.
     *
     * Images drawn to the Surface will be made available to the {@link
     * SurfaceTexture}, which can attach them to an OpenGL ES texture via {@link
     * SurfaceTexture#updateTexImage}.
     *
     * Please note that holding onto the Surface created here is not enough to
     * keep the provided SurfaceTexture from being reclaimed.  In that sense,
     * the Surface will act like a
     * {@link java.lang.ref.WeakReference weak reference} to the SurfaceTexture.
     *
     * @param surfaceTexture The {@link SurfaceTexture} that is updated by this
     * Surface.
     * @throws OutOfResourcesException if the surface could not be created.
     */
    public Surface(SurfaceTexture surfaceTexture) {
		....
        mIsSingleBuffered = surfaceTexture.isSingleBuffered();
        synchronized (mLock) {
            mName = surfaceTexture.toString();
            setNativeObjectLocked(nativeCreateFromSurfaceTexture(surfaceTexture));
        }
    }

    /* called from android_view_Surface_createFromIGraphicBufferProducer() */
    private Surface(long nativeObject) {
        synchronized (mLock) {
            setNativeObjectLocked(nativeObject);
        }
    }

Surface类对外有两个构造方法,对内一种:

  • 第一个是无参构造,实现也是空的,主要是给readFromParcel()反序列化用的
public void readFromParcel(Parcel source) {
	...
    synchronized (mLock) {
        mName = source.readString();
        mIsSingleBuffered = source.readInt() != 0;
        setNativeObjectLocked(nativeReadFromParcel(mNativeObject, source));
    }
}
  • 第二个是针对GPU绘制内容的,绑定surfacetexture
    • 此时Surface是生产者,SurfaceTexture(Native层对应GLConsumer)是消费者。消费者负责把从BufferQueue中获取的GraphicBuffer转换为纹理,然后业务层可以对纹理进一步处理,例如:上特效或者上屏。
  • 第三个是由android_view_Surface_createFromIGraphicBufferProducer函数调用的,如media/ImageReader中的getsurface方法
static jobject ImageReader_getSurface(JNIEnv* env, jobject thiz)
{
	...
	IGraphicBufferProducer* gbp = ImageReader_getProducer(env, thiz);
	...
    // Wrap the IGBP in a Java-language Surface.
    return android_view_Surface_createFromIGraphicBufferProducer(env, gbp);
}

2.1.1 setNativeObjectLocked

  • 仔细看上述三个构造函数,无论是私有办法,还是共有办法,都会调用一个函数setNativeObjectLocked(),区别在与参数的不同
    • 私有办法:setNativeObjectLocked(nativeObject);
    • 无参数: setNativeObjectLocked(nativeReadFromParcel(mNativeObject, source));
    • 绑定surfacetexture:setNativeObjectLocked(nativeCreateFromSurfaceTexture(surfaceTexture));
    private void setNativeObjectLocked(long ptr) {
        if (mNativeObject != ptr) {
            ...
            //只是更新了变量的数值,只是针对不同数据来源的处理
            //其中最重要的是mNativeObject 是一个指向native 层surface的指针
            mNativeObject = ptr;
            ...
        }
    }

2.2 native 层

2.2.1 nativeReadFromParcel

  • 进入native层的第一个内容就是nativeReadFromParcel(mNativeObject, source)
static jlong nativeReadFromParcel(JNIEnv* env, jclass clazz,
        jlong nativeObject, jobject parcelObj) {
    Parcel* parcel = parcelForJavaObject(env, parcelObj);
    ...
    android::view::Surface surfaceShim;
    // 解析 Parcel 数据,并填充到 native层 的 Surface对象 surfaceShim
    surfaceShim.readFromParcel(parcel, /*nameAlreadyRead*/true);
    // 将传入的指针转换为 native层 的 Surface对象 self
    sp<Surface> self(reinterpret_cast<Surface *>(nativeObject));
    // 比对 surfaceShim 和 self 中的 Binder 对象 IGraphicBufferProducer
    if (self != nullptr
            && (IInterface::asBinder(self->getIGraphicBufferProducer()) ==
                    IInterface::asBinder(surfaceShim.graphicBufferProducer))) {
        //  判断是同一个 IGraphicBufferProducer ,直接返回当前指针
        return jlong(self.get());
    }
    sp<Surface> sur;
    if (surfaceShim.graphicBufferProducer != nullptr) {
        // IGraphicBufferProducer 不同
        // 且 surfaceShim 的 IGraphicBufferProducer 不为空
        // 创建一个新的 Surface 对象 sur
        sur = new Surface(surfaceShim.graphicBufferProducer, true);
        sur->incStrong(&sRefBaseOwner);
    }
    ...
    // 将 sur 的指针返回给 Java 层
    return jlong(sur.get());
}
  • 传入native层中的surface对象为surfaceshim ,将此内容传入native层的surface中,注意这个surfaceshim需要持有一个graphicBufferProducer以此生成一个新的surface对象。

2.2.2 android_view_Surface_createFromIGraphicBufferProducer

  • 通过bufferProducer建立新的surface对象
jobject android_view_Surface_createFromIGraphicBufferProducer(JNIEnv* env,
        const sp<IGraphicBufferProducer>& bufferProducer) {
    if (bufferProducer == NULL) {
        return NULL;
    }
    sp<Surface> surface(new Surface(bufferProducer, true));
    return android_view_Surface_createFromSurface(env, surface);
}

2.2.3 nativeCreateFromSurfaceTexture(surfaceTexture)

android surface,android


static jlong nativeCreateFromSurfaceTexture(JNIEnv* env, jclass clazz,
        jobject surfaceTextureObj) {
    sp<IGraphicBufferProducer> producer(SurfaceTexture_getProducer(env, surfaceTextureObj));
...
    sp<Surface> surface(new Surface(producer, true));
...
    surface->incStrong(&sRefBaseOwner);
    return jlong(surface.get());
}

2.2.4 native 中的surface构造函数

不难看出所有的surface创建中,都需要一个IGraphicBufferProducer对象作为参数,而IGraphicBufferProducer对象是一个Binder引用对象,BufferQueue的生产者接口,实现类是BufferQueueProducer

  • 注释中还贴心的说明了Surface是ANativeWindow的一种实现,它将图形缓冲区馈送到BufferQueue中
/*
 * An implementation of ANativeWindow that feeds graphics buffers into a
 * BufferQueue.
 */
class Surface
	//ANativeObjectBase,属于模板的一部分
	//class ANativeObjectBase : public NATIVE_TYPE, public REF
    : public ANativeObjectBase<ANativeWindow, Surface, RefBase>
public:
    /*
     * creates a Surface from the given IGraphicBufferProducer (which concrete
     * implementation is a BufferQueue).
     *
     * Surface is mainly state-less while it's disconnected, it can be
     * viewed as a glorified IGraphicBufferProducer holder. It's therefore
     * safe to create other Surfaces from the same IGraphicBufferProducer.
     *
     * However, once a Surface is connected, it'll prevent other Surfaces
     * referring to the same IGraphicBufferProducer to become connected and
     * therefore prevent them to be used as actual producers of buffers.
     *
     * the controlledByApp flag indicates that this Surface (producer) is
     * controlled by the application. This flag is used at connect time.
     */
    Surface(const sp<IGraphicBufferProducer>& bufferProducer, bool controlledByApp = false);
    
private:
    // mSurfaceTexture is the interface to the surface texture server. All
    // operations on the surface texture client ultimately translate into
    // interactions with the server using this interface.
    // TODO: rename to mBufferProducer
    // native层的Surface将IGraphicBufferProducer对象保存到了mGraphicBufferProducer变量中。
    sp<IGraphicBufferProducer> mGraphicBufferProducer;
  • 继承关系图如下,那么问题来了,mGraphicBufferProducer是从哪里来的呢
    • 第一:直接从 GraphicBufferProducer创建Surface
    • 第二:直接从SurfaceTexture创建
    • 第三:就要从surfaceShim.graphicBufferProducer,也就是上一层来获取
      android surface,android

2.3 总结

  • 所有surface在native的构建都需要一个graphicbufferproducer作为参数。而这也真好印证了1.2 NATIVE FRAMEWORK中所提到的
    • android surface,android
  • surface在java层由三种构建方式,同样对于IGraphicBufferProducer也有不同的渠道获得。
    android surface,android

参考

https://juejin.cn/post/6944960866404007944文章来源地址https://www.toymoban.com/news/detail-724455.html

到了这里,关于Android 显示框架:Surface详解之一的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • surface pro 如何调用和显示软键盘/触摸键盘

    长按任务栏-勾选☑显示触摸键盘  右下角就会出现软键盘按钮  如果点选输入栏自动弹出或调用软键盘或触控键盘,按如下设定 设置-输入-不处于平板电脑模式且未连接键盘时显示触摸键盘  (开关打开即可)  

    2024年01月18日
    浏览(48)
  • Pygame 基础教程02: 显示窗口(display) 与 图像(Surface)

    原文链接:https://xiets.blog.csdn.net/article/details/131382728 版权声明:原创文章禁止转载 专栏目录:Pygame 专栏(总目录) pygame.display 模块提供了对 pygame 显示的控制。可以把 pygame.display 看做是包含了一个 系统窗口 的 显示器屏幕。 pygame.display 模块主要函数: pygame.display 模块其他

    2024年02月08日
    浏览(42)
  • 配有 1TB 驱动器的 Surface Pro 5 设备显示两个驱动器

    在配有 1TB 驱动器的某些 Surface 设备上遇到以下症状: Diskpart 显示两个 512 GB 驱动器而不是一个 1 TB 驱动器。 Windows 资源管理器显示两个 512 GB 驱动器而不是一个 1 TB 驱动器。 裸机恢复 (BMR) 映像表示“在恢复您的电脑时出现问题”,或者在尝试恢复 BMR 映像时报告其他错误。

    2024年02月04日
    浏览(96)
  • 1024程序节|Android框架之一 BRVAH【BaseRecyclerViewAdapterHelper】使用demo

    BRVAH是一个强大的RecyclerAdapter框架(什么是RecyclerView?),它能节约开发者大量的开发时间,集成了大部分列表常用需求解决方案。为什么会有它?请查看「Android开源框架BRVAH由来篇」该框架于2016年4月10号发布的第1个版本到现在已经一年多了,经历了800多次代码提交,140多次版

    2024年02月01日
    浏览(36)
  • 微软Surface/Surface pro笔记本电脑进入bios界面

    微软Surface笔记本电脑进入bios界面 方法一推薦這種方法:Surface laptop 进BIOS步骤 开机后,不停按音量键进bios界面。 方法二:Surface Book、Surface Pro进bios步骤 1、关闭Surface,然后等待大约10秒钟以确保其处于关闭状态。 2、 長按 住Surface上的调高音量按钮(音量+),同时 按下 并 释

    2024年02月04日
    浏览(57)
  • 微软Surface Book 2终止更新日前推迟,将与Surface Pro 6同日结束服务

    近日有消息称,微软公布了旗下Surface系列设备的更新支持终止日期,并且包括新发布的设备和前代产品。 早在本月23日,微软就为Surface Book 2推送了新的固件,主要提升了Surface Dock 2的稳定性,及其他一些安全更新。 而此次微软延长了Surface Book 2的更新支持终止日期,到今年

    2024年02月12日
    浏览(47)
  • 【三】3D匹配Matching之可变形曲面匹配Deformable Surface—read_deformable_surface_model()算子

    😊😊😊 欢迎来到本博客 😊😊😊 🌟🌟🌟 Halcon算子太多,学习查找都没有系统的学习查找路径,本专栏主要分享Halcon各类算子含义及用法,有时间会更新具体案例。 😊😊😊 具体食用方式:可以点击本专栏【Halcon算子快速查找】–搜索你要查询的算子名称;或者点击

    2024年02月14日
    浏览(60)
  • 【三】3D匹配Matching之可变形曲面匹配Deformable Surface—refine_deformable_surface_model()算子

    😊😊😊 欢迎来到本博客 😊😊😊 🌟🌟🌟 Halcon算子太多,学习查找都没有系统的学习查找路径,本专栏主要分享Halcon各类算子含义及用法,有时间会更新具体案例。 😊😊😊 具体食用方式:可以点击本专栏【Halcon算子快速查找】–搜索你要查询的算子名称;或者点击

    2024年02月11日
    浏览(44)
  • 【三】3D匹配Matching之可变形曲面匹配Deformable Surface—get_deformable_surface_matching_result()算子

    😊😊😊 欢迎来到本博客 😊😊😊 🌟🌟🌟 Halcon算子太多,学习查找都没有系统的学习查找路径,本专栏主要分享Halcon各类算子含义及用法,有时间会更新具体案例。 😊😊😊 具体食用方式:可以点击本专栏【Halcon算子快速查找】–搜索你要查询的算子名称;或者点击

    2024年02月09日
    浏览(48)
  • 【三】3D匹配Matching之可变形曲面匹配Deformable Surface——serialize_deformable_surface_model()算子

    😊😊😊 欢迎来到本博客 😊😊😊 🌟🌟🌟 Halcon算子太多,学习查找都没有系统的学习查找路径,本专栏主要分享Halcon各类算子含义及用法,有时间会更新具体案例。 😊😊😊 具体食用方式:可以点击本专栏【Halcon算子快速查找】–搜索你要查询的算子名称;或者点击

    2024年02月11日
    浏览(67)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包