【iOS ARKit】3D 视频

这篇具有很好参考价值的文章主要介绍了【iOS ARKit】3D 视频。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

      在AR 中播放视频也是一种常见的需求,如在一个展厅中放置的虚拟电视上播放宣传视频,或者在游戏中为营造氛围而设置的虚拟电视视频播放,或者在识别的2D个人名片上播放自我介绍视频,因视频具有静态图像无法比拟的综合信息展示能力,采用视频比单纯使用图像表达上更充分,本节我们将学习如何在AR场景中播放视频。

      在 AR场景中播放视频与在普通应用中播放视频有很多相同之处,但也有很多不一样的地方,在RealityKit 中播放视频,也同样使用 AVFoundation 流媒体框架,但需要将视频作为动态的纹理映射到虚拟物体表面,基本流程如图 11-4所示。

    使用 AVFoundation 流媒体框架播放视频使用到两个最基本的对象:AVPlayeritem 和AVPlayer。其中 AVPlayerItem 为流媒体资源管理对象,它负责管理视频的基本信息和状态,如视频长度、当前状态、缓存进度等,每一个 AVPlayerItem 对象对应一个视频资源;AVPlayer 为视频播放控制操作对象,控制视频的播放、暂停、还原等。

     在理解 RealityKit 播放视频的原理与流程后,就可以编写出视频播放代码,为更好地组织代码,新建一个 VideoPlayController 类管理视频播放相关代码,如下代码所示。

//
//  VideoPlayController.swift
//  ARKitDeamo
//
//  Created by zhaoquan du on 2024/3/22.
//

import AVFoundation
import Foundation
import RealityKit

public class VideoPlayController {

    private var playing = false
    private var avPlayer: AVPlayer?
    private var avPlayerItem: AVPlayerItem?
    private var avPlayerLooper: AVPlayerLooper?
    private var videoMaterial: VideoMaterial?
    public var material: Material? { videoMaterial }

    private func createAVPlayer(_ named: String, withExtension ext: String) -> AVPlayer? {
        guard let url = Bundle.main.url(forResource: named, withExtension: ext) else {
            return nil
        }

        let avPlayer = AVPlayer(url: url)
        return avPlayer
    }

    private func createVideoPlayerItem(_ named: String, withExtension ext: String) -> AVPlayerItem? {
        guard let url = Bundle.main.url(forResource: named, withExtension: ext) else {
            return nil
        }

        let avPlayerItem = AVPlayerItem(asset: AVAsset(url: url))
        return avPlayerItem
    }

    
    init?(_ named: String, withExtension ext: String, useLooper: Bool = false) {
        playing = false
        let player: AVPlayer?
        if useLooper {
            let playerItem = createVideoPlayerItem(named, withExtension: ext)
            guard let avPlayerItem = playerItem else { return nil }
            let queuePlayer = AVQueuePlayer()
            avPlayerLooper = AVPlayerLooper(player: queuePlayer, templateItem: avPlayerItem)
            self.avPlayerItem = avPlayerItem
            player = queuePlayer
        } else {
            player = createAVPlayer(named, withExtension: ext)
        }
        avPlayer = player
        guard let avPlayer = player else { return nil }
        avPlayer.actionAtItemEnd = .pause
        avPlayer.pause()
        videoMaterial = VideoMaterial(avPlayer: avPlayer)
        videoMaterial?.controller.audioInputMode = .spatial
        //if(avPlayerItem?.status == AVPlayerItem.Status.readyToPlay){}
        NotificationCenter.default.addObserver(self, selector: #selector(VideoDidReachEndNotificationHandler(_:)), name: NSNotification.Name.AVPlayerItemDidPlayToEndTime, object: avPlayer.currentItem)
    }

    public func reset() {
        guard let avPlayer = self.avPlayer else { return }
        avPlayer.pause()
        avPlayer.seek(to: .zero)
        playing = false
    }

    public func sceneUpdate() {
        guard playing, let avPlayer = avPlayer else { return }
        if avPlayer.timeControlStatus == .paused {
            avPlayer.seek(to: .zero)
            avPlayer.play()
        }
    }

    public func enablePlayPause(_ enable: Bool) {
        playing = enable
        guard let avPlayer = self.avPlayer else { return }
        if playing, avPlayer.timeControlStatus == .paused {
            avPlayer.play()
        } else if !playing, avPlayer.timeControlStatus != .paused {
            avPlayer.pause()
        }
    }
    
    @objc func VideoDidReachEndNotificationHandler(_ notification:NSNotification){
        print("播放完了")
    }

    deinit {
        NotificationCenter.default.removeObserver(self)
    }
    
}

     在代码中,首先根据是否需要循环播放可在构造函数中分别使用 AVPlayer 或者AVPlayerLooper 构建视频播放控制器,然后设置视频播放完毕后的状态,最后利用视频资源作为材质创建VideoMaterial 对象。除此之外,在代码中还新建了几个控制视频播放的方法以便调用。

    代码中设置了视频播放时音频的播放方式,RealityKit 在播放视频时允许其音频以几种不同的方式播放,音频播放方式由 AudioResource. InputMode 枚举描述,具体如下表所示。

枚举值

描述

nonSpatial

不考虑声源位置与方向,以背景音乐方式播放音频

spatial

3D音效,考虑声源的位置与方向

ambient

只考虑声源的方向,不考虑声源位置,声音音量不会出现随距离变化的特性

     在代码中,我们也对视频播放完毕事件进行了处理,需要注意的是,播放视频时的事件处理方式与 RealityKit 中其他事件处理方式有些不一样,播放视频的事件使用了 AVFoundation 中更一般的事件机制,具体支持事件及一般处理方法可参阅AVFoundation 相关资料。

注意⚠️视频播放完毕事件只有在视频以不循环播放类型播放时才会触发,另外,添加的事件监听应当在不需要时移除,如本例中在析构函数中移除。

     除了可以播放本地视频资源,AVFoundation 也支持通过 HTTP 或者 HTTPS播放网络流媒体资源,但需要注意的是,网络视频资源加载受网速、网络连接等因素影响,具有不确定性,在视频播放之前,务必先检查当前视频资源的可用性,如代码清单11-4中第49行的注释一样,以防止出现不可预知的问题(播放网络视频资源通常应当先缓冲,确保资源在播放前可用)。

     视频加载并转换成视频材质之后,就可以像普通材质一样使用,示例代码如下所示。

//
//  Video3DView.swift
//  ARKitDeamo
//
//  Created by zhaoquan du on 2024/3/26.
//

import SwiftUI
import ARKit
import RealityKit
import Combine

struct Video3DView: View {
    static var arView:ARView!
    var body: some View {
        Video3DViewContainer().overlay(
            VStack{
                Spacer()
                HStack{
                    Button(action:{Video3DView.arView.playOrPause()}) {
                        Text("播放/暂停")
                            .frame(width:120,height:40)
                            .font(.body)
                            .foregroundColor(.black)
                            .background(Color.white)
                            .opacity(0.6)
                    }
                    .offset(y:-30)
                    .padding(.bottom, 30)
                    Button(action: {Video3DView.arView.reset()}) {
                        Text("重播")
                            .frame(width:120,height:40)
                            .font(.body)
                            .foregroundColor(.black)
                            .background(Color.white)
                            .opacity(0.6)
                    }
                    .offset(y:-30)
                    .padding(.bottom, 30)
                }
                Spacer().frame(height: 40)
            }
    ).navigationTitle("3D视频").edgesIgnoringSafeArea(.all)
    }
}
var videoPlayController : VideoPlayController!
struct Video3DViewContainer:UIViewRepresentable {
    
    func makeUIView(context: Context) -> some ARView {
        let arView = ARView(frame: .zero)
        let config = ARWorldTrackingConfiguration()
        config.planeDetection = .horizontal
        Video3DView.arView = arView
        
        arView.session.run(config)
        arView.createVideoPlane()
        return arView
    }
    
    func updateUIView(_ uiView: UIViewType, context: Context) {
        
    }
   
}

var play = false;
extension ARView{
    func createVideoPlane(isLoop: Bool = false){
        videoPlayController  = VideoPlayController("video2", withExtension: "mp4", useLooper:false)
        guard let vPlayController = videoPlayController,
              let planeMaterial = videoPlayController.material else {return}
        let planeAnchor = AnchorEntity(plane:.horizontal)
        let boxMesh = MeshResource.generatePlane(width: 0.2, height: 0.4, cornerRadius: 0)
        let boxEntity = ModelEntity(mesh: boxMesh,materials: [planeMaterial])
        boxEntity.generateCollisionShapes(recursive: false)
        planeAnchor.addChild(boxEntity)
        self.scene.addAnchor(planeAnchor)
        self.installGestures(.all,for:boxEntity)
    }
    func playOrPause(){
        play = !play
        videoPlayController.enablePlayPause(play)
    }
    func reset(){
        videoPlayController.reset()
        videoPlayController.enablePlayPause(true)
    }
    

    
}

 RealityKit 播放视频的效果如下图所示。

arkit 视频材质,ios,3d,音视频   

图 11-5 在 RealityKit 中播放视频效果图     

     通过本节的学习,我们知道了在 RealityKit 中播放视频实际上是使用了动态纹理映射的方式,VideoMaterial 与其他所有的材质类型一样,可以使用到任何物体表面、平面、曲面上,由于目前 RealityKit并不支持Shader,所以我们可以使用视频材质作为替代方案实现诸如发光、闪烁、描边等特效,更简单地使用 VideoMaterial的代码如下所示。

let planeAnchor = AnchorEntity(plane:. horizontal)
let planeMesh = MeshResource. generatePlane(width: 0. 3, height: 0.2, cornerRadius:0)
let asset = AVURIAsset (url: Bundle. main. url (forResource: "video",withExtension: "mp4")! )
let playerItem = AVPlayerIten(asset:asset)
let player = AVPlayer ( )
let planeEntity = ModelEntity(mesh: planeMesh, materials: [VideoMaterial (aPlayer:player) ])
player. replaceCurrentItem(with: playerItem)
player. play()
planeEntity. generateCollisionShapes(recursive: false)
planeAnchor. addChild(planeEntity)
self. scene. addAnchor (planeAnchor)

        在进行 AR 体验共享时,视频材质与其他材质一样,可以自动进行同步及播放,无须开发人员进行额外处理,在可播放视频格式类型方面,AVFoundation 支持的视频格式其都支持。

具体代码地址:GitHub - duzhaoquan/ARkitDemo文章来源地址https://www.toymoban.com/news/detail-851676.html

到了这里,关于【iOS ARKit】3D 视频的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • WebRTC音视频通话-实现GPUImage视频美颜滤镜效果iOS

    WebRTC音视频通话-实现GPUImage视频美颜滤镜效果 在WebRTC音视频通话的GPUImage美颜效果图如下 可以看下 之前搭建ossrs服务,可以查看:https://blog.csdn.net/gloryFlow/article/details/132257196 之前实现iOS端调用ossrs音视频通话,可以查看:https://blog.csdn.net/gloryFlow/article/details/132262724 之前WebR

    2024年02月12日
    浏览(54)
  • iOS 端实现1对1音视频实时通话

    首先,我们来看一下 iOS 端是如何获取访问音视频设备权限的。相比 Android 端而言,iOS端获取相关权限要容易很多。其步骤如下: 打开项目,点击左侧目录中的项目。 在左侧目录找到 info.plist ,并将其打开。 点击 右侧 看到 “+” 号的地方。 添加 Camera 和 Microphone 访问权限。

    2024年02月15日
    浏览(53)
  • WebRTC音视频通话-实现iOS端调用ossrs视频通话服务

    WebRTC音视频通话-实现iOS端调用ossrs视频通话服务 之前搭建ossrs服务,可以查看:https://blog.csdn.net/gloryFlow/article/details/132257196 这里iOS端使用GoogleWebRTC联调ossrs实现视频通话功能。 iOS端端效果图 ossrs效果图 WebRTC (Web Real-Time Communications) 是一项实时通讯技术,它允许网络应用或者站

    2024年02月13日
    浏览(59)
  • WebRTC音视频通话-iOS端调用ossrs直播拉流

    WebRTC音视频通话-iOS端调用ossrs直播拉流 之前实现iOS端调用ossrs服务,文中提到了推流。没有写拉流流程,所以会用到文中的WebRTCClient。请详细查看:https://blog.csdn.net/gloryFlow/article/details/132262724 最近有朋友问过,我发现之前少了一块拉流流程,这里补充一下。 2.1、拉流实现时

    2024年02月11日
    浏览(59)
  • iOS开发-NotificationServiceExtension实现实时音视频呼叫通知响铃与震动

    iOS开发-NotificationServiceExtension实现实时音视频呼叫通知响铃与震动 在之前的开发中,遇到了实时音视频呼叫通知,当App未打开或者App在后台时候,需要通知到用户,用户点击通知栏后是否接入实时音视频的视频或者音频通话。 在iOS需要为工程新建Target:NotificationServiceExtensi

    2024年02月14日
    浏览(43)
  • Android修行手册-基础优化系列图片篇,ios音视频面试内容

    图片款=(480/480)*400=400 占用内存为300*400*4=480000 那么它占用内存为什么是变化的? Android会先解析图片文件本身的数据格式,然后还原成Bitmap对象,Bitmap的大小就跟上面的计算方式相关联。 再举例1080*452的png图片,图片占用存储空间大小为56kb,内存如图: 上图一目了然,不

    2024年04月27日
    浏览(66)
  • 作为一名iOS开发者—面对音视频这个新风口应该怎样学习才能乘风而起?

    5G时代,为何各大厂纷纷杀入音视频领域?这会是新的风口吗! 随着5G开始普及加上国内外网络资费的不断下降,音视频的前景已经越来越广阔! 大家都知道,在现在的日常生活中,视频类应用占据了我们越来越多的时间,不管是抖音、快手等短视频,还是斗鱼、虎牙这类的

    2024年02月01日
    浏览(57)
  • 音视频开发:Qt在视频剪辑3D桌面软件获胜, 嵌入式不敌安卓

    1 Qt Android嵌入式应用层开发方向对比   大家都知道啊,做嵌入式linux设备,一些没有屏幕,比如安防摄像头,门铃之类的,另外一些嵌入式设备是有触控屏,在触控屏上还跑应用软件的,这种比如商场各种自动售卖机,铁路卖票,银行自助服务,车载系统等。 10年前,我大学

    2024年02月09日
    浏览(46)
  • 开源IM即时通讯源码-社交+电商+音视频+直播-pc+web+ios+安卓-uniapp+php+mysql

      / 产品介绍 /     即时通讯源码是一个平台或聊天应用程序,使用户能够发送和接收即时消息并进行连接。如今,在线交流已成为一种新常态。目前据统计超过30亿人定期使用聊天应用程序而这一数字将保持持续增长。目前您可能需要一个新的聊天应用程序来简化您自己组织

    2024年02月05日
    浏览(57)
  • 05 带音视频、多媒体、2D3D显示加速的嵌入式类芯片介绍

    作者 将狼才鲸 创建日期 2022-04-11 带硬件音视频编解码模块的芯片有两类: 一是不包含GPU(支持OpenGL ES、Open VG等协议),只带有图片编解码器、VPU视频编解码器和2D显示加速(多图层、打点、画线、画矩形、平移、缩放、旋转、替换、透明)的芯片。 二是包含完整的GPU,支持

    2023年04月08日
    浏览(129)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包