技术背景
随着技术的不断进步和应用的不断深化,Unity3D VR应用的前景非常广阔,它广泛应用于教育、医疗、军事、工业设计、虚拟数字人等多个领域。
- 教育领域:Unity3D VR技术可以用来创建虚拟现实教室,让学生能够身临其境地体验课程内容,提高学习效果和兴趣;
- 医疗领域:Unity3D VR技术可以用来创建虚拟手术室,让医生能够在真实手术之前进行模拟操作,提高手术技能和安全性;
- 军事领域:Unity3D VR技术可以用来创建虚拟战场环境,进行军事训练和战术演练,提高士兵的战斗能力和应变能力;
- 工业设计领域:Unity3D VR技术可以用来创建虚拟现实工作环境,让设计师能够在真实产品推出之前进行虚拟测试和修改,提高产品设计和制造的效率和质量。
- 虚拟数字人是指使用虚拟现实技术创建的数字人物,具有人的外貌、动作、语言和思维等特征。VR虚拟数字人可以用来进行虚拟互动、虚拟演讲、虚拟展览、虚拟客服等多种应用场景。例如,在虚拟展览中,VR虚拟数字人可以作为虚拟讲解员,为参观者介绍展品,提供全方位的互动体验。在虚拟客服中,VR虚拟数字人可以作为企业形象代表,与消费者进行互动交流,提高客户满意度和品牌形象。
技术实现
从技术的角度,分析如何在unity环境下,采集到camera数据,然后编码打包推RTMP或启动轻量级RTSP服务。我们老早实现了Unity环境下的RTMP低延迟推送,原生环境下,比如windows下,可轻松实现50帧+的编码和RTMP推送(需要播放端也有高帧率播放的能力)。
数据源是高帧率的基础,比如,我们在跟外部公司合作的时候,比如无人机在一些工业场景下的智能躲避等,帧率要求非常高,这时候,如果单独还好,多路的话,ReadPixel()读取数据耗时还是非常大的。读取到的数据,特别是高分辨率高帧率的,编码一般建议硬编码,帧率的控制,需要有个好的算法机制,确保比如我可以采集到60帧,但是我实际值需要编码45帧,如何drop数据,达到流畅无卡顿感。
此外,除了视频数据外,音频可以采集麦克风、Unity内部音频、麦克风+unity内部音频混音或Unity下2路内部音频混音。Unity内部audio数据采集,可以使用AudioClip,编码格式建议AAC。
以Windows平台为例,Frame的构建,可以参考一下设计:
/*
* 构建FrameTexture
* Author: daniusdk.com
*/
public class FrameTexture
{
public FrameTexture(Texture2D texture, IntPtr video_buffer, int video_buffer_size,
int video_width, int video_height, int is_vertical_flip, int is_horizontal_flip, int scale_width, int scale_height, bool is_alpha)
{
texture_ = texture;
video_buffer_ = video_buffer;
video_buffer_size_ = video_buffer_size;
video_width_ = video_width;
video_height_ = video_height;
is_vertical_flip_ = is_vertical_flip;
is_horizontal_flip_ = is_horizontal_flip;
scale_width_ = scale_width;
scale_height_ = scale_height;
is_alpha_ = is_alpha;
}
public Texture2D texture_;
public IntPtr video_buffer_;
public int video_buffer_size_;
public int video_width_;
public int video_height_;
public int is_vertical_flip_;
public int is_horizontal_flip_;
public int scale_width_;
public int scale_height_;
public bool is_alpha_;
}
PostImageWorker类,实现数据投递到原始模块:
private class PostImageWorker
{
public PostImageWorker(TexturesPool pool, nt_publisher_wrapper handle)
{
pool_ = pool;
handle_ = handle;
}
public void run()
{
if (null == pool_ || null == handle_)
return;
while (!is_exit_)
{
event_.WaitOne(100);
if (is_exit_)
break;
while (sendImage()) ;
}
Debug.Log("PostImageWorker.run out...");
FrameTexture frame;
while (frames_.TryDequeue(out frame))
{
if (frame != null && frame.texture_)
{
pool_.add(frame.texture_);
frame.texture_ = null;
}
}
frame = null;
}
private bool sendImage()
{
FrameTexture frame;
if (frames_.TryDequeue(out frame))
{
if (frame != null && frame.texture_ != null)
{
if (frame.video_buffer_ != IntPtr.Zero)
{
handle_.OnPostRGBXData(0, frame.video_buffer_, video_buffer_size_, frame.video_width_ * 4, frame.video_width_, -frame.video_height_, frame.is_alpha_);
}
pool_.add(frame.texture_);
frame.texture_ = null;
}
frame = null;
return true;
}
frame = null;
return false;
}
Windows平台,构建个承载的图层:
NT_PB_ExternalVideoFrameLayerConfig external_layer_c1 = new NT_PB_ExternalVideoFrameLayerConfig();
external_layer_c1.base_.type_ = (Int32)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_EXTERNAL_VIDEO_FRAME;
external_layer_c1.base_.index_ = 0;
external_layer_c1.base_.enable_ = 1;
external_layer_c1.base_.region_.x_ = 0;
external_layer_c1.base_.region_.y_ = 0;
external_layer_c1.base_.region_.width_ = video_width_;
external_layer_c1.base_.region_.height_ = video_height_;
external_layer_c1.base_.offset_ = Marshal.OffsetOf(external_layer_c1.GetType(), "base_").ToInt32();
external_layer_c1.base_.cb_size_ = (uint)Marshal.SizeOf(external_layer_c1);
IntPtr external_layer_conf = Marshal.AllocHGlobal(Marshal.SizeOf(external_layer_c1));
Marshal.StructureToPtr(external_layer_c1, external_layer_conf, true);
UInt32 external_r = NTSmartPublisherSDK.NT_PB_AddLayerConfig(publisher_handle_, 0,
external_layer_conf, (int)NTSmartPublisherDefine.NT_PB_E_LAYER_TYPE.NT_PB_E_LAYER_TYPE_EXTERNAL_VIDEO_FRAME,
0, IntPtr.Zero);
Marshal.FreeHGlobal(external_layer_conf);
然后通过NT_PB_PostLayerImage()给图层投递数据即可:
/*
* 给index层投递Image数据,目前主要是用来把rgb和yuv视频数据传给相关层
* reserve: 保留字段,请传0
* index: 层索引
* image: 图像
* flag: 请传0
* pReserve: 保留字段,请传0
*
* 成功返回 NT_ERC_OK
*/
[DllImport("SmartPublisherSDK", EntryPoint = "NT_PB_PostLayerImage", CallingConvention = CallingConvention.StdCall)]
public static extern UInt32 NT_PB_PostLayerImage(IntPtr handle, Int32 reserve,
Int32 index, IntPtr image,
UInt32 flag, IntPtr pReserve);
如果需要预览推送的数据:
//预览数据回调
public void SDKVideoPreviewImageCallBack(IntPtr handle, IntPtr user_data, IntPtr image)
{
NT_PB_Image pb_image = (NT_PB_Image)Marshal.PtrToStructure(image, typeof(NT_PB_Image));
NT_VideoFrame pVideoFrame = new NT_VideoFrame();
pVideoFrame.width_ = pb_image.width_;
pVideoFrame.height_ = pb_image.height_;
pVideoFrame.stride_ = pb_image.stride_[0];
Int32 argb_size = pb_image.stride_[0] * pb_image.height_;
pVideoFrame.plane_data_ = new byte[argb_size];
if (argb_size > 0)
{
Marshal.Copy(pb_image.plane_[0],pVideoFrame.plane_data_,0, argb_size);
}
{
cur_image_ = pVideoFrame;
}
}
总结
Unity下的“多端同屏”云渲染以及相关可视化平台解决方案,成为助力了工业领域数字化转型。除上述场景外,还需要考虑多实例多camera模式,实现高效率低延迟和低资源占有的互动体验。文章来源:https://www.toymoban.com/news/detail-609202.html
文章来源地址https://www.toymoban.com/news/detail-609202.html
到了这里,关于Unity实现camera数据注入RMP推送或轻量级RTSP服务模块的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!