什么是DIBR?
就是根据1张或者n张带有深度信息的图片,也就是RGBD图,通过插值的方式,生成出虚拟视点下的效果图。
深度信息如果不够精确,效果上,容易出现一些错误。
以及视角的变化,导致一些信息不足,会存在空洞问题。
如果在Unity中怎么实现呢。
通过DIBR算法,在场景中预制两个相机,通过脚本分别获取颜色图和深度图。
然后通过computeshader,将两个深度图插值为中间视点的图。
根据几何关系,可以推导出左右视图的关系。
相关像素的水平视差 dispararity满足如上公式。
这是针对一般用相机拍摄的图片来说的。f代表相机的焦距。
在unity下的相机,没有焦距的概念。怎么办呢。
由于以上公式,都是以物理实际距离尺度计算的。需要变换到像素空间尺度下,便于计算和插值,得到像素关系。
所以上面的公式,两面同时除以像素宽度pitch。
像素尺度视差=disparity/pitch=B*f/(Z*pitch)=B/Z*f/pitch
令F=f/pitch得到B/Z*F
这个F刚好可以推导出和fov的关系。
可以假定有个投影面,仿照真实相机的物理结构。
投影面也就是cmos感光元器件。假设水平分辨率为Res,每个像素宽度为pitch。
所以有w=Res*pitch。
又有,w/2/f=tan(fov/2)
所以Res*pitch/2/f=tan(fov/2)
可以推导出 F=f/pitch=f*Res/w=Res/(2tan(fov/2))
比如水平fov=90度,分辨率是3840,那么F=1920
可以看出F只和fov和分辨率有关了。
于是根据左图的深度图得到深度(需要从0-1区间变换到view坐标系)
和两个相机的距离,就可以插值出虚拟视点的图了。大概就是这个原理。
其中最大视差的计算方法为 B/near*F 因为near平面的视差最大。
如果有最大视差要求,怎么判端两个相机最远能离开多远呢?
B=near*最大视察/F。
例如最大视差为64,near=0.3 F=1920 那么相机最大距离为 0.01
也就是两个相机距离1厘米时,最大视差是64个像素。
这个用在反向DIBR时也很有用(因为需要遍历搜索,所以估算遍历次数很重要)
以下是C#源代码。
首先是获取相机深度的代码;挂载相机物体上。
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
public class RenderWithDepth : MonoBehaviour
{
public RenderTexture colorRT;
public RenderTexture depthRT;
// Start is called before the first frame update
void Start()
{
colorRT = new RenderTexture(3840, 2160, 0);
depthRT = new RenderTexture(3840, 2160, 24, RenderTextureFormat.Depth);
GetComponent<Camera>().SetTargetBuffers(colorRT.colorBuffer, depthRT.depthBuffer);
}
}
其次是C#和computeshader代码,挂载到虚拟视点相机上。文章来源:https://www.toymoban.com/news/detail-415287.html
public class RenderByCSDIBR : MonoBehaviour
{
int width = 3840;
int height = 2160;
public ComputeShader dibrCS;
public RenderWithDepth lDep, rDep;
RenderTexture resultRT_L, resultRT_R;
// Start is called before the first frame update
void Start()
{
resultRT_L = new RenderTexture(width, height, 0, RenderTextureFormat.ARGB32);
resultRT_L.enableRandomWrite = true;
resultRT_L.Create();
resultRT_R = new RenderTexture(width, height, 0, RenderTextureFormat.ARGB32);
resultRT_R.enableRandomWrite = true;
resultRT_R.Create();
}
public void ClearOutRenderTexture(RenderTexture renderTexture)
{
RenderTexture rt = RenderTexture.active;
RenderTexture.active = renderTexture;
GL.Clear(true, true, Color.clear);
RenderTexture.active = rt;
}
private void OnPostRender()
{
ClearOutRenderTexture(resultRT_L);
ClearOutRenderTexture(resultRT_R);
int k1 = dibrCS.FindKernel("CSMain");
dibrCS.SetTexture(k1, "ResultL", resultRT_L);
dibrCS.SetTexture(k1, "ResultR", resultRT_R);
dibrCS.SetTexture(k1, "LC", lDep.colorRT);
dibrCS.SetTexture(k1, "RC", rDep.colorRT);
dibrCS.SetTexture(k1, "LD", lDep.depthRT);
dibrCS.SetTexture(k1, "RD", rDep.depthRT);
dibrCS.SetFloat("_LCamPos", lDep.transform.position.x);
dibrCS.SetFloat("_RCamPos", rDep.transform.position.x);
dibrCS.SetFloat("_CurCamPos", transform.position.x);
dibrCS.SetFloat("_Far", 1000);
dibrCS.SetFloat("_Near", 0.3f);
dibrCS.Dispatch(k1, width / 8, height / 8, 1);
}
private void OnRenderImage(RenderTexture source, RenderTexture destination)
{
Graphics.Blit(resultRT_L, destination);
}
}
computeshader代码文章来源地址https://www.toymoban.com/news/detail-415287.html
#pragma kernel CSMain
#define RES_W 3840
// Create a RenderTexture with enableRandomWrite flag and set it
// with cs.SetTexture
RWTexture2D<float4> ResultL, ResultR;
Texture2D<float4> LC, RC;
Texture2D<float4> LD, RD;
float _LCamPos, _RCamPos, _CurCamPos;
float _Far, _Near;
float LinearEyeDepth(float _z)
{
float x = 1.0 - _Far / _Near;
float y = _Far / _Near;
float z = x / _Far;
float w = y / _Far;
return 1.0 / (z * _z + w);
}
float getViewZ(uint2 pos, bool isLeft) {
float z;
if (isLeft)
z = LinearEyeDepth(1-LD[pos].x);
else
z = LinearEyeDepth(1-RD[pos].x);
return z;
}
[numthreads(8,8,1)]
void CSMain (uint3 id : SV_DispatchThreadID)
{
// TODO: insert actual code here!
float maxBaseLine = _RCamPos - _LCamPos;
float fov = radians(90.0f);
float near = 0.3f;
float focal = RES_W / (2.0f * tan(fov / 2));
float maxDis = maxBaseLine * focal / _Near;
float baselineL = _CurCamPos - _LCamPos;
float baselineR = maxBaseLine - baselineL;
// 左眼视图
float z = getViewZ(id.xy, true);
int dis = int(baselineL * focal / z);
int x = max(0, id.x - dis);
float dis_h = int(dis / 256) / 255.0f;
float dis_l = int(dis % 256) / 255.0f;
float4 cur = ResultR[int2(x, id.y)];
float discur = cur.x * 255 * 256 + cur.y * 255;
float4 col = LC[id.xy];
if (dis > discur) {
ResultL[int2(x, id.y)] = col;//float4(dis_h, dis_l, 0, 1);
ResultR[int2(x, id.y)] = float4(dis_h, dis_l, 0, 1);
}
//Result[id.xy] = float4(z, z, z, 1);
// 右眼视图
z = getViewZ(id.xy, false);
dis = uint(baselineR * focal / z);
x = min(RES_W-1, id.x + dis);
dis_h = int(dis / 256) / 255.0f;
dis_l = int(dis % 256) / 255.0f;
cur = ResultR[uint2(x, id.y)];
discur = cur.x * 255 * 256 + cur.y * 255;
col = RC[id.xy];
if (dis > discur) {
ResultL[int2(x, id.y)] = col;//float4(dis_h, dis_l, 0, 1);
ResultR[int2(x, id.y)] = float4(dis_h, dis_l, 0, 1);// RC[id.xy];
}
}
到了这里,关于基于Unity ComputeShader 实现正向DIBR的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!