DSO代码注释:https://github.com/Cc19245/DSO-CC_Comments
1.点所构成的残差Residual的管理
1.1.前端残差的状态
PointFrameResidual
的状态有三种:
-
IN
——内点。表示这个残差状态正常,可以参与优化; -
OOB
——Out Of Boundary
,出界点。表示把host
帧上的点通过线性化点或最新状态的相机位姿投影到target
帧之后,这个点不在图像范围内,表示这个点出界了,那么这个残差不能参与优化。注意:一个残差只要被判断为出界,后面就再也不用他了,作者代码中也有一句注释叫做
can never go back from OOB
。这个确实也是有道理的,因为前端已经跟踪得到了一个初始位姿了,有投影匹配的点是不太可能出界的。 -
OUTLIER
——外点,表示这个残差能量超过了阈值,注意和OOB
区分。外点类似于特征点法中的无匹配,也就是找到了匹配关系,但是误差太大,如果使用它优化会造成不好的影响,干脆就不用这个残差。注意:随着优化的进行,外点的残差能量有可能会慢慢降低到小于阈值,此时它就可以恢复成内点,然后继续参与优化。因此外点是可以恢复的。
为了让OOB
起到一票否决的作用,在代码中使用了state_state
变量表示这个残差上次的状态,一旦它上次的状态是OOB
,那么函数都会直接跳过或返回,从而这个残差永远不可能再次参与到优化中。
1.2.后端点的残差的状态
EFResidual
的状态就比较简单了,只有一个变量bool isActiveAndIsGoodNEW
来表示这个点能量残差是否在后端优化中使用。这个变量是由前端残差的状态来设置的,只有前端残差的状态是IN
,这个变量才是true
,否则全都是false
。
那么什么时候设定后端残差的状态呢?就是调用applyRes
把前端雅克比传递给后端的时候,此时会一并把前端残差的状态传递给后端,让后端残差的状态得到更新。下面对几个函数进行说明:
-
PointFrameResidual::linearize
(1)前端残差进行线性化求雅克比。注意这个过程中有两部分雅克比, 一个是像素点关于相机位姿、内参、逆深度部分雅克比,它们使用线性化点的状态,保持不变;另一个是像素梯度和残差,它们使用最新的状态,因此是变化的。
(2)在此过程中会判断前端残差的状态,存储到前端残差的类成员变量中。
-
``PointFrameResidual::applyRes`
把前端残差更新到后端,同时把前端残差的状态也更新到后端(这个很正常,因为残差都给后端了,自然也要告诉后端这个残差是否有效)
-
FullSystem::linearizeAll_Reductor(true/false)
(1)一定会调用
PointFrameResidual::linearize
计算最新的雅克比,并且判断前端残差状态。(2)如果传入
true
,会把前端雅克比和残差状态更新到后端,并且把前端非IN
状态的残差放到toRemove
数组中。 -
FullSystem::linearizeAll(true/false)
(1)一定会调用
FullSystem::linearizeAll_Reductor(true/false)
。(2)如果传入
true
,那么会把linearizeAll_Reductor
函数里统计出来的非IN
状态的残差,从PointHessian
和后端优化的大bossEnergyFunctional
中丢弃,也就是这个残差不再存在了。注意:什么时候这个函数会传入
true
呢?答案是只有在完成迭代优化的循环之后才会传入true
,因为此时已经得到了本次滑窗优化的最终结果,可以把使用这个最终结果判断的非IN
状态的残差从前端和后端删掉了。但是其他任何时候,比如迭代优化之前或迭代优化过程中,我们只能对残差求雅克比、判断它们状态,如果不是IN
那么后端优化就不使用,但是我们不能把这些残差删掉,因为优化还没开始或者还没完成,可能这次是OUTLIER
的残差,优化几次就变成了IN
,所以我们不能删掉这些残差。
1.3.点的某个残差的删除
如上所述,在FullSystem::optimize
中后端迭代优化完成后,会调用FullSystem::linearizeAll(true)
根据最新的状态把所有残差重新线性化一次,由于传入了true
所以会筛选出非IN
状态的残差,并把他们删除掉,该函数中实现的删除残差的步骤如下:
-
EnergyFunctional::dropResidual
删除后端残差:先把这个残差从后端能量点的残差数组中弹出,然后把前端对应的残差持有的这个后端残差指针置零,最后delete
释放内存。 -
FullSystem::deleteOut
删除前端残差:先把前端点的残差数组中要删除位置的残差的指针delete
释放到,然后把数组最后一个残差赋值到这个位置。其实本质上和删除后端残差的操作一致,只不过释放指针和弹出数组的先后顺序不同。
2.点Point的管理
2.1.如何删除点——点Point的删除
如上所述,在FullSystem::optimize
中后端迭代优化完成后,会根据最新的状态把所有残差重新线性化一次,同时筛选出非IN
状态的残差,并把他们删除掉。出了FullSystem::optimize
函数之后,执行FullSystem::removeOutliers
函数,把Point
的外点删除。
此函数中就是判断所有帧上的所有点,如果这个点的残差个数为0,那么他就要被删除掉了。所以从这里删除的判断条件来看,叫removeOutliers
可能不是太恰当,可能叫removePointsNonRes
,即删除没有残差的点更好一点。
下面细看这个函数中的实现步骤:
- 先把这个
PointHessian
加入到帧的前端点删除数组pointHessiansOut
中,等待后面统一删除。设置这个前端PointHessian
对应的后端EFPoint
状态为PS_DROP
,给后面后端删除EFPoint
使用。然后把这个点从帧的点数组中删掉,注意这里还没有delete
释放这个PointHessian
的内存,只是把它加入到了外点数组中。 - 调用
EnergyFunctional::dropPointsF
把后端的点删掉。此函数中调用removePoint
,该函数中会先把这个EFPoint
对应的所有EFResidual
删掉,然后把这个点从能量帧的点能量数组中删掉,最后把这个delete
这个能量点释放内存。
注意:从上面两步可以看出来,这里的代码设计还是有点瑕疵的,因为删除前端的点之后没有释放内存,而是等待后面统一释放。而删除后端的点则释放了内存,前后端的操作不统一了。
7.28最新想法:可能作者是故意这样设计的,因为看代码中显示部分好像有删除点的数组相关的内容,所以就是把这些点存到数组中来显示历史上的所有点?
7.29最新想法:这个其实是没有问题的,确实是作者有意为之,而且原因也就是删除的点还要被使用。因为上面也说了,要删除的PointHessian
指针被放到了前端点的删除数组pointHessiansOut
中,后面要给显示线程使用。即然被放到了这个数组中,自然这个指针就不能释放了,否则这个数组中存的就都是野指针了。而把这些点从正常使用的前端点数组pointHessians
中弹出,就意味着以后肯定无法再使用这个点了,因此从系统功能上已经实现了删除这个点的目的。而对于后端来说,既然这个点被删除了,那么我后端优化肯定就不会使用它构造H/b
了,因此完全可以把这个点能量EFPoint
完全从内存中抹去。
2.2.边缘化时删除哪些点?
如上述所说,在FullSystem::optimize
中后端迭代优化完成后,会根据最新的状态把所有残差重新线性化一次,同时筛选出非IN
状态的残差,并把他们删除掉。出了FullSystem::optimize
函数之后,执行FullSystem::removeOutliers
函数,把哪些没有残差的Point
删除掉。
接下来系统就进入了边缘化的阶段,首先是判断哪些点要边缘化掉,这样就会利用这些点构成的残差计算一个H/b
,然后把这些点的逆深度Schur消元掉,只保留68x68
的相机状态。然后下面对关键帧进行边缘化,再把这个H/b
消掉一个相机帧得到维度缩减的HM/bM
,从而给下一帧使用。
那么如何判断哪些点要被边缘化掉或者直接丢掉呢?在函数FullSystem::flagPointsForRemoval
中实现这些功能。这个函数中选择要边缘化或者删除的点,只有两个根据:
(1)即将被边缘化的帧上的点:显然帧都没了,帧上的点肯定也不能再存在了。所以如果这个点性质比较好(比如多次构成的残差足够多、优化的逆深度协方差足够小),那么就把它边缘化掉,从而给后面的帧形成约束;如果这个点的性质不好,那么就直接把它丢掉,而不能边缘化,因为这样可能会引入错误的约束;
(2)其他帧上的点根据性质判断:即代码中的PointHessian::isOOB
函数,内部会判断非边缘化帧上的点是否要被选择边缘化或者丢弃,这部分判断准则还不是很明白。
筛选出来这些点之后,在代码中就是对这些点进行处理,要么边缘化,要么直接丢掉。而如果一个点既不是外点,也不是要边缘化/丢掉的点,那么它就是正常的点,会继续存在于滑窗中,因此对它不进行任何处理,这就是为什么 代码 中elseif
后面没有else
了,也就相当于一个空的else
,即如果是else
则什么也不干。
最后注意:跟优化之后接着删除点一样,也上面的函数里面也是只把要丢掉的前端点PointHessian
放到了删除数组中,并且从使用数组中弹出,这样就是完成了前端点的删除。而后端的对应的能量点在这个函数中没有释放,所以还要再释放后端的能量点,但是这个释放放在了FullSystem::flagPointsForRemoval
函数外面去调用,这是我觉得不太好的地方,放在该函数里面调用更好。而且这个函数命名也不准确,我觉得命名为MarginOrDropPoints
更好,也就是边缘化或者丢掉点。同理应该把后面的ef->marginalizePointsF();
函数也一并放进里面调用,实际就完成了整个点的边缘化。这样拆开反而逻辑没有那么清晰了。
3.帧FrameHessian的管理
-
在上一步边缘化掉点之后,得到了这些点的残差构成的
HM/bM
矩阵,但是这个矩阵中仍然是含有要被边缘化掉的帧的状态的,因此还要对这个HM/bM
进行Schur消元得到消元之后维度缩减的HM/bM
,给下次滑窗优化使用。 -
在后端对边缘化的帧进行Schur消元之后,还有一个步骤需要做,那就是把其他帧上以被边缘化掉的帧为
target
帧的那些点的残差删掉,这个也是很正常的,因为这帧没有了,自然其他帧上的点和这帧关联的残差也就没有了。注意这个不是说其他帧上的点也不用了,这些点还是和别的帧可以构成残差的,所以这个和边缘化/丢掉点是不同的,这个是对仍然存在于滑窗中的点的残差进行处理。 -
而删除点的某个残差,则跟上面1.3节讲述的一样了,那就是先
dropResidual
删掉后端残差,再deleteOut
删除前端残差。 -
把残差处理完了,就要删除这个帧了,调用
deleteOutOrder
函数把这个帧从FullSystem
的帧数组中弹出,这就保证了它不会在FullSystem
中再被调用参与滑窗优化了,但是不会释放它的内存。这个跟PointHessian
的删除逻辑是一样的,本质上是因为这个FrameHessian
的指针在优化之前已经被加入到allFrameHistory
里面了,如果在这里把指针释放了,那么allFrameHistory
里面存的就是野指针了。文章来源:https://www.toymoban.com/news/detail-659939.html -
由于删除了滑窗中的一个关键帧,所以需要调用
setPrecalcValues
函数重新计算各个帧的线性化点状态、最新状态、状态增量等变量,然后还要调用ef->setAdjointsF
重新计算各个帧之间的伴随矩阵。至此,帧边缘化的操作全部完成。文章来源地址https://www.toymoban.com/news/detail-659939.html
到了这里,关于DSO 系列文章(2)——DSO点帧管理策略的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!