从0到1搭建一套属于你自己的高精度实时结构光3D相机(8):结构光系统模型与逆相机法投影仪标定

这篇具有很好参考价值的文章主要介绍了从0到1搭建一套属于你自己的高精度实时结构光3D相机(8):结构光系统模型与逆相机法投影仪标定。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. 写在前面

在前面的博客中,介绍了采用同心双圆环靶标下的相机标定算法与代码实践。在这篇博客中,博主将介绍结构光相机模型与逆相机法投影仪标定。完成本篇博客的学习内容后,你将收获投影仪逆相机法标定和结构光相机模型算法与代码实践经验。

本系列博客的完整项目代码皆位于博主的Github项目SLMaster👈

https://github.com/Practice3DVision/SLMaster

动动你的小指头给个Star⭐并follow博主吧!你的支持是博主不懈的动力!

关注公众号,每天推送不迷路!更多技术博客在公众号与你分享!

3d相机中的 projecror投影仪,从0到1搭建一套属于你自己的高精度实时结构光3D相机,3d,计算机视觉,机器人,相机,开源软件

2. 结构光系统模型

结构光系统模型也就是以数学形式表达条纹投影系统中的关系,一般将结构光系统模型分为相位高度模型三角测量模型。在相位高度模型中,物体的高度是相对于参考平面计算的,高度是相位的函数。在三角测量模型中,将投影仪视为相机,从而构建立体视觉并通过三角测量原理恢复物体的深度。

博主对上述两种系统模型都标定实验过,个人认为三角测量模型比较方便好用,具体原因有以下几点:

  • 相位高度模型标定略微麻烦点儿,具体体现在部分方法需要高精度位移机构
  • 相位高度模型计算所得出的参数不具有直观性,无法通过标定参数判断标定是否准确
  • 相位高度模型受景深影响较高点儿

所以博主在这里推荐三角测量模型作为结构光系统模型。在前述文章从0到1搭建一套属于你自己的高精度实时结构光3D相机(1):硬件搭建中已经给出了关于三角测量模型的参考文献,现简单说一下其原理,如图1所示[1]:

3d相机中的 projecror投影仪,从0到1搭建一套属于你自己的高精度实时结构光3D相机,3d,计算机视觉,机器人,相机,开源软件

图1. 三角测量原理

从图中可见,投影仪平面上的一点 x p x^p xp与其光心 O p O_p Op形成的射线与相机平面上的一点 x x x与其光心 O c O_c Oc形成的射线相交于空间点 X X X。因此,如果我们能确定相机平面上的点与投影仪平面上的点之间的对应关系,那么,我们就能够恢复出物体的深度信息。

所以关键问题就回到如何确定相机平面上的点与投影仪平面上的点之间的对应关系

我们知道,投影仪平面上的点都是已知的,因为是我们通过烧录条纹图案确定的。相机通过接收投影仪投射的光线从而形成图像,如果我们能在相机成像平面上将条纹编码信息重新恢复出来,那么我们也就知道相机平面上的点与投影仪平面上的点之间的对应关系了!

是不是有点子熟悉呢,对的,博主前两篇博客从0到1搭建一套属于你自己的高精度实时结构光3D相机(6):相移互补格雷码解码所提及到的相移互补格雷码正好能完成这个任务!绝对相位说白了其实就是投影仪的 u u u v v v坐标!

垂直方向的相移互补格雷码条纹能够确定相机平面与投影仪平面之间的有关 x x x坐标的映射关系,而水平方向的相移互补格雷码条纹则能够确定相机平面与投影仪平面之间的有关 y y y坐标的映射关系。因此,我们使用两组方向的相移互补格雷码就能确定出 ( x p , y p ) (x_p, y_p) (xp,yp) ( x c , y c ) (x_c, y_c) (xc,yc)之间的对应关系了,这种思路可以用图2来表示:

3d相机中的 projecror投影仪,从0到1搭建一套属于你自己的高精度实时结构光3D相机,3d,计算机视觉,机器人,相机,开源软件

图2. 通过两组方向的条纹确定相机与投影仪之间的映射关系

问题来了!如果我们已经能确定相机平面上的点与投影仪平面上的点之间的对应关系了,那么我如何通过数学关系恢复深度呢?

让我们来推导一下吧!

根据相机成像模型,我们知道任意空间上的一点 P [ X w Y w Z w ] P\left [ X_w \quad Y_w \quad Z_w \right ] P[XwYwZw]可以通过下式投影到相机平面上的点 [ u c v c ] \left [u_c \quad v_c \right] [ucvc]

Z c [ u c v c 1 ] = K c [ R c ∣ T c ] [ X w Y w Z w 1 ] Z_c \left [u_c \quad v_c \quad 1 \right] = K_c \left[ R_c \quad | \quad T_c \right] \left [ X_w \quad Y_w \quad Z_w \quad 1 \right ] Zc[ucvc1]=Kc[RcTc][XwYwZw1]

式中, Z c Z_c Zc是相机坐标系下点 P P P的深度, K c K_c Kc是相机内参, R c R_c Rc是世界坐标系到相机坐标系的旋转矩阵, T c T_c Tc是世界坐标系到相机坐标系的平移矩阵。

由于投影仪的成像模型也可以用相机成像模型来表示,因此,对于投影仪成像平面上的一点 [ u p v p ] \left [u_p \quad v_p \right] [upvp],我们也有下式成立:

Z p [ u p v p 1 ] = K p [ R p ∣ T p ] [ X w Y w Z w 1 ] Z_p \left [u_p \quad v_p \quad 1 \right] = K_p \left[ R_p \quad | \quad T_p \right] \left [ X_w \quad Y_w \quad Z_w \quad 1 \right ] Zp[upvp1]=Kp[RpTp][XwYwZw1]

式中, Z p Z_p Zp是投影仪坐标系下点 P P P的深度, K p K_p Kp是相机内参, R p R_p Rp是世界坐标系到相机坐标系的旋转矩阵, T p T_p Tp是世界坐标系到相机坐标系的平移矩阵。

对于矩阵 K [ R ∣ T ] K \left[ R \quad | \quad T \right] K[RT],我们可以用投影矩阵 P = K [ R ∣ T ] P=K \left[ R \quad | \quad T \right] P=K[RT]来表示。因此,上述两式可以改写为:

Z c [ u c v c 1 ] = P c [ X w Y w Z w 1 ] Z_c \left [u_c \quad v_c \quad 1 \right] = P_c \left [ X_w \quad Y_w \quad Z_w \quad 1 \right ] Zc[ucvc1]=Pc[XwYwZw1]

Z p [ u p v p 1 ] = P p [ X w Y w Z w 1 ] Z_p \left [u_p \quad v_p \quad 1 \right] = P_p \left [ X_w \quad Y_w \quad Z_w \quad 1 \right ] Zp[upvp1]=Pp[XwYwZw1]

通常,我们将世界坐标系定义为与相机坐标系相重合(见注释),则可通过变换并联立上述两式得:

A [ X w Y w Z w 1 ] T = 0 A \left [ X_w \quad Y_w \quad Z_w \quad 1 \right ]^T=0 A[XwYwZw1]T=0

此时 R c R_c Rc为单位矩阵, T c T_c Tc为零矩阵, R p R_p Rp为相机坐标系到投影仪坐标系的旋转矩阵, T p T_p Tp为相机坐标系到投影仪坐标系的平移矩阵。

式中,
A = [ u c P 3 c − P 1 c v c P 3 c − P 2 c u p P 3 p − P 1 p u p P 3 p − P 2 p ] A=\begin{bmatrix}u_cP_3^c-P_1^c \\v_cP_3^c-P_2^c \\u_pP_3^p-P_1^p \\u_pP_3^p-P_2^p \end{bmatrix} A= ucP3cP1cvcP3cP2cupP3pP1pupP3pP2p
其中, P i c P_i^c Pic表示相机投影矩阵 P c P_c Pc的第 i i i行, P i p P_i^p Pip表示投影仪投影矩阵 P p P_p Pp的第 i i i行。

因此,对式上式解方程即可得到 [ X w Y w Z w ] \left[ X_w \quad Y_w \quad Z_w\right ] [XwYwZw](也就是相机坐标系下点的空间坐标)。仔细观察上式可以发现,它其实是一个冗余方程(见下注释),因此我们可以通过只投影一组方向的条纹即可恢复空间三维信息

观察矩阵A的表达式,相机成像平面上的一点 ( u c , v c ) (u_c,v_c) (ucvc)仅与投影仪成像平面上的一点的单方向坐标 u p u_p up有关(水平方向条纹则为 v p v_p vp)。

因此,对于相机上一点 ( u c , v c ) (u_c,v_c) (ucvc),他的空间三维坐标可以通过下式进行计算:

[ X w Y w Z w ] = [ p 11 c − p 31 c u c p 12 c − p 32 c u c p 13 c − p 33 c u c p 21 c − p 31 c v c p 22 c − p 32 c v c p 23 c − p 33 c v c p 11 p − p 31 p u p p 12 p − p 32 p u p p 13 p − p 33 p u p ] [ p 34 c u c − p 14 c p 34 c v c − p 24 c p 34 p u p − p 14 p ] \begin{bmatrix}X_w \\Y_w \\Z_w \end{bmatrix} = \begin{bmatrix}p_{11}^c-p_{31}^cu^c&p_{12}^c-p_{32}^cu^c&p_{13}^c-p_{33}^cu^c\\ p_{21}^c-p_{31}^cv^c&p_{22}^c-p_{32}^cv^c&p_{23}^c-p_{33}^cv^c\\ p_{11}^p-p_{31}^pu^p&p_{12}^p-p_{32}^pu^p&p_{13}^p-p_{33}^pu^p \end{bmatrix} \begin{bmatrix}p_{34}^cu^c-p_{14}^c \\p_{34}^cv^c-p_{24}^c \\p_{34}^pu^p-p_{14}^p \end{bmatrix} XwYwZw = p11cp31cucp21cp31cvcp11pp31pupp12cp32cucp22cp32cvcp12pp32pupp13cp33cucp23cp33cvcp13pp33pup p34cucp14cp34cvcp24cp34pupp14p

3. 逆相机法标定

既然我们已经推导出能够恢复空间三维信息的结构光系统模型,那么,我们根据上述方程计算即可。但是有一个问题,投影矩阵 P P P依赖于内参与外参,相机内参我们可以通过前篇博客相机标定算法得到,相机外参是已知的,那么,投影仪内参投影仪外参呢?

还是那句话,投影仪成像模型可以简单的看作是相机成像模型

那么我们就又回到了前述相机标定中的流程,如何查找已知信息靶标的特征点!可是,投影仪无法像相机一样进行拍照,那如何获取投影仪所拍摄的图片呢?

事实上,我们仅需要靶标特征点在投影仪成像平面上的位置信息即可。那么,我们就可以通过前述的两组相移互补格雷码方法,先从相机成像平面知道这些特征点的位置,然后,将这些特征点映射到投影仪成像平面即可!仔细想想,还真是那么回事,照着逻辑往后推就行了!

因此,我们可以得到以下投影仪标定算法流程,也将这种算法称为逆相机法:

  • 通过相机拍摄靶标图片
  • 在相机成像平面下通过靶标特征点提取算法提取特征点
  • 通过绝对相位映射将相机成像平面下的特征点映射至投影仪成像平面
  • 与相机标定类似,连续变换多个位姿并重复上述过程
  • 使用张氏标定法进行内参、外参估计

哇塞!是不是瞬间明了了呢?具体效果如何呢?请看实验环节!

4. 代码实践与实验

1)代码实践
我们首先来看看代码如何编写。由于投影仪标定需要两组方向的相移互补格雷码条纹,如果一组一组的存入则需要较多的内存,并且也无法在标定过程中知道当前的摆放位姿在投影仪成像平面上是否合理,特征点提取精度情况等等。所以,博主将其该环节编写为在线式的投影仪标定,使用者可以在标定过程中实时查看当前位姿靶标情况。

投影仪标定函数位于SLMaster项目CalibrateEngine.cpp中的captureOnce函数,让我们来看看具体的代码:

bool CalibrateEngine::captureOnce() {
    //清除当前标定误差分布
    if (!projectorErrorDistributes_.empty()) {
        projectorErrorDistributes_.clear();
    }
	//获取结构光相机并准备
    auto slCamera = CameraEngine::instance()->getSLCamera();

    std::string camManufactor, leftCameraName, rightCameraName, colorCameraName, dlpEvmName;
    slCamera->getStringAttribute("2D Camera Manufactor", camManufactor);
    const device::camera::CameraFactory::CameraManufactor manufator = camManufactor == "Huaray" ? device::camera::CameraFactory::Huaray : device::camera::CameraFactory::Halcon;
    slCamera->getStringAttribute("Left Camera Name", leftCameraName);
    slCamera->getStringAttribute("DLP Evm", dlpEvmName);

    device::projector::Projector* projector = slCamera->getProjectorFactory()->getProjector(dlpEvmName);

    device::camera::Camera* leftCamera = nullptr, *rightCamera = nullptr, *colorCamera = nullptr;
    leftCamera = slCamera->getCameraFactory()->getCamera(leftCameraName, manufator);
    if(slCamera->getStringAttribute("Right Camera Name", rightCameraName)) {
        rightCamera = slCamera->getCameraFactory()->getCamera(rightCameraName, manufator);
    }
    if(slCamera->getStringAttribute("Color Camera Name", colorCameraName)) {
        colorCamera = slCamera->getCameraFactory()->getCamera(colorCameraName, manufator);
    }
    //投影一次
    projector->project(false);

    const int imgSizeWaitFor = CameraEngine::instance()->getNumberAttribute("Total Fringes");
    const int totalExposureTime = (CameraEngine::instance()->getNumberAttribute("Pre Exposure Time") + CameraEngine::instance()->getNumberAttribute("Exposure Time") + CameraEngine::instance()->getNumberAttribute("Aft Exposure Time")) * imgSizeWaitFor;
    auto endTime = std::chrono::steady_clock::now() + std::chrono::duration<int, std::ratio<1, 1000000>>(totalExposureTime + 1000000);
    while (leftCamera->getImgs().size() != imgSizeWaitFor) {
        if (std::chrono::steady_clock::now() > endTime) {
            leftCamera->clearImgs();
            if (rightCamera) {
                rightCamera->clearImgs();
            }
            if (colorCamera) {
                colorCamera->clearImgs();
            }
            return false;
        }
    }
    //软触发一次获取纹理图片(由于博主这套相机是离焦,如果聚焦状态下,可以用相移图案取平均作为纹理图案)
    leftCamera->setTrigMode(device::camera::trigSoftware);
    leftCamera->setNumberAttribute("ExposureTime", 100000);
    cv::Mat texture = leftCamera->capture();
    if(texture.type() == CV_8UC3) {
        cv::cvtColor(texture, texture, cv::COLOR_BGR2GRAY);
    }
    leftCamera->setNumberAttribute("ExposureTime", CameraEngine::instance()->getNumberAttribute("Exposure Time"));
    //获取当前投影仪条纹烧录记录表,用于确定水平条纹或垂直条纹以及条纹周期等情况
    auto orderTablesRecord = CameraEngine::instance()->getOrderTableRecord();
    static cv::Mat honrizonUnwrapMap, verticalUnwrapMap, normHUnwrapMap, normVUnwrapMap, textureMap;
    const int dlpHeight = CameraEngine::instance()->getStringAttribute("DLP Height").toInt();
    const int dlpWidth = CameraEngine::instance()->getStringAttribute("DLP Width").toInt();
    //依次按烧录的条纹序列进行解相
    for (int i = 0; i < orderTablesRecord.size(); ++i) {
        std::vector<cv::Mat> imgs;
        int index = 0;
        while(index++ < orderTablesRecord[i].patternsNum_) {
            cv::Mat img = leftCamera->popImg();

            if(img.type() == CV_8UC3) {
                cv::cvtColor(img, img, cv::COLOR_BGR2GRAY);
            }

            imgs.push_back(img);
        }
       
        cv::structured_light::SinusCompleGrayCodePattern::Params params;
        params.confidenceThreshold = CameraEngine::instance()->getNumberAttribute("Contrast Threshold");
        params.height = dlpHeight;
        params.width = dlpWidth;
        params.horizontal = !orderTablesRecord[i].isVertical_;
        params.shiftTime = orderTablesRecord[i].shiftTime_;
        params.nbrOfPeriods = std::pow(2, orderTablesRecord[i].patternsNum_ - orderTablesRecord[i].shiftTime_ - 1);
        auto pattern = cv::structured_light::SinusCompleGrayCodePattern::create(params);

        cv::Mat confidenceMap, wrappedPhaseMap, floorMap, unwrapMap, normalizeUnwrapMap;

        pattern->computeConfidenceMap(imgs, confidenceMap);
        pattern->computePhaseMap(imgs, wrappedPhaseMap);
        pattern->computeFloorMap(imgs, confidenceMap, wrappedPhaseMap, floorMap);
        pattern->unwrapPhaseMap(wrappedPhaseMap, floorMap, unwrapMap, confidenceMap > params.confidenceThreshold);

        cv::normalize(unwrapMap, normalizeUnwrapMap, 0, 255, cv::NORM_MINMAX);

        if(orderTablesRecord[i].isVertical_) {
            verticalUnwrapMap = unwrapMap;
            textureMap = texture;
            normVUnwrapMap = normalizeUnwrapMap;
            normVUnwrapMap.convertTo(normVUnwrapMap, CV_8UC1);
            onlineProjVertiPaintItem_->updateImage(QImage(normVUnwrapMap.data, normVUnwrapMap.cols, normVUnwrapMap.rows, normVUnwrapMap.step, QImage::Format_Grayscale8));
        }
        else {
            honrizonUnwrapMap = unwrapMap;
            normHUnwrapMap = normalizeUnwrapMap;
            normHUnwrapMap.convertTo(normHUnwrapMap, CV_8UC1);
            onlineProjHonriPaintItem_->updateImage(QImage(normHUnwrapMap.data, normHUnwrapMap.cols, normHUnwrapMap.rows, normHUnwrapMap.step, QImage::Format_Grayscale8));
        }
    }

    leftCamera->clearImgs();
    if (rightCamera) {
        rightCamera->clearImgs();
    }
    if (colorCamera) {
        colorCamera->clearImgs();
    }

    cv::Mat projectorImg = cv::Mat::zeros(dlpHeight, dlpWidth, CV_8UC3);

    auto calibrator = getCalibrator(projectorCaliParams_.targetType_);
    std::vector<cv::Point2f> featurePoints;

    //提取当前纹理图案下的靶标特征点
    if(!calibrator->findFeaturePoints(textureMap, cv::Size(projectorCaliParams_.rowNum_, projectorCaliParams_.colNum_), featurePoints)) {
        return false;
    }
    else {
        cv::cvtColor(textureMap, textureMap, cv::COLOR_GRAY2BGR);
        cv::drawChessboardCorners(textureMap, cv::Size(projectorCaliParams_.rowNum_, projectorCaliParams_.colNum_), featurePoints, true);
        onlineProjColorPaintItem_->updateImage(QImage(textureMap.data, textureMap.cols, textureMap.rows, textureMap.step, QImage::Format_BGR888));
        //将相机成像平面上的靶标特征点坐标映射至投影仪成像平面上
        std::vector<cv::Point2f> remapPoints;
        for (auto camPoint : featurePoints) {
            auto projPoint = remapProjectorPoint(honrizonUnwrapMap, verticalUnwrapMap, camPoint);
            remapPoints.emplace_back(projPoint);
        }

        projCameraPoints_.emplace_back(featurePoints);
        projectorPoints_.emplace_back(remapPoints);

        cv::drawChessboardCorners(projectorImg, cv::Size(projectorCaliParams_.rowNum_, projectorCaliParams_.colNum_), remapPoints, true);
        onlineProjPaintItem_->updateImage(QImage(projectorImg.data, projectorImg.cols, projectorImg.rows, projectorImg.step, QImage::Format_BGR888));
    }

    std::vector<cv::Mat> groupImg;
    groupImg.emplace_back(normHUnwrapMap);
    groupImg.emplace_back(normVUnwrapMap);
    groupImg.emplace_back(textureMap);
    groupImg.emplace_back(projectorImg);
    projectorCaliImgs_.emplace_back(groupImg);

    if(rightCamera) {
        rightCamera->clearImgs();
    }

    if(colorCamera) {
        colorCamera->clearImgs();
    }

    const QString index = projectorModel_->imgPaths().empty() ? "0" : QString::number(projectorModel_->imgPaths()[projectorModel_->imgPaths().size() - 1].toInt() + 1);
    projectorModel_->emplace_back(index);
    emit projectorModelChanged();

    return true;
}

紧接着,我们再来看看映射到投影仪成像平面下的具体函数remapProjectorPoint

const cv::Point2f CalibrateEngine::remapProjectorPoint(const cv::Mat& honrizonPhaseMap, const cv::Mat& verticalPhaseMap, const cv::Point2f& camPoint) {
//双线性插值
#ifdef LinearInter
    int index_Y_Upper = std::ceil(camPoint.y);
    int index_Y_Lower = std::floor(camPoint.y);
    int index_X_Upper = std::ceil(camPoint.x);
    int index_X_Lower = std::floor(camPoint.x);
    const float vPLU = verticalPhaseMap.ptr<float>(index_Y_Upper)[index_X_Lower];
    const float vPRU = verticalPhaseMap.ptr<float>(index_Y_Upper)[index_X_Upper];
    const float vPLD = verticalPhaseMap.ptr<float>(index_Y_Lower)[index_X_Lower];
    const float vPRD = verticalPhaseMap.ptr<float>(index_Y_Lower)[index_X_Upper];
    const float tPLU = honrizonPhaseMap.ptr<float>(index_Y_Upper)[index_X_Lower];
    const float tPRU = honrizonPhaseMap.ptr<float>(index_Y_Upper)[index_X_Upper];
    const float tPLD = honrizonPhaseMap.ptr<float>(index_Y_Lower)[index_X_Lower];
    const float tPRD = honrizonPhaseMap.ptr<float>(index_Y_Lower)[index_X_Upper];
    const float vfR1 = (index_X_Upper - camPoint.x) / (index_X_Upper - index_X_Lower) * vPLD + (camPoint.x - index_X_Lower) / (index_X_Upper - index_X_Lower) * vPRD;
    const float vfR2 = (index_X_Upper - camPoint.x) / (index_X_Upper - index_X_Lower) * vPLU + (camPoint.x - index_X_Lower) / (index_X_Upper - index_X_Lower) * vPRU;
    const float tfR1 = (index_X_Upper - camPoint.x) / (index_X_Upper - index_X_Lower) * tPLD + (camPoint.x - index_X_Lower) / (index_X_Upper - index_X_Lower) * tPRD;
    const float tfR2 = (index_X_Upper - camPoint.x) / (index_X_Upper - index_X_Lower) * tPLU + (camPoint.x - index_X_Lower) / (index_X_Upper - index_X_Lower) * tPRU;
    const float verticalPhaseValue = (index_Y_Upper - camPoint.y) / (index_Y_Upper - index_Y_Lower) * vfR1 + (camPoint.y - index_Y_Lower) / (index_Y_Upper - index_Y_Lower) * vfR2;
    const float transversePhaseValue = (index_Y_Upper - camPoint.y) / (index_Y_Upper - index_Y_Lower) * tfR1 + (camPoint.y - index_Y_Lower) / (index_Y_Upper - index_Y_Lower) * tfR2;
//最近邻插值
#else 
    int index_Y = std::round(camPoint.y);
    int index_X = std::round(camPoint.x);
    const float verticalPhaseValue = verticalPhaseMap.ptr<float>(index_Y)[index_X];
    const float transversePhaseValue = honrizonPhaseMap.ptr<float>(index_Y)[index_X];
#endif
//映射至投影仪坐标系
    const float xLocation = (verticalPhaseValue) / CV_2PI * projectorCaliParams_.verticalPitch_;
    const float yLocation = (transversePhaseValue) / CV_2PI * projectorCaliParams_.honrizonPitch_;
    return cv::Point2f(xLocation, yLocation);
}

我们通过双线性插值进一步提高特征点提取精度,效果显著,不信?那你可以试试喔。

2)实验

首先我们需要一块标定板,由于黑色对光的反射率较低,因此棋盘格、圆环靶标容易受到干扰,所以我们使用黑底白色前景的圆点标定板进行投影仪标定,如下图所示:

3d相机中的 projecror投影仪,从0到1搭建一套属于你自己的高精度实时结构光3D相机,3d,计算机视觉,机器人,相机,开源软件

图3. 黑底白色前景圆点标定板

打开我们的SLMaster软件,按如下步骤进行,你就能得到你想要的结果了!

3d相机中的 projecror投影仪,从0到1搭建一套属于你自己的高精度实时结构光3D相机,3d,计算机视觉,机器人,相机,开源软件

图4. 软件标定流程

然后我们可以将标定文件进行保存。前面说过,我们的三角测量模型是可以通过标定参数确定标定的好不好的!则么实施的呢?我们打开保存好的标定文件,查看Tlr参数,如图5所示。然后实际测量相机与投影仪之间的相对位置,对比一下就知道了!

3d相机中的 projecror投影仪,从0到1搭建一套属于你自己的高精度实时结构光3D相机,3d,计算机视觉,机器人,相机,开源软件

图5. 标定所得的相机到投影仪的平移矩阵

通过结构光系统模型进行三维重建的实验呢?

这一部分环节将在之后的多视几何约束相关算法进行。博主不单独使用结构光系统模型进行三维重建,如果你有需要,可以调用博主写的方法进行实验(见reverse_camera.cu)。

3. 总结

在这篇博客中,博主介绍了结构光系统模型与逆相机法投影仪标定算法 ,在下一小节中,博主将开始介绍最佳脉冲宽度调制方法的二值正弦条纹生成算法。

参考文献

[1] Feng, Shijie & Zuo, Chao & Zhang, Liang & Tao, Tianyang & Hu, Yan & Yin, Wei & Qian, Jiaming & Chen, Qian. (2021). Calibration of fringe projection profilometry: A comparative review. Optics and Lasers in Engineering. 143. 106622. 10.1016/j.optlaseng.2021.106622.

想要跟着博主继续实践结构光三维重建的,欢迎关注博主公众号,关注公众号不迷路!!!

本系列文章将持续更新,如果有等不及想要获得代码的小伙伴,可访问博主Github中的SLMaster项目,动动你的小手指,follow and star⭐!你们的关注是博主持续的动力!

Github:https://github.com/Practice3DVision

CSDN: https://blog.csdn.net/m0_56071788?spm=1011.2415.3001.5343

知乎:https://www.zhihu.com/people/liu-yun-huang-53

QQ群:229441078

微信:yt201280

公众号:实战3D视觉

3d相机中的 projecror投影仪,从0到1搭建一套属于你自己的高精度实时结构光3D相机,3d,计算机视觉,机器人,相机,开源软件

扫一扫关注公众号文章来源地址https://www.toymoban.com/news/detail-851622.html

到了这里,关于从0到1搭建一套属于你自己的高精度实时结构光3D相机(8):结构光系统模型与逆相机法投影仪标定的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【论文阅读】CONAN:一种实用的、高精度、高效的APT实时检测系统(TDSC-2020)

    CONAN:A Practical Real-Time APT Detection System With High Accuracy and Efficiency TDSC-2020 浙江大学 Xiong C, Zhu T, Dong W, et al. CONAN: A practical real-time APT detection system with high accuracy and efficiency[J]. IEEE Transactions on Dependable and Secure Computing, 2020, 19(1): 551-565. 现有的实时APT检测机制由于检测模型不准确和

    2024年02月11日
    浏览(48)
  • 【知识案例分享】蓝光3D扫描技术为航空精密零部件提供高精度三维检测

    · 蓝光三维扫描 航空制造是尖端技术的集成,而先进产品的研制生产必然带动尖端技术的发展。航空制造对产品质量的要求最为苛刻,需要进行高精度三维检测,确保最终零部件型面与设计图无限趋近,避免偏差过大影响零部件性能。 对于高精密、规则零部件的测量,三坐

    2024年02月02日
    浏览(69)
  • 应用案例|探索高精度3D机器视觉在车间滑橇检测与测量中的应用

    Part.1   应用行业 随着科技的不断进步,3D机器视觉技术逐渐成为了现实世界与数字世界之间的桥梁。3D机器视觉技术能使计算机感知和理解三维空间重的物体和场景,被广泛应用于机器人引导、工业检测等行业,例如:物流、电商、教育、医疗、化工、食品、家电、陶瓷、卫

    2024年02月16日
    浏览(47)
  • (基础算法)高精度加法,高精度减法

    什么叫做高精度加法呢?包括接下来的高精度减法,高精度乘法与除法都是同一个道理。正常来讲的话加减乘除,四则运算的数字都是整数,也就是需要在int的范围之内,但当这个操作数变得非常\\\"大\\\"的时候( 其实就是一个字符串,比方说有一个数是20位,如果用整数视角来

    2024年02月01日
    浏览(60)
  • 【算法】模拟,高精度

      P1601 A+B Problem(高精) - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 思路就是模拟,值得注意的就是要用字符串类型输入。存进自己的int数组时要倒着存,因为如果是正着存的话,进位会有点trouble。 时间复杂度O(max(m,n))    P1303 A*B Problem - 洛谷 | 计算机科学教育新生态 (lu

    2024年02月09日
    浏览(53)
  • 高精度除法

    高精度除法和乘法讨论的一样,都是一个大整数和一个小整数之间的运算。 算法思路 根据小学除法一样,我们还是模拟这个过程。 注意这里遍历 (A) 数组的时候要按照我们读数字的顺序,也就是从数组尾部到头部遍历。 每一位的计算过程应该是,上一轮的余数 (r) 乘 (

    2024年02月08日
    浏览(91)
  • 高精度算法笔记·····························

    加法 减法 乘法 除法 高精度加法的步骤: 1.高精度数字利用字符串读入 2.把字符串 翻转 存入两个整型数组A、B 3.从低位到高位,逐位求和,进位,存余 4.把数组C从高位到低位依次输出         1.2为准备         3为加法具体实现(0按位取反为-1,即-1时结束等价于=0)  

    2024年01月21日
    浏览(60)
  • 高精度加法

    高精度问题是指两个数字非常大,超过了 int ,甚至 long long 的范围,数字的位数甚至能达到 (10^5) ,那么如果要实现这样两个大数字的运算,需要解决以下两个问题: 如何存储? 这样的两个数字相加是不可能用普通类型来存储的,所以我们第一个要解决的问题就是如何存储

    2024年02月08日
    浏览(57)
  • 高精度减法

    要实现两个高精度数的减法,和高精度加法一样都是模拟竖式计算的过程,主要就是解决以下两个问题。 谁大谁小? 由于这两个数字都很大,但是不知道谁更大,所以要先判断哪个数更大,思路如下: 判断这两个数谁的位数更大,位数更大的自然更大。 如果位数不相同,从

    2024年02月08日
    浏览(54)
  • C++高精度问题

    C++中int不能超过2^31-1,最长的long long也不能超过2^63-1,所以我们在题目中如果碰到了很长很长的数,并且需要进行大数运算时,就需要高精度存储。 由于int和long long的限制,我们要想存放很长的数就需要利用数组存储,C++中可以利用STL中的vector容器存储 读取:  由于数据很大,

    2024年01月24日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包