工业相机为了传输效率和数据的真实性,很多都是用Raw格式,比如从某宝购买的这台JHEM203GC的相机,就只支持Bayer RG8, Bayer RG10数据。
1 Bayer图像
Bayer图像是彩色Bayer传感器产生的图像数据, 这种传感器每个像素只记录了红,绿,蓝一个分量的数据,如下图所示,按照排列方式分为RGGB,BGGR, GRBG, GBRG四种排列。
对相机返回的这种Bayer数据,如果需要显示为正常的彩色图像,需要将每个像素丢失的信息插补回来,一般是利用相邻和附近的像素信息进行插值,有许多不同的算法得到的效果也不尽相同。
2 图像转RGB或者BGR
如调用MVS SDK,可以通过MV_CC_ConvertPixelType实现,代码如下,转换的格式通常为PixelType_Gvsp_BGR8_Packed,就是BGR排列,如果是RGB排列,使用PixelType_Gvsp_RGB8_Packed,这种格式保存为图片或者显示时可能会出现红蓝对调的情况。
int Bayer2BGR(void *handle, unsigned char* pData, MV_FRAME_OUT_INFO_EX* pstImageInfo, unsigned char **pBgrData)
{
*pBgrData = 0;
if (NULL == pData)
{
return MV_E_PARAMETER;
}
unsigned int nDataSizeForBGR = pstImageInfo->nWidth * pstImageInfo->nHeight * 3;
unsigned char* pDataForBGR = (unsigned char*)malloc(nDataSizeForBGR);
if (NULL == pDataForBGR)
{
return MV_E_BUFOVER;
}
// ch:像素格式转换 | en:Convert pixel format
MV_CC_PIXEL_CONVERT_PARAM stConvertParam = { 0 };
memset(&stConvertParam, 0, sizeof(MV_CC_PIXEL_CONVERT_PARAM));
stConvertParam.nWidth = pstImageInfo->nWidth; //ch:图像宽 | en:image width
stConvertParam.nHeight = pstImageInfo->nHeight; //ch:图像高 | en:image height
stConvertParam.pSrcData = pData; //ch:输入数据缓存 | en:input data buffer
stConvertParam.nSrcDataLen = pstImageInfo->nFrameLen; //ch:输入数据大小 | en:input data size
stConvertParam.enSrcPixelType = pstImageInfo->enPixelType; //ch:输入像素格式 | en:input pixel format
stConvertParam.enDstPixelType = PixelType_Gvsp_BGR8_Packed; //ch:输出像素格式 | en:output pixel format
stConvertParam.pDstBuffer = pDataForBGR; //ch:输出数据缓存 | en:output data buffer
stConvertParam.nDstBufferSize = nDataSizeForBGR; //ch:输出缓存大小 | en:output buffer size
int nRet = MV_CC_ConvertPixelType(handle, &stConvertParam);
if (MV_OK != nRet)
{
free(pDataForBGR);
return MV_E_UNKNOW;
}
*pBgrData = pDataForBGR;
return MV_OK;
}
3 将buffer转成Mat格式
采集的图像为直接数组,需要转换成Mat格式来调用OpenCV做进一步的处理。
// convert data stream in Mat format
bool Convert2Mat(void* handle, MV_FRAME_OUT_INFO_EX* pstImageInfo, unsigned char **pData)
{
cv::Mat srcImage;
if ( pstImageInfo->enPixelType == PixelType_Gvsp_Mono8 )
{
srcImage = cv::Mat(pstImageInfo->nHeight, pstImageInfo->nWidth, CV_8UC1, *pData);
}
else if ( pstImageInfo->enPixelType == PixelType_Gvsp_RGB8_Packed )
{
RGB2BGR(*pData, pstImageInfo->nWidth, pstImageInfo->nHeight);
srcImage = cv::Mat(pstImageInfo->nHeight, pstImageInfo->nWidth, CV_8UC3, *pData);
}
else
{
unsigned char *pBgrData = 0;
Bayer2BGR(handle, *pData, pstImageInfo, &pBgrData);
if (pBgrData)
{
srcImage = cv::Mat(pstImageInfo->nHeight, pstImageInfo->nWidth, CV_8UC3, pBgrData);
free(*pData);
*pData = pBgrData;
}
}
if ( NULL == srcImage.data )
{
return false;
}
#ifdef SAVE
//save converted image in a local file
try {
#if defined (VC9_COMPILE)
cvSaveImage("MatImage.bmp", &(IplImage(srcImage)));
#else
cv::imwrite("MatImage.bmp", srcImage);
#endif
}
catch (cv::Exception& ex) {
fprintf(stderr, "Exception saving image to bmp format: %s\n", ex.what());
}
#endif
//show converted image
try {
#if !defined (VC9_COMPILE)
cvShowImage("CAM", &(IplImage(srcImage)));
cvWaitKey(20);
#else
cv::imshow("CAM", srcImage);
cv::waitKey(20);
#endif
}
catch (cv::Exception& ex) {
fprintf(stderr, "Exception saving image to bmp format: %s\n", ex.what());
}
srcImage.release();
return true;
}
4 cvtColor一步转换
使用相机SDK的好处是集成简单,但对于本身需要使用Opencv的工程来说也可以直接使用Opencv的cvtColor, 按照原有的bayer格式选择参数,即可一步把RAW图像转为RGB图像。
cv::Mat bayerImg = cv::Mat(stImageInfo.nHeight, stImageInfo.nWidth, CV_8UC1, pData);
cv::Mat bgrImg;
if(stImageInfo.enPixelType == PixelType_Gvsp_BayerBG8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerBG2RGB);
else if(stImageInfo.enPixelType == PixelType_Gvsp_BayerRG8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerRG2RGB);
else if (stImageInfo.enPixelType == PixelType_Gvsp_BayerGB8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerGB2RGB);
else if (stImageInfo.enPixelType == PixelType_Gvsp_BayerGR8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerGR2RGB);
cv::imshow("CAM", bgrImg);
cv::waitKey(20);
5 结果和参考代码
RAW图像,看上去是黑白的实际上是马赛克图像
转换后的RGB图像
文章来源:https://www.toymoban.com/news/detail-860184.html
参考代码:https://www.jinghangtech.com/media/ug/UG007_OpenCV.zip文章来源地址https://www.toymoban.com/news/detail-860184.html
到了这里,关于OpenCV处理工业相机Bayer格式数据的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!