双目立体视觉传感器原理

  创想智控将机器视觉技术应用于视觉与图像领域，自主研发了双目立体视觉传感器，已应用在工业和VR领域，具体产品和行业案例可以搜索北京创想智控进入***进行查看。

基于双目立体视觉的传感器类似人类的双眼，和基于TOF、结构光原理的传感器不同，它不对外主动投射光源，完全依靠拍摄的两张图片（彩色RGB或者灰度图）来计算深度，因此有时候也被称为被动双目传感器。

双目立体视觉传感器详细原理

1、理想双目相机成像模型

首先我们从理想的情况开始分析:假设左右两个相机位于同一平面（光轴平行），且相机参数（如焦距f）一致。那么深度值的推导原理和公式如下。公式只涉及到初中学的三角形相似知识，不难看懂。

理想情况下双目立体视觉传感器深度值计算原理

根据上述推导，空间点P离相机的距离（深度）z=f*b/d，可以发现如果要计算深度z，必须要知道：

1、相机焦距f，左右相机基线b。这些参数可以通过先验信息或者相机标定得到。

2、视差d。需要知道左相机的每个像素点(xl, yl)和右相机中对应点(xr, yr)的对应关系。这是双目视觉的核心问题。

2、极线约束概念

极线约束对于求解图像对中像素点的对应关系非常重要。

如下图所示。C1，C2是两个相机，P是空间中的一个点，P和两个相机中心点C1、C2形成了三维空间中的一个平面PC1C2，称为极平面（Epipolar plane）。极平面和两幅图像相交于两条直线，这两条直线称为极线(Epipolar line)。P在相机C1中的成像点是P1，在相机C2中的成像点是P2，但是P的位置事先是未知的。

我们的目标是：对于左图的P1点，寻找它在右图中的对应点P2，这样就能确定P点的空间位置，也就是我们想要的空间物体和相机的距离（深度）。

所谓极线约束（Epipolar C***traint）就是指当同一个空间点在两幅图像上分别成像时，已知左图投影点p1，那么对应右图投影点p2一定在相对于p1的极线上，这样可以极大的缩小匹配范围。

根据极线约束的定义，我们可以在下图中直观的看到P2一定在对极线上，所以我们只需要沿着极线搜索一定可以找到和P1的对应点P2。

3、图像矫正技术

图像矫正是通过分别对两张图片用单应（homography）矩阵变换（可以通过标定获得）得到的，的目的就是把两个不同方向的图像平面（下图中***平面）重新投影到同一个平面且光轴互相平行（下图中***平面），这样就可以用前面理想情况下的模型了，两个相机的极线也变成水平的了。

经过图像矫正后，左图中的像素点只需要沿着水平的极线方向搜索对应点就可以了（开心）。从下图中我们可以看到三个点对应的视差（红色双箭头线段）是不同的，越远的物体视差越小，越近的物体视差越大，这和我们的常识是一致的。

4、基于滑动窗口的图像匹配

对于左图中的一个像素点（左图中红色方框中心），在右图中从左到右用一个同尺寸滑动窗口内的像素和它计算相似程度，相似度的度量有很多种方法，比如误差平方和法（Sum of Squared Differences，简称SSD），左右图中两个窗口越相似，SSD越小。下图中下方的SSD曲线显示了计算结果，SSD值***小的位置对应的像素点就是***佳的匹配结果。

具体操作中还有很多实际问题，比如滑动窗口尺寸。滑动窗口的大小选取还是很有讲究的。

5、基于能量优化的图像匹配

目前比较主流的方法都是基于能量优化的方法来实现匹配的。能量优化通常会先定义一个能量函数。比如对于两张图中像素点的匹配问题来说，我们定义的能量函数如下图公式1。

我们的目的是：

1、在左图中所有的像素点和右图中对应的像素点越近似越好，反映在图像里就是灰度值越接近越好。

2、在 同一张图片里，两个相邻的像素点视差（深度值）也应该相近。

上述公式1代表的能量函数就是***的马尔科夫随机场(Markov Random Field)模型。通过对能量函数***小化，我们***后得到了一个***佳的匹配结果。有了左右图的每个像素的匹配结果，根据前面的深度计算公式就可以得到每个像素点的深度值，***终得到一幅深度图。

北京创想智控科技有限公司是一家专注于机器视觉焊接自动化的研发及生产的高新技术企业。多年来，创想智控凭借公司强大的核心技术致力于为用户提供机器视觉和智能控制的解决方案；深度服务于螺旋管、钢瓶、压力容器、钢结构、汽车零配件、焊接机器人等行业的焊接制造领域。未来，创想智控将不断致力于技术研发与创新，立足工业智能制造，助力行业品质提升！