11 双目立体成像PPT文件格式下载.ppt

1、像平面坐标点：世界点W的坐标：,双目视差与深度（物距）之间的关系：,右图为平行双目成像视场分析图，这里给出两台摄像机镜头连线所在的平面（XZ平面）的示意图。第一个像平面，第二个像平面，（B总取正）,摄像机参数相同；摄像机的像平面坐标系与世界坐标系重合；两摄像机的光轴重合；第二个摄像机坐标系相对于第一个摄像机坐标系在X方向平移距离B。,两式联立，消去X：令视差的绝对值用D表示，则可以解出Z为：,上式把三维空间点与像平面的距离Z与视差D直接联系了起来。,11.1.2 双目横向会聚模式,两个摄像机的两个光轴也可以会聚；下图是将双目横向模式中的两个摄像机绕各自的中心相向旋转得到的两个镜头连线所在的平面

2、（XZ平面）,摄像机参数相同；两镜头中心间的距离（即基线）是B；两光轴在XZ平面相交于（0，0，Z）点，交角为2（未知）；像平面坐标点为 和；世界坐标点W的坐标：；,以上计算公式将物体到像平面的距离Z与视差D直接联系起来。使用平行双目模式或会聚双目模式时，都需要根据三角形法来计算，所以基线不能太小，否则会影响精度。另外，如果物体表面有凹陷，也会由于遮挡导致有些点不能同时被两个摄像机都拍摄到而产生问题。,11.1.3 双目纵向模式,两个摄像机是沿光轴依次排列，也可以认为将摄像机沿光轴方向运动，获得的第二幅图像是在比获得第一幅图像更接近被摄物或更远离被摄物处获得的。成像几何关系可借助左下来表示（仅

3、画出了XZ平面，Y轴由纸内向外）。摄像机坐标系的XY平面与图像像平面坐标系重合；第一幅图像和第二幅图像的两个摄像机坐标系只在Z方向差Z。,双目纵向模式优点：两个摄像机的公共视场也就是前一个摄像机（的视场，所以公共视场的边界很容易确定。摄像机沿轴向移动也可以基本排除由于遮挡造成的三 维空间点仅被一个摄像机看到的问题。针对不确定性 问题的影响小。,根据投影关系：,11.2 双目视觉测量数学模型,问题的提出：左、右摄像机单独成像均无法确定W的三维空间位置。左右两台摄像机同时观察W点，则W点的位置是唯一确定的，为射线o1w1和o2w2的交点。,已知w1和w2为空间同一点W的对应点，矩阵分别为M1和M2

4、，则根据摄像机模型有：,式中，k=1,2。,消去z1和z2两个参数后可以得到四个线性方程：,利用最小二乘法，联立求出点W的坐标，确定出其空间坐标。,11.3 立体匹配方法概述与极线约束,根据第一节典型的三种双目成像模式，最关键和极富挑战性的一步即要解决一个立体匹配问题，即在同一场景的不同图像中寻找对应点；立体匹配方法：灰度相关 特征匹配,为了减小模板匹配搜索范围、得到唯一准确的匹配，必须通过必要的信息或约束规则作为辅助判据。例如以下4种约束条件：兼容性约束：两图中源于同一类物理性质的特征才能匹配。唯一性约束：两图像中的匹配必须唯一。连续性约束。匹配点附近的视差变化在整幅图中除遮挡区域或间断区域

5、外的大部分点都是光滑的（渐变的）。顺序性约束。,极点：基线与像平面的交点，如图中点E1和E2。极线：极平面与左右图像平面的交线，如图中L1和L2。极平面：空间点W与基线决定的平面。极平面簇：基线和空间任意一点确定的一簇平面。,极线约束：极线限定了双摄像机图像对应点的位置，与空间点W在左图像平面上投影点所对应的右图像平面投影点必在极线L2上，反之与空间点W在右图像平面上投影点所对应的左图像平面投影点必在极线L1上。极限约束的特点：点与直线的对应，而不是点与点的对应；将对应点匹配从整幅图像搜索缩小到在一条直线上搜索对应点；,11.4 双目视觉测量系统标定,摄像机内部参数标定后，确定视觉系统结构参数R和T。通过对匹配的特征点用三角法重建，比较重建结果与真实坐标之间差异构造误差矢量，采用非线性优化算法对标定结果进一步优化。,考虑空间中一点W，在世界坐标系中坐标矢量为X，在左、右摄像机坐标系中坐标矢量分别为，。它从世界坐标系分别变换到左、右摄像机坐标系的关系为：这样，从左摄像机到右摄像机的关系为：式中，得到摄像机之间的旋转矩阵R和平移矢量T后，可以利用关系式：进行三维重建，其中和分别是点W在左右图像中的坐标矢量。,