三维带电空间警示系统 使用说明书 天智系统Word文件下载.docx

1、1 概述1.1主要用途及适用范围三维安全带电空间安全警示系统（以下简称系统）利用双目摄像头进行三维测距。变电站施工过程中，待维修设备周围设备仍然带电，本系统主要用于监控周围设备带电的立体空间内的相关施工设备和人员。当相关施工设备和人员距离带电平面的距离小于安全距离时，系统发出报警声音进行报警，提醒相关人员注意施工安全。系统主要通过双目摄像机对立体空间进行监控，至少使用两组摄像机交叉放置对立体空间进行监控。由于光照对于图像采集影响较大，故进行监控时因尽量避免双目摄像机正对强光源和在夜晚使用该系统。系统最佳测量范围在三到八米。1.2 系统主要特点其特征在于将两组双目摄像头放置于立体监控区域的相交平

2、面外，对立体空间内外物体进行实施监控，当物体距离立体平面的距离小于安全警戒距离时报警，并且根据距离远近发出不同的报警声，以体现危险程度。该系统主要有图像采集设备,信息处理模块组成,其中信息处理模块有平面靶标标定模块,立体匹配模块，深度计算模块、仰角计算模块、坐标转换模块和带电立体平面划定和报警模块组成。2 结构特征与工作原理2.1 结构特征系统主要包括两部分，分别为数据采集部分以及数据处理部分。数据采集部分主要为双目摄像头。利用双目摄像头读取警戒区域的场景信息，并将之传至后台处理。如图1所示。图1双目摄像头检测警戒区域示意图数据处理部分为系统处理软件。保存摄像头采集数据，进行双目矫正，计算视差

3、图，然后判断作业设备是否进入危险区域。2.2 系统工作原理图2理论原理图如图2所示的理想状况下，假定左右摄像机的投影中心OL和OR在同一水平线上，且成像无畸变，左右图像行严格对准。空间一点在左右相机的成像点分别为A和B。投影中心OL和OR之间的距离为b，P到两个相机的投影中心的距离为Z。点A相对于左摄像机的成像平面中心Ol的横坐标值为XL，点B相对于右摄像机的成像平面中心Or的横坐标值为XR。则根据三角形相似原理三角形PAB相似于三角形POLOR，则有 （1）由公式（1）推出深度的计算公式为 （2）其中disparity=XL-XR即为视差。同理可以求出P点的XY空间坐标8。 （3） （4）其

4、中Xl和Yl为物体在左摄像机成像平面中相对于成像中心点的坐标值。左右图像进行半全局立体匹配。完整的匹配算法应该包括：第一步：匹配代价计算；第二步：代价聚合；第三步：视差计算和优化；第四步：视差精提取。匹配代价的计算：匹配代价计算是指在一幅图像中的某一点对应于另一幅图像一点的代价。通常匹配代价有绝对灰度值差AD（absolute intensity differences），灰度值差值平方SD（squared intensity differences）等。半全局匹配算法基础是基于点的匹配代价。其中匹配代价为互信息MI（Mutual Information）。其计算公式为： （5）其中等式右边表

5、示两个点对之间的信息熵之和减去联合熵。对应的代价聚合就是对第一步的匹配代价的聚合在一起，局部算法中是计算一个窗口内代价的和，如一个3*3矩形窗内的匹配代价和。半全局匹配算法中的匹配代价聚合为如下公式述 （6）公式（6）是匹配代价聚合的能量计算的基础上附加了一个额外的平滑约束。右侧第一项表示所有像素点的匹配代价之和，对于像素点p 与其相邻的像素点深度差有较小变化和较大变化两种情况，第二项和第三项分别用系数P1和P2 进行了惩罚，这里函数T为1 当且仅当其参数为真，否则为0。它们要求相邻的像素点的深度值尽可能地一致，即保持平滑，P1 P2。半全局的深度计算就是对于左图每个像素点p,深度dp=min

6、dS（p,d）。使用中值滤波器滤除突变的深度值。最后进行一致性检查去除由于遮挡和错误匹配点。相对于局部算法只考虑某个区域的聚合代价来进行深度赋值，半全局匹配算法从多个方向聚合考虑了图像中点的全局关联性，提高了匹配的精度。相对于全局算法如图割法来说，半全局算法只考虑路径上的点而不是全部的点大大提高了运算的时间。然后利用深度图计算视差图。2.3 系统的功能模块以及工作流程系统主要有立体标定模块、立体校正模块、半全局匹配模块、深度计算模块、仰角计算模块、带电警戒立体空间划定模块和报警模块组成。主要功能模块如图2所示。图3系统功能模块示意图其中立体标定模块为立体校正模块和深度计算模块提供摄像机的内外参

7、数，仰角计算模块主要解决摄像机仰角问题，这两种模块都可以在线下提前完成。当带电空间警戒平面划定后带电空间警戒模块将不再工作。实时工作的三维带电空间报警系统工作流程如下图4所示。图4三维带电空间警报系统工作流程图3 系统软硬件环境软件环境：windows XP/windows7 、Microsoft Visual studio 2010、OpenCV2.2或者以上版本。硬件环境：PC机、双目摄像头（4组）、电源设备。4 系统的安装与调试4.1 设备基础、安装条件以及安装的技术要求要求双目摄像头具有支架支撑，视频采集效果好，能够准确传送视频数据。PC机可用、且稳定性好。具备安装Microsoft

8、Visual studio 2010等的软件配置。摄像头的安装条件需要视线条件好（白天），大场景以及近距离安置。双目摄像机放置与待监测立体空间的位置关系如图1所示，可以在此基础上再加两组摄像头用于更好的监测。单组双目摄像机如图5所示：图5单组双目摄像机使用时首先将摄像机支架打开图图6所示，使得三只脚长度统一，知道如图6所示水平仪中的气泡达到正中为止。图6摇动把手3调节双目摄像机的升降。 调整图7所示中的旋钮1，使得水平仪中气泡达到正中间如图8所示。横向顺时针旋转把手2，并且纵向摇动双目摄像机使得其达到平视效果（即没有仰角的情况）。图7图8放置双目摄像机正对待监测立体带电空间的的带电平面，背对镜

9、头的两个支架脚应放置在统一水平线上如图9所示。图9摄像头的矫正：市场购置的双目摄像头不匹配，需要进行矫正。首先，利用双目摄像头读取棋盘格图片。并且保存至stereodata文件夹。图片的命名格式为right1.jpg、left1.jpg等，本系统保存图片15-20张。然后利用标定程序进行标定得到旋转需要的摄像机参数，主要包括左右摄像机内部参数，左右摄像头畸变参数，右摄像头到左摄像头的旋转矩阵以及评议矩阵，并分别存放于M1.txt，M2.txt ，D1.txt，D2.txt，R.txt和T.txt文件中。注意，需将上述六个摄像机参数文件拷贝至系统的工程文件夹中，便于软件调用使用。不同的摄像机对应

10、的参数不同。保证测试过程中，双目摄像头不被扭转，旋转。否则需要重新标定摄像头。本系统涉及的摄像头数目有限，故已标定好，可直接使用。矫正过程如图10所示：图10立体标定流程图4.2 调试软件系统首先连接双目USB摄像头与计算机。配置软件环境，因为每台机器的环境不同，所以需要配置各种库文件的路径。然后点击编译运行。打开显示图像按钮。如图11所示：（a） 正确读取深度信息（b）错误读取深度信息图 11显示按钮图示11（a）右窗口显示的是深度图，可以看出深度信息明显，比如人的轮廓黑白分明。如果不明显如图11（b）所示，则原因有三，一方面可能是摄像头的左右与USB接口连接相反。图示显示的是左视图，可以通

11、过调换USB插口，来判断显示的是否是左摄像头。另外一方面可能是由于摄像头遭到了变动，导致摄像头参数不对，需要更换摄像头的参数，最后一种可能是场景本身的深度信息不明显。这需要调整摄像头在场景中的安装位置。调试成功后，则可以投入使用。5 软件系统的使用和操作系统的主框架如下图12所示：图12系统的主框架如图所示，左视图窗口为操作界面。视差图为左右摄像头视差图显示界面。放大视图是观察窗口。以上三个控件为实时的图像显示信息。框架右上图的两个按钮分别为：图像显示按钮和重绘立体框按钮。中间矩形框内为安全距离设定区。主要有三个高度信息和三个宽度信息。矩形框内的两个按钮分别为设定参数按钮和参数设定确认按钮。下

12、方的矩形框为场景选择设定区，用户可以根据实际场景需要选择不同的实用场景。最后一个为退出系统按钮。具体实用过程如下所示：显示图像信息。打开显示图像按钮，系统将显示经过矫正后的左摄像头的实时图像。并且根据深度计算得到的视差图。下方将显示放大后的左视图，便于观察场景。结果如图13所示：图13显示图像按钮效果图划定检测区域鼠标操作，用户可以根据右方得视差图，在左边的视图内划定立体检测区域。划定方法为：检测区域为立方体结构。用户点击鼠标左键，首先顺时针点击近视角的四个点，再顺时针点击远视角的四个点。注意，需要参照视差图，点击的位置必须是视差值不为0的区域。8个点确定完毕之后，系统将根据用户设定的8个点自

13、动划定检测区域。如果用户设定的点数超过8个点时，系统将提示用户。系统将显示监测区域，并且显示每个点的坐标。最后将根据这个监测区域立方体计算深度值，并且显示在视图上。结果如图14所示：图14划定工作区域如果用户的检测区域划定错误，可以点击重绘立体框按钮，系统将清除前一次的点，允许用户重新输入，且重复次数不受限制。设定安全距离。用户可以在安全距离设定框内设置所需要设定的安全距离。超过这个距离系统将报警提示危险。其中，高度1为:xxx（单位：毫米，如200表示200mm，此处数值为高度方向最大安全距离）高度2为: xxx（单位：毫米，如150 表示150mm，此处为高度方向次安全距离，物体据高度参照

14、观察值小于此距离进行更高级别报警）高度3为:毫米，如100 表示100mm，此处为高度方向带电物体本身的高度或深度范围，用于系统滤除带电物体本身的干扰）宽度1为:毫米，如200 表示200mm，此处为物体距离待监测带电物体侧面的最大安全距离，物体距离侧面距离小于此距离，系统进行发声报警）。宽度2为:毫米，如150 表示150mm,此处为此安全距离，物体距离侧面的距离小于此安全距离时进行更高级别的报警）。宽度3为：毫米，如100 表示100mm,次距离用于消除参照带电物体本身具有一定深度或宽度范围带来的干扰）。初始状态六个输入框是锁定状态，用户需要点击设定参数按钮解锁。然后点击设定结果按钮，确认参数输入。用户可以重复输入。效果如图15所示：图15设定安全距离场景选择用户在场景选择框内，可以选择实际使用的场景。本系统可以针对两种场景予以实现。场景一：对前后左右以及上方五个面进行检测并报警。场景二：只针对前后左右进行检测并报警。效果如图13所示：图15场景选择上述四个步骤完成之后，用户选择的场景将激活系统的报警检测功能。根据输入的安全距离。检测区域内，往前后左右以及上方共5个方向予以检测，当区域内的物体（维修设备或者维修人员）超过距离，则报警提示。并根据不同的距离，发出不同的报警信