5 火车站全时空立体可视化平台技术方案.docx

1、5 火车站全时空立体可视化平台技术方案*火车站全时空立体可视化平台技术方案北京正安融翰技术有限公司2014年 6月一、 项目建设的必要性*站是*铁路局直属客运特等站、中国最大的客运特等站之一，坐落于*。*站作为*城铁以及*高铁的始发站和终到站；东端衔接*城际轨道交通和*站，西端衔接*高速铁路、*动车段与*铁路，是集普通铁路、高速铁路、市郊铁路、城市轨道交通与公交、出租等市政交通设施于一体的大型综合交通枢纽站，总建筑面积在*平方米，目前年运量超过*亿人次，到*年*站运量每年将超过*亿人次。*站作为*地区重要交通枢纽和重点敏感区域，一旦发生安全隐患，不仅会带来巨大的经济损失，还会给国家造成重大的负

2、面政治影响，后果不堪设想。为了保障*站的安全，必须建立起一整套的现代化安防设施。视频监控已经成为感知安防的重要手段，然而由于目前监控方法的局限性，就其实际应用的广度和深度而言，目前还无法真正达到高效的应用水平。由于缺乏对前端摄像机获取的海量离散视频信息进行管理和应用的有效手段，监控视频成为事后查验的被动工具，用户无法实时动态的掌握监控区域的整体安全态势，从而不能为指挥管理人员实时分析、指挥决策提供有力的技术支撑。如何科学、有效的利用视频监控设备，建设满足应用需求的整体视频防控系统，提高警卫安保的指挥决策处置水平，同时为后期监控系统的部署提供一定的技术支持，成为*站视频监控系统急需解决的问题。二

3、、 需求分析现有视频监控系统受各种主客观因素的制约，在以下几个方面不能完全满足*站安全管理的实战需要：(1) *站重点监控区域缺少数字化三维场景模型，无法快速感知重点区域真实的三维空间信息，从而影响实际的指挥管理效能。(2) 在现有视频监控系统中，监控人员需要监控多个分镜头画面，分镜头视频监控只有局部视角，无法对大场景进行全局实时监测和把握，缺乏对海量视频信息的无缝融合集中展示，从而无法真正实现*站全场景的宏观指挥、整体关联和综合调度。(3) 在分镜头视频监控中，对可疑目标的追踪观察主要依靠操作人员手动切换，视频的切换给现场指挥人员很强的视频跳变感觉，很难对运动目标进行连续的追踪观察，同样的问

4、题也存在于基于视频资料的历史事件查找回溯中（如遗弃物、丢失行李等的追查）。一旦发生紧急情况，现场指挥人员无法及时通过监控系统观察目标在全场景中的行为整体轨迹并快速选择最佳视角对目标进行观察，从而无法为开展精确指导、精确防控、精确打击的综合管理业务工作提供强大的技术支撑。(4) 现有的分镜头视频监控系统缺乏有效的手段识别火车站多个体、多区域、跨镜头的协同活动，对大规模人流走向、密集程度、人流行动轨迹缺乏精确感知的能力，目前主要依赖人的主观判断，往往造成误判。(5) 缺乏对特定异常行为的连续智能分析、判断并进行预警提示的能力，从而影响管理部门及时决策、调整人员部署、应对突发事件的响应时间、做出及时

5、处置。针对以上问题，帮助*站管理人员建立对整个火车站及其周围环境的全景立体监控，并对全场景进行智能分析，及时发现异常行为并进行预警，这将为提高火车站的工作效率，创造一个安全、方便、快捷、高效的营运环境，提供强有力的技术支撑。三、 建设目标和建设内容1. 建设目标在充分保护*站原有投资的基础上，面向新形势下*站的实际需求，有针对性的解决*站的安全防护和安全运营管理中的关键问题，在*站重点地区构建具备全景可视、安全运行态势感知功能的全时空立体可视化平台，增强*站安全管控以及调度管理工作的直观可视化、统筹分析判断、科学动态指挥和快速反应处置能力，同时也极大提高*站的工作效率和处事反应速度，消除可能存

6、在的安全隐患，以保证旅客安全和财产安全。2. 建设内容在保护已有前端监控摄像头投资的基础上，主要通过后台监控中心的升级来提升视频监控系统的实战效能。针对边*站管控工作中具体需求，建设适用于*站的全时空立体可视化平台，将处在不同位置、具有不同视点视角的分镜头监控视频实时融合到*站重点区域三维场景模型中，实现对*站大场景的实时全局监控、局部区域精细观察和特定区域的跨镜头智能分析。数据流程如下图所示。图1 全时空立体可视化平台在上图中，右上角图片显示了视频采集过程中各个摄像机拍摄的分镜头画面，右下角图片是呈现给指挥人员的对整个监控区域的全景立体监控画面。全时空立体可视化平台建成后可以实现如下功能：(

7、1) 对*站及其周界进行三维建模，对现场环境进行直观的三维展现，实现对*站的三维数字可视化。(2) 对*站重点区域进行实时全局监控，使监控中心能够直观、实时地掌控现场全景情况，指挥人员无须了解具体监控摄像头位置及其覆盖范围，无需切换任何摄像头监控画面，在整体场景下用所需的视角对事件过程进行全时空监控。(3) 用户自定义巡航路径和巡航速度，系统遵循定制的巡航路线进行区域巡航，代替传统监控系统通过不停切换分镜头视频进行巡检的模式。(4) 动静结合实现目标锁定。将枪机与球机配合应用，实现动静结合的优化显示，对于高视点、大视野的情况，采用固定摄像机进行拼接显示，以满足“全景防护”的实际应用需求，当在全

8、景监控画面中框选出可疑目标或区域时，系统自动调用最佳位置的球机锁定该区域，并可手动调节球机焦距实现细节观察，以满足“目标锁定”的实际应用需求。(5) 针对特定重点区域进行跨镜头智能分析，根据*站具体需求，分析火车大规模人流密集程度、人流的走向，帮助科学预判提早预警，对异常行为进行智能分析并预警，及时采取应急措施。(6) 支持将历史保存的分镜头视频拼接融合到三维场景里，实现在单一画面的全景还原回溯，方便地对可疑目标进行全时空正向或反向播放搜索。(7) 能够直观展示*站地区摄像头的覆盖范围和监控盲区，从而为设计摄像头的布置方案、实现*站的无盲区规划提供直观的科学依据。四、 技术方案平台建设涉及摄像

9、机点位规划、三维建模、全景视频融合、跨镜头智能分析几部分，下面对各个部分分别进行阐述。1. 摄像机点位规划本点位规划将以某*站的全景立体监控为例进行阐述。通过现场三维建模进行摄像机规划部署，直观展示区域摄像头的覆盖范围和监控盲区，为宏观掌握重点区域可视信息，提供科学的摄像头布置规划依据，以实现摄像头资源合理布局和有效利用。提供摄像机布置方案如下：为实现*区域的全景监控，同时兼顾视频监控效果和成本，预计增加*个枪式摄像机，摄像机布点方案如下图所示。图2 摄像机部署为了对*区域从不同角度进行全景观测，在*区域*位置架设*个1080P高清摄像机：为了减少摄像机的数量，采用日夜型广角无畸变百万像素镜头

10、，摄像机参数如表1所示。表1摄像机参数名称摄像机挂高(m)焦距(mm)俯仰角度(度)水平角度(度)目标视距(m)目标视距高度(m)摄像机1摄像机2摄像机3摄像机4摄像机5针对*区域可疑目标识别困难的环境，同时*会存在比较大的遮挡，为了实现对整个区域的细节把握，在*的重点区域新增*个球机。球机位置如下图所示。图3 球机位置2. 三维建模针对监控区域的不同特点，采用不同的建模方式，对于重点区域或有条件扫描的区域进行三维全真扫描重建；对于非重点区域或不具备扫描条件的区域则可利用CAD图纸或者所有可用的图像（车载扫描图像、航扫图像、航拍图像、卫星图等）进行三维重建。（1）三维全真建模三维全真建模技术集

11、成现今最先进的3D感知设备，运用开放式激光扫描技术，可对任意尺度的3D场景进行远近程高精度测量。用户可根据具体需要，灵活调整采样精度和测量范围。整个数据采集过程可以并行、自动地完成，无需再对3D数据与其他信息（如2D图像）进行二次配准，从而在核心技术层面显著提升了数据获取的效率。同时，该技术不依赖于光照条件，可在夜间全暗环境下正常工作。在获取三维扫描数据后，得到物体模型的大量离散采样点，通过三维重建技术自动将大量离散采样点的曲面重建，从而重建绘制出真实的3D扫描场景，所有尺寸均一比一真实还原。对于拓扑结构复杂的场景，传统的手工三维建模方法无论从精度、真实度还是速度方面均无法达到要求，三维全真建

12、模技术可以完全适用于复杂环境，通过对三维大场景进行一比一的全真、自动三维重建，极大提高了三维建模的精度与效率。图4 三维扫描建模（2）其他方式三维重建对于非重点区域或不具备扫描条件的区域，可利用CAD图纸或者所有可用的图像（车载扫描图像、航扫图像、航拍图像、卫星图等）生成三维模型。研发基于CAD图纸的三维重建具有创新的特征识别技术，可直接读取CAD设计的几何尺寸，通过共形建模技术，重建出精确的三维模型。最后，可将三维模型与二维CAD设计进行几何校验，控制重建误差。在后期艺术加工和渲染上亦可实现现实照片级或超照片级效果（如下图所示）。 图5 基于CAD图纸生成的三维模型3. 全景视频融合在前端视

13、频监控点布设及联网的基础上（平台建设环境要求如第六章所述），直观地将处在不同位置、具有不同视点视角的分镜头监控摄像实时智能拼接到已重建的三维场景模型中，在单一画面中实现对监控区域范围整体大场景的实时全局监控；无需切换任何摄像机录像屏幕，便于及时指挥和处置各种突发事，大大提升视频监测系统的实用效能。本系统支持的复杂真实场景包括室内、室外、地下，可以分层显示，系统主要功能如下： 重点区域大场景监控在重点地区摄像机覆盖良好的条件下，用户可以在系统中预设观测点监控重点区域大场景，以全局视角观察重点区域的实时动态。原有的分镜头监控有如下的弊端： 对每一个镜头只能从镜头所在的视点观看图像； 每一个监控所拍

14、到的图像和周围的环境是割裂的，没有任何关系的，从而只有对周围环境十分熟悉的工作人员，才能知道所拍的位置； 每个摄像机和摄像机之间是割裂的，所拍到的图像之间没有任何的联系。全时空立体可视化平台支持从预设的全局视点观看图像，各个摄像机的图像信息之间在空间和时间上是结合到一起的，每个摄像机所拍摄的图像信息是嵌入到真实的环境中的。举例来说：这个功能对于监控可疑目标运动信息十分有用。在原有的模式下，为了更好地跟踪可疑目标，需要不断切换若干个摄像机。由于不停的切换，监控的图像是跳跃的，看到的图像也是单一、局限的，对环境不熟悉的人无法快速地锁定运动目标的物理位置，同时无法准确感知目标周边场景的状况。而且对于

15、监控操作人员来说，则必须要熟记每一个摄像机的位置信息以及覆盖范围。通过该功能可以有效地解决这个问题。拼接好的图像是大场景图像，目标是在整个大场景下运动，对于实施安保指挥调度的领导来说，可以一眼看出可疑目标的位置以及目标周边场景的状况，并且图像是连续的，而对于操作人员来说，不用再担心切换到错误的图像，造成不必要的失误。 关键路径自动巡航可自定义巡航路线，系统可自动按照事先定义好的线路、视角观察全场景，也可以调整线路和视角来观察全场景中的局部场景。原有分镜头视频监控系统，只能按照每一个分镜头的位置描述信息在矩阵上切换不同视频，以实现巡航的功能。这样做，视角单一，和物理环境没有关联，容易造成遗漏。而

16、且对于操作人员来说，则必须要熟记辖区内的每一个摄像机的位置信息以及覆盖范围。而自动巡航功能，可以自动地按照路径进行连续的自动巡航，不用进行任何人为地切换，只要摄像头相对场景覆盖完整，则不会造成遗漏。既保障了对重点区域全天候不间断的巡航监测，又节省了人力，同时平台显示的大场景画面，明显优于人员小范围巡逻，便于及时发现问题、快速处置问题。 二维/三维信息关联平台支持三维全景视频、二维全局地图和分镜头的同步显示，摄像机的位置和覆盖区域以及用户当前观察点的位置均可显示在二维地图上。这样就形成了全局与局部、二维与三维的有机结合，解决了传统分镜头画面与真实场景无法对应，只能依靠查看摄像机点位表查找摄像机位

17、置的问题。 摄像机反向关联在三维场景里或二维全局地图上选中所需要观测的目标或地理位置，系统将自动关联到所有照射到该目标或区域的监控摄像机，以供用户选择最佳的摄像机。原有单镜头的监控系统中，无法实现该功能，但是在实际应用中，这个功能可以极大地提高工作人员的效率。例如，当工作人员通过监控系统发现了某个可疑人并希望将其锁定，由于当前摄像机的位置关系，可能无法看清其特征，要想获取该可疑人员的特征信息，就必须知道位于该可疑人员的正面方向是否有摄像机，且需知道该摄像机的覆盖角度及范围。否则，我们将无法及时切换到该摄像机以获取视频信息。在原有单镜头的监控系统中，我们即便知道这个可疑人员可能被多个摄像机拍摄到

18、，但是由于摄像机的位置不同，同样工作人员无法迅速找到最佳的摄像机以获取该可疑人员尽可能多的信息。利用本系统的反向关联功能，选定该可疑人员，即可马上获取所有可以拍到该可疑人员的摄像机信息，从而为监管人员快速决策提供有效工具。 球机协同追视实际应用环境中，需要对视频中出现的可疑目标进行精细观察。监控点位配置为枪机与高速球机的配合应用，系统将场景内所有球机关联融合于三维全景监控中，突破传统球机联动概念，以全景监控中的事件目标为驱动，有的放矢地关注细节，实现纵览全局和细节把控的有机结合。操作人员无需预知球机的位置、数量及其控制范围，无需以球机为操作对象，系统自动地调度事件周边的多个球机，全方位、多角度

19、快速捕捉出细节画面。结合智能分析功能或其他系统报警提示，当在*区域发现异常行为时，我们可以通过点击视频中异常事件所在位置快速调度相关球机进行细节观察和验证。下图为球机协同追视示意图。图6 球机协同追视 全景历史事件回溯在存储中读入多个摄像机的历史视频，将历史视频可视化到整体三维场景里，实现在全时空环境下正向或反向播放搜索。在全场景摄像机覆盖良好的前提下，通过时空的关联对比，可以将历史事件进行整体跨镜头的回放和查询，能够直观的、全景的呈现历史事件的发生始末。这就明显优于传统视频监控需要针对多个分镜头进行逐一回放和查询、且画面支离破碎的效果。同时，这套技术还提供全景倒播功能，在三维空间中直观进行倒

20、序查看全景历史视频，大大提升了事件查询效率。 监控盲区查询、补点规划提供有效的分析监控盲区工具，对摄像机资源进行优化布置，提升摄像资源的应用效能。传统的视频无盲区规划是依靠设计人员的经验，无法做到准确覆盖且验证困难。而全时空立体可视化平台是将处在不同位置、具有不同视点视角的分镜头监控图像拼接到三维场景中，在单一画面中能够清晰显示现有摄像机的覆盖范围并准确界定盲区范围。进而可以对覆盖到紧邻盲区的摄像机进行调整或者增加摄像机，以便达到对监控区域的全覆盖。如下图所示，左图为分镜头画面，右图是拼接后的全景立体画面，其中高亮部分为实时视频，灰暗部分为盲区。图7 监控盲区查询、补点规划4. 跨镜头智能分析

21、根据*站重点区域的具体业务要求，针对特定区域提供跨镜头全局智能分析功能，突破传统视频监控系统中仅仅针对单一分镜头进行智能分析的局限；并结合全景立体监控，将智能分析结果与全景融合视频无缝对接，辅助调度人员更有效进行调度和管理，提高对异常事件的响应速度。具体功能如下，相关功能指标根据具体场景区域确定。 人流/车流密度估计对整体场景下人流/车流密度进行统计，以动态密度图的形式展示给用户，通过区域颜色表示密度等级，用户可以直观有效地对监控区域中的人流/车流进行宏观把握,一旦发现某个区域人流密度较大，系统即可将三维全景立体监控画面切换到该区域，观察关注区域及周边的全景视频，对指挥人员控制区域内大规模人流

22、疏散、预防拥挤踩踏、做出有效应急指挥部署有重要意义。图8 密度估计该功能正常运行所需的现场环境如下： 正常光源照明情况； 环境中无重大光噪声； 在当前训练样本条件下； 场景内光照稳定，环境无重大突变； 场景内有正常的人流经过； 监控头位置未发生改变。 禁区拌线检测实现跨镜头设置禁区警戒线的智能报警功能，在全场景中设置虚拟的多镜头无缝衔接的警戒线段，并配置相应规则（如运动方向），当目标依特定方向跨越警戒线段时，系统对该目标进行报警定位，并进行突出显示；此外，工作人员根据需要可以灵活设置警戒线，警戒线可布、可撤、可调。下图展示了拌线检测的一个示例，在该场景中，黄线所示区域为警戒线，当运动物体非法进

23、入该区域时，系统自动检测出非法入侵行为并实时报警，从而帮助工作人员快速发现和处置入侵行为。图9 禁区拌线检测该功能正常运行所需的现场环境如下： 正常光源照明情况； 环境中无重大光噪声； 场景内光照稳定，环境无重大突变； 运动目标不少于50个像素； 监控头位置未发生改变。 跨镜头目标跟踪针对特定区域全场景的定制开发跨镜头目标跟踪功能，突破传统分镜头系统缺乏镜头之间的空间关系的局限，对目标跨镜头行为进行有效分析并进行全场景定位，在三维空间直观观察运动目标的连续运动轨迹。该功能正常运行所需的现场环境如下： 正常光源照明情况； 环境中无重大光噪声； 场景内光照稳定，环境无重大突变； 目标运动通畅（无拥

24、堵）、目标间距大于3.5米，无遮挡； 运动目标不少于120个像素； 监控头位置未发生改变。 异常速度检测针对监控重点区域自动识别异常速度。在摄像机监控范围内，设定检测区域，当运动目标（如行人、车辆）在检测区域内超过（或低于）预设速度运动，在目标密度较低的情况下，即可实时检测到，自动产生报警，并用告警框标识出目标，提醒相关人员注意、及时处置，大大提高视频监控系统的指挥效能。下图展示了异常速度检测的一个示例，在该广场区域中禁止机动车和非机动车进入，当检测到运动目标速度大于预设值，系统自动报警，并用红色方框标识出该目标，从而帮助工作人员快速发现和处置异常行为。图10 异常速度检测该功能正常运行所需的

25、现场环境如下： 正常光源照明情况； 环境中无重大光噪声； 人流密度处于中度及其以下环境； 运动目标大小高于150个像素点且无遮挡； 场景内光照稳定，环境无重大突变； 监控头位置未发生改变。 遗留物检测根据实际的业务需求开发针对重点区域的遗留物检测功能，一旦发现目标区域内有目标遗留或静止超过预设的时间后（时间可自定义），立即报警，并用告警框标识出该目标的位置。该功能正常运行所需的现场环境如下： 环境中无重大光噪声及明显光影变化； 场景内环境无重大突变； 摄像头静止，如果发生偏移，将有一定时间的恢复期； 目标的像素点数量大于70个像素； 人流密度处于低度环境； 监控头位置未发生改变。 人流逆行分析

26、对监控视频中的人流趋势进行学习，标记出人流运动方向，分析多个体、多区域、跨镜头的人群协同活动，及时发现人群流向趋势的逆向运动情况并报警，实现对人群流向趋势异常的有效监测，提高应急响应速度。该功能正常运行所需的现场环境如下： 正常光源照明情况； 环境中无重大光噪声； 场景内光照稳定，环境无重大突变； 场景内有正常的人流经过，感兴趣区域（ROI）内的人个数与区域面积的比值大于80%； 监控头位置未发生改变。五、 平台部署本项目拟针对*站重点区域建设一套先进、实用的全时空立体可视化平台，下面对平台整体架构和硬件部署分别进行阐述。1. 软件平台架构平台架构如下图所示。图11 平台架构图全时空立体可视化

27、平台由以下系统组成：1三维全真建模服务该部分对*重点区域自动三维全真重建，重建得到的三维全真场景模型是实现后续立体全息监控系统的基础。具体包括三部分：三维点云数据获取服务、自动曲面重建服务、摄像头布置优化服务。2视频接入系统该系统实现对摄像头数据的接入控制、解码、压缩和转发功能，根据不同的摄像头型号做定制开发，并将其转换成统一的TS流格式，方便后续处理。系统包括四个模块：视频接入混合控制模块、视频解码模块、视频压缩模块、视频转发模块。3立体全息监控基础服务系统系统实现全时空立体可视化平台的基本的控制与管理，用于驱动立体监控场景及动态视频，为实现平台可视化功能和视频存储提供基础服务。系统包括三个

28、子系统：网络控制与管理子系统（包括网络状态监控模块和多用户请求服务控制模块）主要完成平台的网络控制与管理功能。立体拼接子系统（包括立体监控视频管理模块、立体监控核心引擎模块、全场景实时智能拼接模块、全场景视角任意切换模块、全景视频输出接口模块）主要实现平台核心基础功能：(1) 立体拼接：将各个分镜头视频实时动态的拼接融合到*重点区域的三维全真模型中；(2) 为后续的智能分析做基本的智能分析预处理，为全景智能分析系统的实现奠定基础。视频存储子系统（包括视频同步存储控制模块和视频存储服务模块）实现基本的视频存储控制功能。4立体全息监控应用系统系统实现用户资源管理、预设全局观测点、自动巡航、二维/三

29、维信息关联、反向关联和历史回溯等主要功能以及输出管理。系统包括四个子系统：用户和资源管理子系统（包括用户应用服务控制模块和摄像头可视管理调用模块）主要完成用户和摄像头资源的管理功能。立体全息可视化控制子系统（包括预设全局观测点模块、巡航路线定制模块、2D/3D同步控制模块、反向关联模块和历史回溯反查模块）实现立体全息的预设全局观测点、自动巡航、二维/三维信息关联、反向关联和历史回溯功能。输出管理子系统（包括显示输出与接口扩展模块、双屏显示控制模块）用于管理平台的输出显示。多核并行计算子系统（包括实时拼接并行计算模块和实时渲染并行计算模块）为保证监控视频的实时处理性能提供并行计算，以满足拼接和显

30、示的实时性要求。5. 球机协同追视系统根据实际业务需求，定制开发针对特定区域的球机协同追视系统，用于实现对场景细节信息的精细观察。该系统包括三个模块：球机通道配置模块、球机调度管理模块、球机操作显示模块。6. 全景智能分析系统根据具体业务要求，针对特定区域，定制开发跨镜头视频智能分析系统。2. 硬件部署全时空立体可视化平台硬件由视频资源接入服务器、高性能图形服务器、视频存储管理服务器、磁盘阵列、球机联动控制服务器、智能分析服务器以及千兆以太网交换机组成，硬件拓扑结构如下图所示。智能分析服务器图12 平台硬件部署拓扑图平台包含下面几类服务器，各服务器的作用如下： 视频资源接入服务器：实现对全场景

31、范围内所有视频流的资源管理控制和预处理。 高性能图形服务器：完成前端固定摄像机采集的监控视频与三维模型的拼接融合，实现全景立体监控。实现了大场景监控、定制巡航、二维/三维信息关联、摄像机反向关联、历史视频以全景方式回溯反查功能等立体可视化控制。 监控视频存储服务器（包括视频存储管理服务器和磁盘阵列）：监控视频控制存储。 球机联动控制服务器：实现球机快速目标捕获，即根据监控人员选中所需要观测的目标或区域，系统自动调用最佳位置球机锁定该区域。 智能分析服务器：实现针对特定区域的跨镜头视频智能分析。全时空立体可视化平台既可以实现大视野的实时视频全景立体监控，又可以实现历史视频的全景回溯，同时通过调用球机可以实现对局部细节的精细观察，通过智能分析实现*站重点区域跨镜头智能分析。实时视频通过视频资源接入服务器接入到平台中，在