新数据挖掘的国内外应用同名25365.docx

1、新数据挖掘的国内外应用同名25365数据挖掘的国内外应用一、概述数据挖掘作为近年来新兴的一门计算机边缘学科，其在国内外引起了越来越多的关注。并且随着数据挖掘技术的不断改进和数据挖掘工具的不断完善，数据挖掘必将在各行各业中得到广泛的应用。数据挖掘从大量的数据中通过算法搜索隐藏于其中信息的过程。这项以数据库技术、统计分析、人工智能等为依托的综合性运用技术的出现有其必然性和可行性。首先，信息社会的到来对数据的筛选和利用提出了更高的要求，而少量数据的出现又使得基于传统数据处理方法的人们面对大量数据无从下手，此时必然要求有更为先进的数据处理技术；其次，计算机性价比的提升和磁盘存储器价格的大幅度降低，使得

2、人们借助计算机来完成数据的分析和处理成为可能。城市是生存繁衍最好的地方、是社会交往的地方、是文化享受的地方，按照城市的职能，我们让它智能化，比如智慧安防、智慧环保、智慧能源、智慧城管、智慧养老、智慧国土规划、智慧交通等都是让人有更好的环境来生存繁衍。在经济发展方面，可以推动智慧制造、工业互联网、物联网。在文化享受方面，可以考虑智慧户外流媒体、智慧教育、智慧旅游等等。李德仁院士将智慧城市定义为“智慧城市=数字城市+物联网+云计算”。其中，数字城市技术把基础地理数据、正射影像、街景影像数据、全景影像数据、三维模型数据结合在一起，这产生了大量的地图数据，而在智慧城市的建设和应用中，将产生从TB到PB

3、级越来越多的数据，从而进入大数据时代。而对于这些大数据来说，传统的数据分析工作已经不适合对现有数据进行合理的分析，导致了一种“数据爆炸但知识贫乏”的现象。目前在智慧城市中的各种应用如智慧交通，智慧国土等应用中的数据库系统主要局限于实现数据的录入、查询、统计等功能，但无法有效地发现数据中存在的关系和规则，很难把握数据背后隐藏的知识，无法根据现有的数据预测未来的趋势。这在一定程度上阻碍了智慧城市的应用与普及。而数据挖掘技术恰恰是解决这一难题的最佳方法。应用数据挖掘技术，可以从GIS数据库中发现更多的地理知识和地理规律、对专题数据进行有效、合理的分析，从而达到城市的智能运行、政府的科学决策、公众的便

4、捷生活及企业的高效运营。二、数据挖掘的国内相关应用1、智慧交通目前各中心城市用地布局已经基本确定，在中心道路不允许大规模扩建和改造的前提下，唯有依靠智能交通系统（ITS），对城市交通进行更有效的控制和管理，提高交通的机动性、安全性，最大限度地发挥现有道路资源的效率。应用数据挖掘在交通领域中的具体应用为：可以用来识别道路通行的能力并可用作未来车流量的预测依据，把抽样的数据进行类比分析得出隐藏在数据中的发展趋势，预测道路车辆流量的发展，并根据预测的结论来管理交通。另一方面可以研究各种与交通存在潜在关系的对象的数据，来识别这些影响道路运营的因素，同时演算测出各个因素的影响度，最终的目的是利用这些挖掘

5、出来的高价值信息，精确地指导交通，为城市服务。智慧交通系统中，应用数据挖掘技术较为突出的为“故障预警系统和紧急事故处理系统”。系统根据车流的排队情况预测事故，提醒闭路电视监控系统进行跟踪。在计算机中建立专家库以提供4500个应急方案，根据事故发生的情况选择应急方案，通知并指导有关部门和人员进行事故处理，快速排除事故恢复交通。计算机系统记录事故情况，并且以事故发生地为圆心在周边相关可变情报板上显示信息，调度交通。在事故解决后会自动调整可变情报板，恢复正常的交通。整个事故的处理无需进行过多的人工干预。国内的智慧城市建设虽然起步较晚，但经过政府的大力支持，也取得了一定的成就。北京、杭州、上海、青岛等

6、城市均建成了较为完善的应用系统，青岛的智慧交通建设中，应用数据挖掘技术的主要为“交通信号控制系统”及“交通执法系统”两大子系统。其中，“交通信号控制系统”不仅实现全市交通信号控制路口的集中控制、配时自动调整、协调联动、将信号灯联网，以保证各路口之间的协调控制，通过对路口的信号进行远程干预和实时、集中控制，以到达提高道路承载力和通行能力，而且通过数据挖掘技术使系统也有“自主”意识，能够自动判断单个路口前方交通拥堵情况，对路口信号灯进行缩短绿灯时间或者停止绿灯放行，避免路口发生堵死现象，同时通过自动调整各区域内各个路口信号配时方案，减少进入区域内的车流量，避免拥堵的加剧。2、城市规划规划管理信息管

7、理系统的数据挖掘基于一般的数据挖掘，是基于空间知识库、图象数据库的空间数据挖掘（SDMKD），是为规划编制、电子政务服务的数据挖掘。是基于城市规划管理信息系统。其数据特点，不仅包含城市地理信息（数字地形图、影象图等）的数据，还包含城市规划管理的数据，依据这些数据，可以发现在城市发展、城市规划管理过程中一些有用的知识，为城市规划的编制、电子政务提供服务。规划管理对数据挖掘的需求是多方面的。如：在规划编制方面，规划编制需要大量的资料收集与整理，全面了解地形、地貌、土地利用、建筑、交通、环境、市政公用设施等方面的实际情况，并在调查基础上绘制包括土地利用、道路交通、市政公用设施等内容的现状图，全面收集

8、规划范围内的社会经济资料、各类图纸及历次编制的规划文件等相关资料。面对大量的资料，特别是近年来电子图纸和电子文档占这些资料的比重不断增加，数据挖掘的作用将愈来愈大。通过空间数据挖掘、对文档的数据挖掘、对Web的数据挖掘发现的知识对规划的编制、避免规划失误将起到很大的作用。在电子政务方面，政府部门的政务公开、政府上网工程的实施，民众对政府行为监督的要求，市领导对全市城市发展、经济发展、人口分布、交通状况等情况的了解，都需要在市政府各部门的数据库中挖掘出有用、潜在的知识，支持领导的决策和满足群众的要求。在规划管理方面，如对即将进行建设的建筑周围建筑各种参数的数据挖掘，可以预见该建筑建成后，对其他建

9、筑、自身的日照、通风等影响，便于规划方案的审查。审查地下管线的路由时，对地下管线历史数据的数据挖掘，可以避开有关管线。在违法建设监察方面，城市建设必须服从城市规划，违法建设监察是城市建设和发展的重要保障。现阶段，仍依靠群众举报和监察人员的实地察看来防止违法建设的发生，依据建设规划许可证的办理情况数据和全市影像图的数据挖掘，发现违法建设的分布，指导违法监察工作的进行。3、智慧城管数据挖掘技术在智慧城管中的主要应用包括：“特种车辆管理系统”、“视频监控预警分析系统”。其中，“特种车辆管理系统”主要是利用 GPS定位、RFID、图像识别、无线通信等技术，对特种车辆进行智能识别和管理，不仅提高了工作效

10、率，也加强了管理范围和力度。通过对运行数据进行数据挖掘及分析工作，宏观地掌握车辆运输的安全状况，为管理部门制定决策提供科学依据；通过以预防为主、事前监督来降低行车事故发生率；通过信息共享，强化车辆管理手段和市场秩序，提供行业宏观调控和监管力度。“视频监控预警分析系统”通过视频监控手段，可以实现非法停车检测、无证摊贩检测、出店经营检测等。非法停车检测为监控场景中的指定区域出现车辆，并静止超过预定时间，将自动检测出这种行为，触发告警并上传路视频及快照；无证摊贩检测为：当有摊贩（一般同时包含有人和相关物体，并超过一定大小）在指定区域停留的时间过长，超过了预定义的时间长度就被认为尺无证摊贩；这些应用中

11、均应用到了视频数据挖掘技术，把安全行为进行智能分析，视频数据自动理解，从而实现视频数据自动压缩，把PB级数据压缩下来。如果计算机能做到对目标进行跟踪，这就是我们需要的，自动地对物体中的运动目标进行检测、分离、跟踪，对其行为进行有效识别，如果有了这个软件，视频数据就能充分利用，正常人的活动可以删去，只把可疑的数据留下来。4、智慧环保目前，环境形势十分严峻，环保部门存在人员缺乏、监管能力不足等问题，利用现代科学技术提高环境监管能力迫在眉睫。综合运用数字挖掘、模型技术、人工智能等先进技术实现智慧型的环保决策成为迫切需求。省环保厅数据资源的综合利用多停留在查询检索和统计功能上，并未全面有效地转化为环保

12、工作人员和管理人员所需要的具有分析和决策功能的数据。我们以数据挖掘技术为径，提升综合决策能力，通过环境时空数据挖掘分析，开展环境经济形势联合诊断与预警分析，以及基于“社会经济发展-污染减排-环境质量改善”的环境预测模式，开展环境形势分析与预测，识别经济社会发展中的重大环境问题，开展环境规划政策模拟分析，探索建立各类政策模拟分析模型系统，实现环境税、排污收费、排污权交易、生态补偿、价格补贴等手段对经济社会的影响的预测，开展环境经济政策实施的成本分析；开展环境风险源分类分级评估、环境风险区划等工作，支撑环境风险源分类分级分区管理政策的制定。5、智慧安防对于“安防”行业来讲，在平安城市、智能交通管理

13、、环境保护、危化品运输监控、食品安全监控，包括政府机构、大企业工作场所等的与网络连接的设备系统将最有可能成为最大的数据资源。随着智慧城市等工程的推进，监控摄像头已经遍布大街小巷，安防监控对高清化、智能化、网络化、数字化的要求越来越高，数据量自然也不断地迅速增加。那么，数据挖掘技术在面对“安防”行业所长生的大量非机构化数据所急需解决的核心技术为：视频浓缩检索技术，主要是利用图像处理(包括视频浓缩、摘要、复原等)、模式识别、海量数据分类存储以及搜索等技术，对海量的存储录像等原始信息进行分析和挖掘，对于目标特征、目标行为、目标间关联关系这三大类信息内容，形成各种分类的特征信息库、元数据和索引等，并提

14、供统一接口供外部应用进行搜索，以期通过有限的线索，达到案件快速关联和定位。视频图像信息库建设，目前应用比较广泛的是卡口和电警的应用。由于车牌识别技术的日趋成熟，通过车牌、车牌颜色、车身、车身颜色、车辆类型等特征识别，把车辆图片、车辆信息、车主信息、盗抢车辆库等结合起来，可以有效的进行车辆的查找、布控和案件线索搜索。而其他如视频监控录像、案件等信息如何形成统一接口查询，如何进行有效数据关联，应用不是特别广泛。为此，国内很多科研单位和智能产品公司进行了多方面探索。如清华大学、中国科学院自动化研究所，上海交通大学、浙江大学等。视频图像信息库建设和海量数据的处理、分析、检索，是提高效率的有力手段。通过

15、视频智能分析技术，把海量的视频数据进行浓缩、提取特征摘要、减少了存储空间。如1小时的视频录像，通过特征值方式的视频浓缩，可以把录像压缩到10分钟左右。同时，视频图像信息库有别于传统的关系数据库模型，针对结构化，半结构化和非结构化数据，通过数据的多个副本分布式保存方式，可以有效节约存储空间，关键数据的二次备份，使系统架构更加稳定、易扩展，并且提供安全的负载均衡和容错机制。视频图像信息库的建设，除了减少人力和搜索时间外，还可以通过搜索接口进行联网布控，对有针对性的特征图片进行匹配和模式识别，增强事前预警的功能。同时，这些系统的应用，将推动“安防”产业技术的进步和推广。6、智慧能源智慧能源是近几年兴

16、起的一个比较新的概念。响应国家节能减排号召，我们要实现能源的安全、稳定、清洁和永续利用，助力政府实现低碳目标。利用数据挖掘可以对节能监测系统运行状态数据监测与分析，运用关联规则挖掘能耗异常数据之间的关联辅助能源管理和调度人员进行评估、节电、安全检修。主要对节能监测系统运行状态数据监测与分析，运用关联规则挖掘能耗异常数据之间的关联，辅助能源管理和调度人员进行评估、节电、安全检修。7、智慧养老中国在养老服务业已经和正在累积了庞大的数据，这些数据包括医疗数据、消费数据、通信数据等，挖掘这些数据中蕴含的价值和趋势，让整个社会的养老服务真正地具有智慧，是智慧养老所要解决的。对于智慧养老项目，我国许多企业均提出了合理、有效的解决方案。如天云科技与民政部社会福利中心共建的社会养老服务和管理综合信息共享平台，其核心为天云SkyForm云平台，围绕国家养老服务体系建设和行业标准化规范管理的需要，整合各种IT及养老信息资源，通过云计算技术对养老服务信息资源进行整合管理，