物联网数据处理模型.docx

1、物联网数据挖掘模型的研究中国宁波，浙江大学宁波理工学院Shen Bin中国杭州，浙江大学管理学院Liu Yuan，Wang Xiaoyi摘要在这篇论文中，我们提到了四种物联网数据挖掘模型，分别是多层数据挖掘模型、分布式数据挖掘模型、基于网格的数据挖掘模型和多层技术集成角度的数据挖掘模型。其中，多层数据挖掘模型包含四层：1）数据收集层，2）数据管理层，3）事件处理层，4）数据挖掘服务层。分布式数据挖掘模型可以解决数据存放在不同地点的问题。基于网格的数据挖掘模型使网格框架实现数据挖掘功能。多层技术集成角度的数据挖掘模型描述了未来网络的相应框架。并且讨论了一些IOT数据挖掘的重要问题。关键词物联网，

2、数据挖掘模型，RFID技术一、 介绍物联网（IOT）是下一代网络，包含上万亿节点来代表各种对象，从无所不在的小型传感器设备，掌上的到大型网络的服务器和超级计算机集群23。它是继电脑和网络革命之后的又一场科技革命。它集成了新的计算和通讯技术（如传感器网络，RFID技术，移动技术，实时定位，普遍存在计算和IPV6等）和建立下一代互联网的发展方向。IOT是IBM公司提出的智能星球的核心。物联网的智能对象（如传感器输入、制动器等）可以通过基于新信息和通讯技术的网络来通信。S. Haller等人2提出了如下的定义：“它是这样的一个世界，物理对象可以无缝集成到信息网络，并且可以成为业务流程的积极参与者。服

3、务可以在网络中影响到这些智能对象，找到他们的国家以及与他们向关联的任何问题，并能考虑到安全和隐私问题。”刘教授3从技术和经济的角度提出了对于IOT的想法：“从技术的角度上讲，IOT是传感器网络的集成，包括RFID和无所不在的网络。从经济的角度来看，这是一个开放的观念，集成了新的相关科技和应用，产品和服务，生产和市场。”物联网将会产生大量的信息。让我们举一个例子，将超市引入一个采用RFID技术的供应链。RFID数据的原始形态是这样的形式：EPC，地点，时间。EPC代表了一个RFID读者阅读的唯一标识；地点是读者的位置；时间是阅读发生的时刻。这需要18个字节来储存一个RFID记录。一个超市，大约有

4、700000个RFID记录。所以如果这个超市每秒都有读者在浏览，那么每秒大约产生12.6GBRFID数据流，每天将达到544TB的数据。因此，发展有效的思想去管理、分析、挖掘RFID数据是非常必要的。物联网数据可以分成几种类型：RFID数据流、地址/唯一标识、描述数据、位置数据、环境数据和传感器网络数据等1。它将给物联网的管理、分析、挖掘数据带来巨大的挑战。二、 相关研究作为互联网的全新范例，对于物联网的研究还处于初级阶段。目前，有一些物联网数据挖掘的研究，主要包括以下三个方面：一些研究集中于管理和挖掘RFID数据流。例如，Hector Gonzalez等人4提出一个存储RFID数据的新奇模型

5、，能保护对象转变同时提供重要的压缩和路径依赖总量。RFID立方体保持了三个表：（1）信息表，能储存产品的路径依赖信息，（2）停留表，保存了数据所在位置信息，（3）地图表，存储用于结构分析的路径信息。Hector Gonzalez等人5采用流程图去表示商品的运输，并且还可以用它来多维分析商品流。在参考文献6，Hector Gonzalez等人提出一种压缩概率工作流，可以捕捉运动和重要的RFID流动异常。Elio Masciari8研究RFID数据流的孤立点挖掘。一些研究偏好于提问、分析和挖掘由各种IOT服务产生的对象数据运动，例如，GPS装置，RFID传感器网络，网络雷达或卫星等。比如说，Xia

6、olei Li等人7提出一个新的框架，称为漫游，用于移动物体的异常检测。在文献10，Jae-Gil Lee等人对运动目标的轨迹孤立点检测开发了一种分割检测框架。Jae-Gil Lee等人9也提出了名为TraClass的新的轨迹分类思想，利用基于地区的和基于轨迹的分层聚集。在文献11，对于运动目标的轨迹聚集提出了一个划分聚集框架。其他研究是传感器数据的知识发现。传感器网络有几个特征，例如，有限的资源，容易调配的传感器，免维护，多层跳跃和大量数据等。所以传感器网络的数据挖掘有其自身的特征。Joydeep Ghosh12提出了一个一般的概率框架，在计算/记忆/电力限制约束下的监督性学习。Betsy

7、George等人13提出时空传感器模型（STSG）去模拟和挖掘传感器数据。STSG模型能够发现不同类型的模式：位置异常模式，在每个时段集中定位和节点的未来热点。Parisa Rashidi等人14开放了一种对于传感器数据类型挖掘的新奇的自适应挖掘框架，以适应数据的变化。尽管IOT对于数据挖掘有很多贡献，但都主要集中于IOT的基本内容，如传感器网络、RFID等。作为一个全新的网络范例，IOT仍然缺乏模型和理论来指导其进行数据挖掘。三、 物联网数据挖掘模型1、 IOT多层数据挖掘模型根据IOT式样和RFID数据挖掘框架15，我们提出了下面的IOT多层数据挖掘模型，如图1，将其分为四层：数据收集层、

8、数据管理层、事件处理层和数据挖掘服务层。其中，数据收集层采用一些设备，例如RFID阅读器和接收器等，来收集各种智能对象的数据，分别是RFID流数据、GPS数据、卫星数据、位置数据和传感器数据等。不同类型的数据需要不同的收集策略。在数据采集过程中，一系列问题如节能、误读、重复读取、容错、数据过滤和通讯等，都应被妥善解决。数据管理层适用于集中或分布式的数据库或数据仓库区管理收集的数据。在目标识别、数据抽象和压缩后，一系列数据被保存在相应数据库或数据仓库。例如RFID数据，原始的数据流格式是EPC、位置、时间，EPC被标记为智能对象的ID。数据清洁后，我们能获得包含记录停留表有这样的形式（EPC、位

9、置、进入时间、离开时间）。之后我们利用数据仓库去储存和管理相关数据，包括信息表、停留表和地图表，称作RFID体。基于RFID体，用户可以方便的在线分析处理RFID数据。另外，也可以采用XML语言去表述IOT数据。智能对象可以通过物联网数据管理层相互连接。事件是数据、时间和其他因素的整合，所以它提供高水平的IOT处理机制。事件处理层有效地用于分析IOT事件。因此我们可以在事件处理层实现基于事件的提问分析。将观察到的原始时间过滤后，就可获得复杂事件或用户关注的事件。然后我们可以根据事件集合、组织和分析数据。数据挖掘服务层建立在数据管理和事件处理的基础上。各种基于对象或基于事件的数据挖掘服务，分类、

10、预测、聚类、孤立点检测、关联分析或类型挖掘，都提供给应用。比如：供应链管理、库存管理和优化等。这一层的建立模式是服务至上。数据挖掘服务层事件处理层数据管理层 数据 数据挖掘 知识 初级事件 事件过滤 事件检测 数据收集层问答器 ID标签 传感器标签 GPS图1：IOT多层数据挖掘模型2、 IOT分布式数据挖掘模型跟一般的数据相比，IOT数据有自己的特色。例如，IOT数据总是大规模的、分布式的、时间相关的和位置相关的。同时，数据的来源是各异的，节点的资源是有限的。这些特征带来了很多集中数据挖掘式样的问题。起初，大量的IOT数据储存在不同的地点。因此，通过中央模式很难让我们挖掘分布式数据。第二，I

11、OT数据很庞大需要实时处理。所以如果我们采用中央结构，硬件中央节点的要求非常高。第三，考虑到数据安全性、数据隐私、容错、商业竞争、法律约束和其他方面，将所有相关数据放在一起的战略通常是不可行的。第四，节点的资源是有限的。将数据放在中心节点的策略没有优化昂贵资源传输。在大多数情况下，中心节点不需要所有的数据，但是需要估计一些参数。所以我们可以在分布式节点中预处理原始数据，再将必要信息传送给接收者。IOT分布式数据挖掘模型不仅可以解决分布式存储节点带来的问题，也将复杂的问题分解成简单的问题。因此，高性能需求、高存储能力和计算能力都降低。在本文中，我们提出了IOT分布式数据挖掘模型，见图2。数据服务

12、基于网络的客户Triana数据流编辑器和管理人 网格中间件 软件资源资源代理信息服务 硬件资源 数据挖掘网格客户组件 数据挖掘网格 数据挖掘网格高水平服务 组件开发信息服务RFT网格执行管理安全性数据挖掘活动常见运行时增强适配器增强适配器 传感器网络、无线传感网络RDIF标签，RDIF WSAN，阅读器等计算机簇 数据仓库,数据挖掘应用（系统、工具、算法）计算机簇局部调度 计算机簇 计算机簇 组件描述4 软件和硬件资源 图2：IOT分布式数据挖掘模型在该模型中，全局控制节点是整个数据挖掘系统的核心。它选择数据挖掘算法和挖掘数据集合，之后引导包含这些数据集合的辅助节点。这些辅助节点从各种智能对象

13、收到原始数据。这些原始数据通过数据过滤、数据抽象和压缩进行预处理，然后保存在局部数据仓库。事件过滤，复杂事件检测和局部节点数据挖掘获得局部模型。根据全局控制节点的需要，这些局部模型受控于全局控制节点并且聚集起来形成全局模型。辅助节点互相交换对象数据、处理数据和信息。基于联合管理机制的多层代理控制着整个过程。3、 IOT基于网格的数据挖掘模型网格计算是新型的计算设备，能够实现异构、大规模和高性能应用。同IOT，网格计算受到来自工业和研究机构的关注。网格的基本理念就是同电力资源一样利用网格计算资源。各种计算资源、数据资源和服务资源都可以被存取或便捷使用。IOT的基本理念是通过互联网连接到各种智能对象。如此智能对象变得聪明、环境敏感且远程合用。所以我们可以认为智能对象是一种网格计算资源，使用网格数据挖掘服务去实现IOT数据挖掘操作。P. Brezany等人19提出一种叫做GridMiner的基础设施，它支持分散式的在线分析处理和数据挖掘。在文献中20，A. Congiusta讨论了设计方面和服从WSRF网格服务的实施选择。在本文中，根据Stankovski, V.等人提出的数据挖掘网格21，我们提出了基于网格的IOT数据挖掘模型，如图3。应用一 应用二全局模型局部模型1局部模型n局部模型聚合器数据挖掘算法数据挖掘算法局部数据仓库局部数据仓库节点1 节点n 问答器n问答器1