物联网数据处理模型Word文档格式.docx

物联网数据处理模型Word文档格式.docx

《物联网数据处理模型Word文档格式.docx》由会员分享，可在线阅读，更多相关《物联网数据处理模型Word文档格式.docx（9页珍藏版）》请在冰豆网上搜索。

S.Haller等人[2]提出了如下的定义：

“它是这样的一个世界，物理对象可以无缝集成到信息网络，并且可以成为业务流程的积极参与者。

服务可以在网络中影响到这些‘智能对象’，找到他们的国家以及与他们向关联的任何问题，并能考虑到安全和隐私问题。

”

刘教授[3]从技术和经济的角度提出了对于IOT的想法：

“从技术的角度上讲，IOT是传感器网络的集成，包括RFID和无所不在的网络。

从经济的角度来看，这是一个开放的观念，集成了新的相关科技和应用，产品和服务，生产和市场。

物联网将会产生大量的信息。

让我们举一个例子，将超市引入一个采用RFID技术的供应链。

RFID数据的原始形态是这样的形式：

EPC，地点，时间。

EPC代表了一个RFID读者阅读的唯一标识；

地点是读者的位置；

时间是阅读发生的时刻。

这需要18个字节来储存一个RFID记录。

一个超市，大约有700000个RFID记录。

所以如果这个超市每秒都有读者在浏览，那么每秒大约产生12.6GBRFID数据流，每天将达到544TB的数据。

因此，发展有效的思想去管理、分析、挖掘RFID数据是非常必要的。

物联网数据可以分成几种类型：

RFID数据流、地址/唯一标识、描述数据、位置数据、环境数据和传感器网络数据等[1]。

它将给物联网的管理、分析、挖掘数据带来巨大的挑战。

二、相关研究

作为互联网的全新范例，对于物联网的研究还处于初级阶段。

目前，有一些物联网数据挖掘的研究，主要包括以下三个方面：

一些研究集中于管理和挖掘RFID数据流。

例如，HectorGonzalez等人[4]提出一个存储RFID数据的新奇模型，能保护对象转变同时提供重要的压缩和路径依赖总量。

RFID立方体保持了三个表：

（1）信息表，能储存产品的路径依赖信息，

（2）停留表，保存了数据所在位置信息，（3）地图表，存储用于结构分析的路径信息。

HectorGonzalez等人[5]采用流程图去表示商品的运输，并且还可以用它来多维分析商品流。

在参考文献[6]，HectorGonzalez等人提出一种压缩概率工作流，可以捕捉运动和重要的RFID流动异常。

ElioMasciari[8]研究RFID数据流的孤立点挖掘。

一些研究偏好于提问、分析和挖掘由各种IOT服务产生的对象数据运动，例如，GPS装置，RFID传感器网络，网络雷达或卫星等。

比如说，XiaoleiLi等人[7]提出一个新的框架，称为漫游，用于移动物体的异常检测。

在文献[10]，Jae-GilLee等人对运动目标的轨迹孤立点检测开发了一种分割检测框架。

Jae-GilLee等人[9]也提出了名为TraClass的新的轨迹分类思想，利用基于地区的和基于轨迹的分层聚集。

在文献[11]，对于运动目标的轨迹聚集提出了一个划分聚集框架。

其他研究是传感器数据的知识发现。

传感器网络有几个特征，例如，有限的资源，容易调配的传感器，免维护，多层跳跃和大量数据等。

所以传感器网络的数据挖掘有其自身的特征。

JoydeepGhosh[12]提出了一个一般的概率框架，在计算/记忆/电力限制约束下的监督性学习。

BetsyGeorge等人[13]提出时空传感器模型（STSG）去模拟和挖掘传感器数据。

STSG模型能够发现不同类型的模式：

位置异常模式，在每个时段集中定位和节点的未来热点。

ParisaRashidi等人[14]开放了一种对于传感器数据类型挖掘的新奇的自适应挖掘框架，以适应数据的变化。

尽管IOT对于数据挖掘有很多贡献，但都主要集中于IOT的基本内容，如传感器网络、RFID等。

作为一个全新的网络范例，IOT仍然缺乏模型和理论来指导其进行数据挖掘。

三、物联网数据挖掘模型

1、IOT多层数据挖掘模型

根据IOT式样和RFID数据挖掘框架[15]，我们提出了下面的IOT多层数据挖掘模型，如图1，将其分为四层：

数据收集层、数据管理层、事件处理层和数据挖掘服务层。

其中，数据收集层采用一些设备，例如RFID阅读器和接收器等，来收集各种智能对象的数据，分别是RFID流数据、GPS数据、卫星数据、位置数据和传感器数据等。

不同类型的数据需要不同的收集策略。

在数据采集过程中，一系列问题如节能、误读、重复读取、容错、数据过滤和通讯等，都应被妥善解决。

数据管理层适用于集中或分布式的数据库或数据仓库区管理收集的数据。

在目标识别、数据抽象和压缩后，一系列数据被保存在相应数据库或数据仓库。

例如RFID数据，原始的数据流格式是EPC、位置、时间，EPC被标记为智能对象的ID。

数据清洁后，我们能获得包含记录停留表有这样的形式（EPC、位置、进入时间、离开时间）。

之后我们利用数据仓库去储存和管理相关数据，包括信息表、停留表和地图表，称作RFID体。

基于RFID体，用户可以方便的在线分析处理RFID数据。

另外，也可以采用XML语言去表述IOT数据。

智能对象可以通过物联网数据管理层相互连接。

事件是数据、时间和其他因素的整合，所以它提供高水平的IOT处理机制。

事件处理层有效地用于分析IOT事件。

因此我们可以在事件处理层实现基于事件的提问分析。

将观察到的原始时间过滤后，就可获得复杂事件或用户关注的事件。

然后我们可以根据事件集合、组织和分析数据。

数据挖掘服务层建立在数据管理和事件处理的基础上。

各种基于对象或基于事件的数据挖掘服务，分类、预测、聚类、孤立点检测、关联分析或类型挖掘，都提供给应用。

比如：

供应链管理、库存管理和优化等。

这一层的建立模式是服务至上。

数据挖掘服务层

事件处理层

数据管理层

数据数据挖掘知识

初级事件事件过滤事件检测

数据收集层

问答器

ID标签传感器标签GPS

图1：

IOT多层数据挖掘模型

2、IOT分布式数据挖掘模型

跟一般的数据相比，IOT数据有自己的特色。

例如，IOT数据总是大规模的、分布式的、时间相关的和位置相关的。

同时，数据的来源是各异的，节点的资源是有限的。

这些特征带来了很多集中数据挖掘式样的问题。

起初，大量的IOT数据储存在不同的地点。

因此，通过中央模式很难让我们挖掘分布式数据。

第二，IOT数据很庞大需要实时处理。

所以如果我们采用中央结构，硬件中央节点的要求非常高。

第三，考虑到数据安全性、数据隐私、容错、商业竞争、法律约束和其他方面，将所有相关数据放在一起的战略通常是不可行的。

第四，节点的资源是有限的。

将数据放在中心节点的策略没有优化昂贵资源传输。

在大多数情况下，中心节点不需要所有的数据，但是需要估计一些参数。

所以我们可以在分布式节点中预处理原始数据，再将必要信息传送给接收者。

IOT分布式数据挖掘模型不仅可以解决分布式存储节点带来的问题，也将复杂的问题分解成简单的问题。

因此，高性能需求、高存储能力和计算能力都降低。

在本文中，我们提出了IOT分布式数据挖掘模型，见图2。

数据服务

基于网络的客户

Triana数据流编辑器和管理人

网格中间件

软件资源

资源代理

信息服务

硬件资源

数据挖掘网格

客户组件数据挖掘网格

数据挖掘网格高水平服务组件开发

RFT网格

执行管理

安全性

数据挖掘活动

常见运行时

增强适配器

传感器网络、无线传感网络

RDIF标签，RDIFWSAN，阅读器等

计算机簇

数据仓库,数据挖掘

应用（系统、工具、算法）

局部

调度

组件描述4

软件和硬件资源

图2：

IOT分布式数据挖掘模型

在该模型中，全局控制节点是整个数据挖掘系统的核心。

它选择数据挖掘算法和挖掘数据集合，之后引导包含这些数据集合的辅助节点。

这些辅助节点从各种智能对象收到原始数据。

这些原始数据通过数据过滤、数据抽象和压缩进行预处理，然后保存在局部数据仓库。

事件过滤，复杂事件检测和局部节点数据挖掘获得局部模型。

根据全局控制节点的需要，这些局部模型受控于全局控制节点并且聚集起来形成全局模型。

辅助节点互相交换对象数据、处理数据和信息。

基于联合管理机制的多层代理控制着整个过程。

3、IOT基于网格的数据挖掘模型

网格计算是新型的计算设备，能够实现异构、大规模和高性能应用。

同IOT，网格计算受到来自工业和研究机构的关注。

网格的基本理念就是同电力资源一样利用网格计算资源。

各种计算资源、数据资源和服务资源都可以被存取或便捷使用。

IOT的基本理念是通过互联网连接到各种智能对象。

如此智能对象变得聪明、环境敏感且远程合用。

所以我们可以认为智能对象是一种网格计算资源，使用网格数据挖掘服务去实现IOT数据挖掘操作。

P.Brezany等人[19]提出一种叫做GridMiner的基础设施，它支持分散式的在线分析处理和数据挖掘。

在文献中[20]，A.Congiusta讨论了设计方面和服从WSRF网格服务的实施选择。

在本文中，根据Stankovski,V.等人提出的数据挖掘网格[21]，我们提出了基于网格的IOT数据挖掘模型，如图3。

应用一应用二

全局模型

局部模型1

局部模型n

局部模型聚合器

数据挖掘算法

局部数据仓库

节点1节点n

问答器n

问答器1