物联网数据处理.ppt

1、10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,1,物联网工程概论,主讲教师王良民 MAIL:熊书明MAIL:,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,2,第五讲内容安排,后台数据库技术数据库概述关系型数据库SQL查询语言资源受限网络的分级数据融合节点的分簇控制簇内数据融合分布式数据存储与处理数据挖掘与海计算数据仓库与数据挖掘技术云计算概述海计算的概念与未来,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,3,第五讲内容安排,后台数据库技术数据库概述关系型数据库SQL查询语言资源受限网络的分级数据融合节点的分簇控制

2、簇内数据融合分布式数据存储与处理数据挖掘与海计算数据仓库与数据挖掘技术云计算概述海计算的概念与未来,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,4,物联网数据处理,物联网中的个体通过感应器来感知信息，然后通过中间传输网来传送信息，最后在数据处理中心进行智能处理和控制。随着物联网技术的广泛应用，我们将面对大量异构的、混杂的、不完整的物联网数据。在物联网的万千终端收集到这些数据后，如何对它们进行处理、分析和使用成为物联网应用的关键。本讲对物联网中的后台数据库技术、数据挖掘技术和云计算与海计算技术逐一介绍。,10/15/2022 4:06 AM,江苏大学计算机科学与通信工

3、程学院,5,后台数据库技术,数据库是一项专门研究如何科学地组织和存储数据、如何高效地获取和处理数据的技术。主要内容：数据库的基本概念关系型数据库SQL查询语言,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,6,数据库概述,1.数据库相关的基本概念 数据（Data）是描述事物的符号记录，数字、文本、声音和图像等都是数据。数据有多种表现形式，它们都能数字化后存入计算机，数据是数据库中存储的基本对象。(1)数据库 数据库（DataBase，DB）从字面上来看，就是存放数据的仓库，只不过这个仓库是在计算机存储设备上，而且数据是按一定格式存放的。数据库是指长期存储在计算机内、有

4、组织的、可共享的大量数据的集合。数据库中的数据按一定的数据模型组织、描述和储存，具有较小的冗余度（redundancy）、较高的数据独立性（independency）和易扩展性（expandability），并可为各种用户共享。,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,7,数据库概述,(2)数据库管理系统 数据库管理系统（DataBase Management System，DBMS）是位于用户与操作系统之间的一层数据管理软件，它允许用户对数据库中的数据进行操作，并将操作结果以某种格式返回给用户。数据库管理系统和操作系统一样是计算机的基础软件，也是一个大型复杂的

5、软件系统。数据库管理系统的主要功能如下：数据定义功能数据组织、存储和管理数据操纵功能数据库的事务管理和运行管理数据库的建立和维护功能其他功能：通信功能、数据转换功能、异构数据库之间的互访和互操作的功能等。,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,8,数据库概述,(3)数据库系统 数据库系统（DataBase System，DBS）是指一个采用数据库技术的计算机存储系统。广义地讲，数据库系统是由计算机硬件、操作系统、数据库管理系统以及在它支持下建立起来的数据库、应用程序、用户和维护人员组成的一个整体。狭义地讲，数据库系统由数据库、数据库管理系统和用户组成。需要指出

6、的是，数据库的建立、使用和维护等工作只靠一个DBMS远远不够，还需要专门的人员来完成，这些人员被称为数据库管理员（DataBase Administrator，DBA）。,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,9,数据库概述,数据库系统：,数据库在计算机系统中的层次结构：,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,10,数据库概述,2.数据管理技术的产生与发展 数据库技术是应数据管理任务的需要而产生的，数据管理则是对数据进行分类、组织、编码、存储、检索和维护，它是数据处理的中心问题。数据处理是指对各种数据进行收集、存储、加工和传播

7、的一系列活动的总和。在应用需求的推动下和计算机硬件、软件发展的基础上，数据管理技术经历了三个阶段:人工管理文件系统数据库系统,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,11,数据库概述,数据库技术从20世纪60年代中期产生到现在仅仅50余年的历史，但其发展速度之快、使用范围之广是其他技术所不及的。60年代末出现了最早的数据库层次数据库，随后在70年代出现了网状数据库，在此阶段层次数据库和网状数据库占据了商用市场主流。在70年代同时出现了处于实验阶段的关系数据库，后来，随着计算机硬件性能的改善，关系系统的使用简便，关系数据库系统已逐渐替代了网状数据库和层次数据库，成

8、为当今最流行的商用数据库系统。20世纪90年代，由于计算机应用的需求，数据库技术与面向对象、网络技术相互渗透，对象数据库技术和网络数据库技术得到了深入研究。,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,12,数据库概述,数据库系统中的数据管理结构:,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,13,数据库概述,3.数据库系统的特点 数据库是在计算机内按照数据结构来组织、存储和管理大量共享数据的仓库，它可以让各种用户共享，并具有最小冗余度和较高的数据独立性。DBMS在数据库建立、运用和维护时对数据库进行统一控制，以保证数据的完整性、安全性，

9、并会在多用户同时使用数据库时进行并发控制，在发生故障时对数据库进行恢复。与人工管理和文件系统相比，数据库系统的特点主要有以下几个方面:（1）数据结构化,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,14,数据库概述,（2）数据的共享性高、冗余度低、易扩充（3）数据独立性高（4）数据由DBMS统一管理和控制,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,15,关系型数据库,关系数据库（Relational DataBase,RDB）是基于关系数据模型的数据库系统。1.关系数据库的研究与发展历程 1970年，IBM公司圣何塞研究中心的研究员E.F

10、.Codd（关系数据库之父）发表了著名的论文A Relational Model of Data for Large Shared Data Banks(大型共享数据库的关系数据模型)，开创了数据库系统的新局面。Codd提出了关系数据模型的概念，即数据库管理系统应该将数据组织成二维表（也称为关系）的形式呈现给用户。开发人员使用关系数据模型，而不必关心数据的存储结构，并可以使用高级语言来描述其查询。这样，可以大大提高数据库应用系统开发人员的工作效率。,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,16,关系型数据库,关系数据库模型的主要特点如下：(1)关系模型的概念单一

11、，实体以及实体之间的联系都用关系来表示；(2)以关系代数为基础，易于形式化表示；(3)数据独立性强，数据的物理存储和存取路径对用户隐藏；(4)关系数据库语言是非过程化的，这样可以将用户从通过编程一步一步引导查询操作执行的过程中解脱出来，大大降低了用户编程的难度。,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,17,关系型数据库,关系数据库的发展历程可以分为三个阶段:第一阶段从20世纪70年代初期E.F.Codd提出关系模型开始。这一阶段奠定了关系模型的理论基础，人们研究了关系数据库语言，并开发出了关系数据库管理系统的一些原型。其中，IBM公司的System R和加州大

12、学伯克利分校的Ingres等为这一时期的代表。第二阶段从20世纪70年代后期开始，是关系数据库的应用阶段。这一时期从理论上解决了诸如查询优化、并发控制、完整性机制和故障恢复等一系列重大技术问题，从而使得关系数据库走向实用化和商业化。在这期间，出现了比较典型的商业关系数据库管理系统如Oracle、DB2和Informix等。,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,18,关系型数据库,第三阶段从20世纪80年代开始，自那时以来，分布式关系数据库系统成为数据库研究的重点，并且日趋成熟。目前，几乎所有主流的DBMS产品都支持分布式。这个时期的代表产品有Oracle、I

13、nformix、DB2和SQL Server等。2.关系数据库的基本概念（1）关系数据结构关系模型的数据结构非常简单，只包含单一的数据结构:关系（relation）。它为人们提供了一种二维表的方法来描述数据，关系模型的中心概念为关系，一个关系由模式和模式的实例两部分构成。,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,19,关系型数据库,关系实例关系实例就是指由行和列组成的表，一般人们就用“关系”来代表关系实例。属性关系表中的列称为属性，其中表的第一行是属性名，其余各行是相应的属性值。域域是一组具有相同数据类型的值的集合。关系表中属性的取值范围就称为域。例如，属性“性

14、别”的域为“男”和“女”两个值。元组关系表中的行称为元组或记录。一般地，任意两个元组不能完全相同。所有元组的集合就是关系表本身。分量元组中的每一个属性的值称为元组的一个分量。例如，元组（001，张三，男，18，IS）有5个分量，对应“所在系”的分量是“IS”。对于同一属性，分量应该是同一类型的数据，即来自同一个域，且每一个分量都必须是不可再分的数据项。,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,20,关系型数据库,候选码如果关系中的某一属性组的值能唯一地标识一个元组，则称该属性为候选码。一个关系可以有多个候选码。在最简单的情况下，候选码只包含一个属性。而在极端情况

15、下，所有属性都是候选码，此时称为全码。主码当一个关系中有多个候选码时，则从中选择一个候选码作为主码。对于一个关系，只能有一个主码。主码是能辨识记录的最小属性组。例如，对于关系“学生”中学生ID可以作为主码。主属性和非主属性包含在候选码中的属性称为主属性，其它的为非主属性。,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,21,关系型数据库,关系模式关系名和其属性集合的组合称为关系模式。设关系名为R，其属性分别为a1、a2和a3，则关系模式可以表示为R（a1，a2，a3）。学生的关系模式可表示为：学生（学生ID，姓名，性别，年龄，所在系）。关系模式只是对数据特性的描述，因

16、此，可以将关系模式理解为一个数据类型。这样，关系实例就是一个具体的值。,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,22,关系型数据库,（2）关系操作关系模型给出了关系操作能力的说明，但不对RDBMS语言给出具体的语法要求，也就是说不同的RDBMS可以定义和开发不同的语言来实现这些操作。关系模型中常用的关系操作有查询（Query）操作和插入（Insert）、删除（Delete）及修改（Update）操作两大类。关系的查询表达能力很强，是关系操作中最主要的部分。查询操作又可以分为并（Union）、差（Except）、交（Intersection）、笛卡尔积（Cartesian Product）、投影（Project）、选择（Select）、连接（Join）和除（Divide）等。关系操作的特点是集合操作方式，即操作的对象和结果都是集合，这种操作方式也称为一次一集合（set-at-time）方式。,10/15/2022 4:06 AM,江苏大学计算机科学与通信工程学院,23,关系型数据库,并（Union）关系R与关系S各有n个属性，且相应的属性值取自同一个域（以