技术基础篇数据处理(第三讲)PPT文件格式下载.ppt

技术基础篇数据处理(第三讲)PPT文件格式下载.ppt

《技术基础篇数据处理(第三讲)PPT文件格式下载.ppt》由会员分享，可在线阅读，更多相关《技术基础篇数据处理(第三讲)PPT文件格式下载.ppt（75页珍藏版）》请在冰豆网上搜索。

将某种计算机装置、测试装置等直接与电子数据处理系统相联接，将所需数据直接送入计算机处理系统，由计算机直接处理。

2.数据加工处理

（1）数据的转换和录入l数据转换：

也叫数据的预处理，是将采集到的原始数据通过一定手段转换成适合于计算机处理的形式，使数据代码化。

原始数据的分类：

数值型数据：

由数字字符组成，可直接进行数据录入文字信息或特定符号：

必须预先经过“编码”处理才能录入l数据录入方法：

传统手工方法；

源数据自源数据自动化方法。

动化方法。

（2）数据分类和合并l分类：

根据一定顺序将无序的数据元素序列调整成为一个有序序列，也就是将数据元素按某一关键字进行排序，形成一个有序文件。

l合并：

将两个或多个简单有序集合中的数据项目按同样的顺序连接成一个有序集合。

3.数据传输数据传输有两层含义实现数据资源的共享与交换数据处理结果的输出如：

利用计算机通信网络共享各网点的数据资源。

常以报告、文件图表等形式输出给各用户，并传送到各部门。

4.数据存储l数据存储：

是对原始待加工的数据及已加工的各种信息的储存涉及的两个问题物理存储：

将数据存储在适当的介质上逻辑组织：

按数据逻辑内在联系和使用方式，把数据组成合理的结构5.数据管理数据管理就是对数据的更新和维护，也就是指对原文件中的记录或数据项进行修改、插入（增加）、删除及数据存储的调整，数据正确性的检查和安全性的保证等。

更新过程录入更新更新新文件更新文件旧文件6.数据检索l数据检索即从计算机存储数据中查找和选取所需要的数据l采用何种方式检索，取决于数据存储的形式数据处理的核心是数据处理的核心是数据收集和数据管理数据收集和数据管理三、文件组织只有将数据有序地组织起来，才能对数据进行有效地处理。

1.数据组织的层次数据组织的层次数据按照层次方式进行组织由（位、字节、）字段、记录、文件、数据库（、数据仓库）组成n位（Bit）:

是计算机中最小的数据单位，其值为0或1，是一个二进位，表示一个导通或未通的电（光）路。

n字节（Byte）:

是由若干位组成的，代表一个字符。

字符是信息的最基本构架。

n字段（Field，也称数据项）。

多个字符组成一个词或者一个完整的数字（如人名或年龄）字段是数据的最小单位，它不能再分成有意义的单位n记录（Record）:

由与某个特殊对象或活动有关的所有字段组成。

n文件（File）同一类型的所有记录组成一个文件文件就是与某个特定主题相关的数据记录的集合。

n数据库（Database）:

逻辑相关文件的集合。

n数据仓库（Datawarehouse）:

由多个数据库中的信息抽取组合构成。

（字母J的ASCII码）数据的层次数据的层次举例举例文件字节字段记录01001010900811刘汉云2000-9-4位0，1数据库刘汉云项目数据库包含：

职员编号、姓名、聘用日期职员文件（名字字段）职员文件部门文件财务文件900811刘汉云2000-9-4900206李卓宇2002-7-2910810张昕阳2001-8-22.文件的组织方式文件是数据库组织的基础，任何对数据库的操作最终均转化为对数据文件的操作。

文件的组织方式直接影响整个信息系统的效率。

（1）概念）概念文件的组织方式是指文件中的记录或数据在存储介质上的排列方式。

一般按其内部结构大致分为串行组织、顺序组织、随机组织、索引组织、倒排组织和链表组织等方式。

（2）分类n串行组织串行组织l是最简单的一种文件组织形式，它将记录按出现的顺序一个接一个地存放在存储器的某个区中，取用某个记录时只能顺序扫描整个文件。

l较多用于计算机运行过程中产生的暂时文件以及存档文件。

l适用于磁带存储器。

l串行组织文件简称为串行文件。

n顺序组织顺序组织l指文件中各记录根据关键字（值）以升序或降序的形式存放在存储介质上的组织形式。

l是经过整理的串行文件。

l数据记录的逻辑顺序和物理顺序是一致的。

l其存取只能以顺序方式进行，不能任意对某个记录进行直接存取。

l适用于拥有大量记录，且变化不频繁的文件；

也适用于成批数据顺序存取的场合。

l可存储在顺序介质和随机存取介质上。

l顺序组织文件简称顺序文件。

n随机组织随机组织l指文件中各个记录与其在存储介质上的存放位置之间毫无关系的组织方式。

l用一种算法将记录的键值转换为一个近乎随机的数，根据这个确定记录在存储器上的位置。

l只要确定了某个记录的存储地址（记录键），就可以直接对其进行存取，不必考虑与其他记录之间的顺序关系。

l只能存储在磁盘等随机存储设备上，不能存储在磁带等顺序存储设备上。

l可用于联机处理的场合，实现快速地对数据进行随机存取及查询；

不适用于文件中大部分记录都需要处理的情况。

l随机组织文件简称为随机文件。

n索引组织索引组织l是把文件中识别各个记录的关键字集中在一起组成一个目录文件（即索引表）的组织方式。

l由索引表（简称索引）与主文件两个部分组成。

l适用于批处理及联机处理。

l优点是既可用于顺序操作，也可用于随机操作l缺点是当文件量较大时，目录文件增多，所占存储空间增大。

l索引组织文件简称索引文件n倒排文件倒排文件l是对每个辅关键字都设立一个索引，每种关键字值对应一个索引项，将具有相同关键字值记录地址都保存在相应的索引项中的组织方式。

l倒排组织中，记录有多个键值，根据这些键值来确定一个记录。

l可以把倒排组织文件视为“多键值索引文件”。

l倒排组织文件简称倒排文件n链表组织链表组织l是记录之间互相用指针连接的组织方式。

l指针是特殊的数据项，指出另一记录在存储器上的位置，同时也反映了数据记录之间的联系，它不代表任何属性。

l一组记录可提供几组指针，形成不同的逻辑文件，存取记录十分方便。

l链表组织文件简称链表文件。

第七章第七章数据库技术数据库技术教学目的及要求教学目的及要求熟悉数据库系统的结构，实体、属性和联系，熟悉数据库系统的结构，实体、属性和联系，数据库设计的四个阶段；

数据库设计的四个阶段；

了解一定的数据库开发技术了解一定的数据库开发技术第七章第七章数据库技术数据库技术一、数据库系统的产生一、数据库系统的产生1.人工处理阶段（50S中期以前）l没有软件支持，程序员直接管理数据。

没有软件支持，程序员直接管理数据。

l数据保存在处理程序中或随程序执行人机交数据保存在处理程序中或随程序执行人机交互地输入，数据处理后将结果输出，最后数互地输入，数据处理后将结果输出，最后数据和程序占据的内存空间被一起释放。

据和程序占据的内存空间被一起释放。

l只有程序文件的概念，数据的组织方式由程只有程序文件的概念，数据的组织方式由程序自行设计和安排。

序自行设计和安排。

l问题：

编程效率低，程序依赖数据，不灵活，问题：

编程效率低，程序依赖数据，不灵活，容易出错。

容易出错。

人工管理方式应用程序A文件A应用程序B文件B应用程序C文件C2.文件管理阶段（50S后期）l程序与数据具有设备独立性，可长期保存在外程序与数据具有设备独立性，可长期保存在外存储器上，构成程序文件和数据文件。

存储器上，构成程序文件和数据文件。

l数据不属于某个特定的程序，允许重复使用。

数据不属于某个特定的程序，允许重复使用。

l数据文件的结构仍取决于特定的应用，程序与数据文件的结构仍取决于特定的应用，程序与数据间的依赖关系并未根本改变。

数据间的依赖关系并未根本改变。

l缺点：

数据冗余，数据文件间缺乏联系，修改缺点：

数据冗余，数据文件间缺乏联系，修改时容易导致数据的不一致性；

数据文件面向应时容易导致数据的不一致性；

数据文件面向应用，当数据结构改变时，程序维护便成为系统用，当数据结构改变时，程序维护便成为系统的主要矛盾。

的主要矛盾。

文件管理方式文件管理方式程序程序A程序程序C程序程序B文件管文件管理系统理系统文件文件B文件文件C文件文件A1文件文件A23.数据库阶段（60S后期）l数据库技术的出现标志着数据资源管理进入数据库阶段。

数据库系统的出现，使数据管理进入了一个新阶段。

l由于使用数据库管理系统来专门管理数据，实现了数据与程序的真正独立性，并且最大限度地降低了数据的冗余度。

l充分实现数据在不同应用中的共享，且能并发地使用数据，对数据的安全保密和完整性也有了保证措施。

数据库管理方式数据库管理方式程序程序A程序程序C程序程序B数据库数据库管理系统管理系统数数据据库库人工管理人工管理文件系统文件系统数据库系统数据库系统背背景景应用背景应用背景科学计算科学计算科学计算、管理科学计算、管理大规模管理大规模管理硬件背景硬件背景无直接存取存储设无直接存取存储设备备磁盘、磁鼓磁盘、磁鼓大容量磁盘大容量磁盘软件背景软件背景没有操作系统没有操作系统有文件系统有文件系统有数据库管理系统有数据库管理系统处理方式处理方式批处理批处理联机实时处理联机实时处理批批处理处理联机实时处理联机实时处理,分布分布处理批处理处理批处理特特点点数据的管理者数据的管理者人人文件系统文件系统数据库管理系统数据库管理系统数据面向的对象数据面向的对象某一应用程序某一应用程序某一应用程序某一应用程序整个应用系统整个应用系统数据的共享程度数据的共享程度无共享无共享,冗余度极大冗余度极大共享性差共享性差,冗余冗余度大度大共享性高，冗余度小共享性高，冗余度小数据的独立性数据的独立性不独立，完全依赖不独立，完全依赖于程序于程序独立性差独立性差具有高度的物理独立性具有高度的物理独立性和逻辑独立性和逻辑独立性数据的结构化数据的结构化无结构无结构记录内有结构，记录内有结构，整体无结构整体无结构整体结构化，用数据模整体结构化，用数据模型描述型描述数据控制能力数据控制能力应用程序自己控制应用程序自己控制应用程序自己控应用程序自己控制制由数据库管理系统提供由数据库管理系统提供数据安全性、完整性、数据安全性、完整性、并发控制和恢复能力并发控制和恢复能力数据库系统数据库系统数据库系统：

数据库系统：

数据库与数据库管理系统数据库与数据库管理系统的有机结合的有机结合;

1.数据库：

逻辑上相关的记录和文件的集合。

数据库：

2.数据库管理系统：

是一组计算机程序，控制数据库管理系统：

是一组计算机程序，控制并组织用户的数据库的生成、维护和使用。

并组织用户的数据库的生成、维护和使用。

数据库系统数据库系统由数据、硬件、软件和用户四部分组成由数据、硬件、软件和用户四部分组成;

用户可通过数据库管理系统对数据进行添加、修用户可通过数据库管理系统对数据进行添加、修改、删除、检索、存储、统计等多种操作。

改、删除、检索、存储、统计等多种操作。

二、数据库系统的结构二、数据库系统的结构美国国家标准学会（ANSI）于1975年规定了数据库按三级体系结构组织的标准，也就是有名的SPARC分级结构（standardplanningandrequirementcommittee）。

三级结构以内层（内模式）、中间层（模式）和外层（外