数据库系统工程师.docx
《数据库系统工程师.docx》由会员分享，可在线阅读，更多相关《数据库系统工程师.docx（35页珍藏版）》请在冰豆网上搜索。
数据库系统工程师
第一章计算机系统知识
一、计算机系统组成
1.运算器：
对数据进行加工处理的部件；
控制器：
从主存取出指令，并指明下一指令的地址。
指令取出后，经指令寄存器送往指令译码器。
寄存器：
计算机系统中的记忆设备，存放程序、原始数据、中间数据、最终结果。
二、工作原理
1.码制：
最高位其它位
原码0为正，1为负正负相同，为其二进制数
反码、正：
与原码同；负：
原码负的按位求反
补码正：
与原码同；负：
反码+1
2.指令：
由操作码（操作的类型）和地址码（操作数和运算结果的存放地址）组成。
三、体系结构
1.高速缓存
地址映像：
直接映像、全相连映像、组相连映像。
替换算法：
随机替换算法、先进先出、近期最少使用、优化替换算法。
性能分析：
等效访问时间=命中率*cache访问时间+（1–命中率）*主存访问时间
2.CISC：
复杂指令集计算机
3.RISC：
精简指令集计算机
4.中断：
5.流水线：
吞吐率=最长子过程的倒数：
=1/Max（t1,t2…）
建立时间：
6.总线结构
1）内总线：
ISA、
EISA：
33MB/s
PCI:
32位133MB/s,64位266MB/s；与CPU时钟频率是独立的，非同步的。
即插即用
2）外总线
SCSI
USB：
即插即用，2.0=480MB/s
IEEE1394：
即插即用
四、安全性、可靠性与系统性能基础知识
（一）加密技术
1.对称加密：
典型代表：
DES
适合对文件等大信息量数据。
2.非对称加密
典型代表：
RSA
适合小信息量数据。
数字加密和数字签名的区别：
1）数字签名，使用发送方的密钥对；数字加密，使用接受方的密钥对；
2）数字签名使用非对称密钥算法；数字加密，对称和非对称都使用；
（二）认证技术
Cache等效访问时间：
Z=H*X+（1-H）*Y
H为Cache的命中率，X为Cache的存取时间，Y为主存的存取时间
流水线处理机的吞吐率：
=1/（最长子过程时间）如：
n/（1+3+1+2+1）t+3*（n-1）t
计算机系统可靠性：
串联:
R=R1*R2*R3...
并联：
R=1-（1-R1）（1-R2）（1-R3）...
进程同步与互斥：
同步：
相互合作的进程，当一个进程到达某点后，除非另一个进程完成某操作，否则就不得不停下来等待这些操作结束。
互斥：
各进程共享某资源，但这些资源只能供一个进程使用。
P操作：
S=S-1
V操作：
S=S+1
不发生死锁的条件：
M>N*（X-1）；M个资源，N个进程，每个进程最多申请X个资源；M的最小数还需要+1，才能正确的；
第二章数据结构和算法
一、二叉树的遍历：
前序遍历
中序遍历
后序遍历
层序遍历
霍夫曼树、构造最优二叉树的霍夫曼算法
二叉树：
满二叉树：
深度为k的二叉树有2的k次方-1个节点。
完全二叉树：
每个节点都与满二叉树一一对应。
最优二叉树（哈夫曼树）：
带权路径长度最短的树。
第三章操作系统知识
第四章程序设计语言基础
一、基础知识
1.解释程序和编译程序的区别：
2.语法、语义、语用：
二、语言处理程序基础
第五章网络基础知识
第六章多媒体基础知识
PC机处理的音频信号，主要是人耳能听到的，频率20HZ—20KHZ。
声音的数据传输率（kb/s）=采样频率（HZ）*量化位数（b）*声道数
声音信号数据量=数据传输率*持续时间/8
MPEG系列标准：
Mpeg-1:
普通电视视频信号压缩标准；Mpeg-2:
高清电视信号压缩标准；
Mpeg-4:
多媒体应用标准；Mpeg-7:
多媒体内容描述接口标准；Mpeg-21:
多媒体框架结构标准；
软件项目关键路径
时间最长的是关键路径；由该路径上节点，可依次倒推出其他节点的最晚完成时间、最晚开始时间。
类图：
依赖，关联，泛化，实现
UML:
聚合：
表示整体和部分的关系比较弱；代表部分的事物，与代表整体的事物的对象的生存期无关；删除了整体的对象，不一定删除部分的对象。
实线，空心菱形
组合：
表示整体和部分的关系比较强；整体和部分的对象，生存周期一致；删除了组合的对象，同时也就删除了代表部分的对象；
实线，实心菱形
依赖：
include包含关系,箭头指向被包含者
extend扩展关系，箭头指向主用例
第七章数据库技术基础
一、数据库技术的发展
1.人工管理阶段
1）数据不保存在计算机中；
2）没有专用的软件对数据进行管理；数据与程序不具有独立性；数据的逻辑结构和物理结构没有区别；
3）只有程序的概念，没有文件的概念；
4）数据面对程序，即一组数据对应一个程序；
2.文件管理阶段
1）数据以文件的形式可长期保存在外部存储器上；
2）数据的逻辑结构和物理结构有了简单区别；
3）文件组织多样化；但文件之间相互独立、缺乏联系；
4）数据不再属于某个特定的程序；但程序与数据结构之间的依赖关系并未根本改变；
3.数据库阶段
DB能为各种用户共享，具有较小冗余度、数据间联系紧密、较高的数据____独立性____等特点。
DB分成物理数据库和___描述_____数据库两类，后者由DD系统管理
二、数据模型
模型：
是现实世界的抽象。
数据模型的三要素：
数据结构、数据操作、数据的约束条件。
数据结构：
所研究的对象类型的集合；静态特性的描述；
数据操作：
对数据库中各种对象实例的允许的操作；动态特性的描述；
数据的约束条件：
完整性规则的集合，应用数据必须遵循的语义约束条件，以保证数据的正确性。
三、数据模型
1.数据抽象的四种模型：
概念模型：
表达了数据的整体逻辑结构，是系统用户对整个应用项目涉及的数据的全面描述；表达用户需求观点；独立于硬件和软件；是设计人员与用户之间的交流工具。
ER模型来表达。
逻辑模型：
是设计人员对整个应用项目数据库的全面描述；从数据库实现的观点出发；独立于硬件，但依赖于软件（DBMS）；
层次模型（树形），通过指针实现，查询效率高，但数据结构复杂和编程复杂；
网状模型：
有向图，通过指针实现，查询效率高，但数据结构复杂和编程复杂；
关系模型：
主要特征是用二维表格表达实体集。
外部模型：
是逻辑模型的一个逻辑子集；独立于硬件，但依赖于软件；表达用户使用数据库的观点
内部模型：
DB物理结构模型
2.三层模式和两级映像
外模式：
是用户和数据库系统的接口，是用户用到的那部分数据的描述；由若干外部记录类型组成。
概念模式：
是数据库中全部数据的整体逻辑结构的描述，由若干逻辑记录类型、记录间联系、数据完整性、安全性等要求。
内模式：
数据库物理存储方面的描述，定义了所有内部记录类型、索引、文件的组织方式，以及数据控制方面的细节。
外模式/概念模式映像：
存在于外模式和概念模式之间，用于定义外模式和概念模式之间的对应。
一般存在在外模式中描述。
内模式/概念模式映像：
存在于内模式和概念模式之间，用于定义内模式和概念模式之间的对应。
一般存在在内模式中描述。
数据独立性：
物理数据独立性：
如果对内模式修改，只要对概念模式/内模式映像做相应修改，使概念模式尽可能保持不变，对外模式影响更小。
逻辑数据独立性：
如果对概念模式修改，只要对外模式/概念模式映像做相应修改，使外模式尽可能保持不变。
四、ER模型
基本元素：
实体：
现实世界中可以区别于其他对象的事物。
属性：
实体某方面的特性。
联系：
。
属性分类：
按属性类别：
简单属性（如性别，年龄）、复合属性（如地址）
按取值特点：
单值属性（如年龄），多值属性（如性别，学历）；多值属性使用双线椭圆表示。
存储属性（如基本工资，奖金），派生属性（如实发工资）；派生属性使用虚线椭圆表示。
弱实体与强实体：
一个实体的存在必须已另一个实体的存在为前提，即具有很强的依赖关系，前者是弱实体，后者是强实体。
弱实体用双线矩形框表示，与弱实体的联系，用双线菱形框表示；弱实体参与联系是使“完全参与”，所以双线矩形框与双线菱形框之间是双线边。
弱实体与强实体的联系只能是1:
1或1：
N；
子类实体与超类实体：
从子类到超类的抽象过程叫普遍化；从超类到子类的具体化过程叫特殊化。
子类和超类之间具有继承特点；这种继承是通过子类和超类有相同的实体标示符实现的。
ER图题要点：
1）先确定有哪些实体，再确定实体之间是否有联系，最后再确定联系的类型；
五、DBMS
功能：
1.数据定义
2.数据库操作
3.数据库运行管理
4.数据的组织、存储和管理
5.数据库的建立和维护
6.其他功能
特征：
1.数据结构化且统一管理
2.有较高的数据独立性
3.数据控制功能
安全性保护
完整性
并发控制
故障恢复
六、三级模式和二级映象
七、客户端、服务器数据库体系结构
特定：
客户端和服务器端之间职责明确，客户端负责数据的表示，服务器端负责数据库服务。
数据库服务器分为：
事务服务器和数据服务器。
事务服务器，也叫查询服务器，它提供一个接口，使得客户可以发出执行一个动作的请求，服务器响应请求后将执行结果返回给客户。
数据服务器：
八、并行数据库系统
分为共享内存式多处理器，无共享式并行体系结构。
共享内存式多处理器：
一台计算机上同时有多个活动的CPU，他们共享单个内存和一个公共磁盘接口。
无共享式并行体系结构：
一台计算机上同时有多个活动的CPU，但它们都有自己单独的内存和磁盘。
各个CPU之间是高速网络。
九、分布式数据库系统
有两中，一是物理上分布，逻辑上集中；一是物理和逻辑上都分布。
一十、Web数据库
一十一、事务（Transaction）管理：
DBS运行的最小逻辑工作单位是‘事务’。
事务：
是构成单一逻辑工作单元的操作集合，要么完整执行，要么完全不执行。
事务的ACID性质：
原子性Atomicity：
一个事务对数据库的操作，是一个不可分割的工作单元，要么完整执行，要么完全不执行。
（事务管理子系统）
一致性Consistency：
一个事务独立执行的结果，应保持数据库的一致性，即数据不会因事务的执行而遭到破坏。
（完整性子系统）
隔离性Isolation：
在多个事务并发执行时，系统应保证与这些事务先后单独执行时的结果一样。
（并发控制子系统）
持久性Durability：
一个事务一旦完成全部操作后，它对数据库的所有更新应永久的反映在数据库中，不会丢失。
（恢复管理子系统）
检查点技术：
检查点时刻才真正把内存缓冲区的DB修改，写入磁盘。
-----------------检查点t1-----------故障点-----------------检查点t2------------
T1前完成的事务，不必恢复；
故障点前已完成的事务，重做REDO。
故障点前未完成的事务，撤销UNDO。
事务的执行次序称为调度；
如果多个事务依次执行，称为事务的串行调度；
如果利用分时方法，同时处理多个事务，称为事务的并发调度；
事务的隔离级别：
由高到低
SERIALIZABLE：
可串行化：
允许事务与其他事务并发执行，但并发调度是可串行化。
程序开始时默认这个级别。
REPEATABLEREAD：
可重复读：
只允许事务读已提交的数据，并且在两次读同一数据时不允许其他事务修改此数据。
READCOMMITTED：
读提交数据：
允许事务读已提交的数据，但不要求“可重复读”。
READUNCOMMITTED：
可以读未提交数据：
允许事务读已提交的数据或未提交的事务。
SETTRANSACTIONISOLATIONLEVELSERIALIZABLE;
一十二、故障恢复
数据库的四种故障：
事务内部故障、系统故障、介质故障、病毒。
基本原理是：
建立数据冗余，即重复存储。
恢复方法：
1.静态转储和动态转储：
静态是指转储期间不允许对数据库进行存取、修改操作；动态是允许。
2.海量转储和增量转储
3.日志文件
恢复步骤：
反向扫描日志文件，查找更新操作；对更新操作进行逆操作；继续步骤一直到事务的开始标记。
一十三、并发控制
1.并发：
多个事务同一时间对同一数据进行操作。
丢失更新问题：
读脏数据问题：
所谓脏数据是指未提交（nocommit）的随后被撤销（rollback）的数据。
不可重复读问题：
事务T1需要两次读取同一数据A，但是在两次读操作的间隔中，另一个事务T2改变了A的值。
2.封锁技术：
锁的作用是使并发事务对数据库中数据项的访问能够同步。
n
封锁的粒度：
封锁对象的大小；封锁粒度越大，并发度越小，系统的开销越小；封锁粒度越小，并发度越高，系统开销越大。
排他锁，X锁：
如果事务T对某个数据R实现了排他锁，在事务T对数据R解锁之前，其他事务不能再对数据R加任何类型的锁。
共享锁（又称读锁，S锁）：
事务对数据加共享锁后，允许其他事务对该数据加共享锁，但在该共享锁解锁前，不允许任何事务对该数据加排他锁。
3.三级封锁协议
1）一级封锁协议：
事务在修改数据R之前，必须对其加X锁，直到事务结束。
可以解决丢失更新问题；
2）二级封锁协议：
在一级的基础上，事务T在读R之前必须先对其加S锁，读完后释放S锁。
可解决读脏数据问题。
但不能保证可重复读问题。
3）三级封锁协议：
在一级的基础上，事务T在读R之前必须先对其加S锁，直到事务结束时释放S锁。
三级封锁协议能够解决丢失更新、读脏数据、不可重复读的问题。
4.死锁与活锁
死锁：
指两个以上事务分别请求对方已经封锁的数据，导致长期等待而无法继续运行下去的现象。
5.事务的嵌套
事务是不能嵌套的，因为违背了事务的原子性。
一十四、安全性和授权
一十五、数据仓库
数据仓库的基本特性：
1）面向主题
主题就是一些数据集合，这些数据集合对分析对象进行了比较完整的、一致的数据描述，这种数据描述不仅涉及数据本身，还涉及数据之间的联系。
2）数据是集成的
集成性是指根据决策分析的要求，将分散于各处的原数据进行抽取、筛选、清理和综合等集成工作。
3）数据是相对稳定的
主要是需要查询，很少更新。
4）数据是反映历史的
数据仓库的体系结构：
分三层
1）底层为数据仓库服务器
2）中间层是OLAP（联机分析技术）服务器
3）顶层为前端工具
数据仓库的模型分类：
1）企业仓库：
企业各个主体的所有信息；
2）数据集市：
对特定用户有用的、企业范围数据的一个子集；
3）虚拟仓库
一十六、数据挖掘
数据挖掘：
从海量数据库中挖掘信息的技术；
应用步骤：
1）确定挖掘对象
2）准备数据
3）建立模型
4）数据挖掘
5）结果分析
6）知识应用
第八章关系数据库
一、关系数据库的基本概念
1.笛卡尔积
2.关系模型
元数=属性的个数=4；基数=元组的个数=6；
候选码：
能够唯一标示一个元组的属性；
主码：
若关系有一个或多个候选码，选定其中一个作为主码；
外码：
如果一个关系的属性不是本关系的主码，而是其他关系的主码，对本关系而言，该属性是外码；
全码：
所有属性都是候选码，则称为全码；
关系的三种类型：
1）基本表
2）查询表
3）视图
3.完整性约束
1）实体完整性：
主属性不能为空；
2）参照完整性：
外键约束，空值或某个关系的主码；
3）用户自定义完整性
二、关系运算
表达式中∨：
表示or
表达式中∧：
表示and
并（union）：
属于R或属于S的集合，记为R∪S
差：
属于R但不属于S，记为R-S。
这与交是不同的。
笛卡尔积：
即乘法，记为R*S。
如果R和S中有相同的列名，在R*S中列名不能合并，使用关系名.列名表示。
乘法的结果是，列数是R列数+S列数，行数是R行数*S行数。
投影：
对关系进行垂直分割，消去某些列，并重新安排列的顺序
π3,1（R）表示：
其结果关系中第一列是R的第3列，第二列是R的第1列。
选择：
根据某些条件对关系做水平分割。
σB>’4’（R）：
表示从R中过滤出满足B>’4’的元组。
交：
属于R同时也属于S，记为R∩S。
R∩S=R-（R-S）
连接：
先做R*S，再做选择操作。
等值连接：
连接运算符是“=”的连接运算称为等值连接。
它是从关系R与S的广义笛卡尔积中选取A，B属性值相等的那些元组
自然连接是一种特殊的等值连接，它要求两个关系中进行比较的分量必须是相同的属性组，并且在结果中把重复的属性列去掉
自然连接：
计算过程：
公共属性A1、A2…Ak；挑选R*S中R.A1=S.A1、R.Ak=S.Ak的元组；去掉S.A1…S.Ak。
如果没有公共属性，就只计算笛卡尔积。
除：
参考数据库系统工程师教程的432页中的例8.5.。
算法：
1）在关系R中，列出AB属性所对应的CD属性的象集
2）列出的象集中，包含关系S的，即为结果。
外连接：
左外连接、右外连接、全外连接
外部并：
如果R，S的关系模式不同时，构成的新关系的属性有R和S的所有属性组成，元组由R或S的元组构成，元组在新增加的属性上是null。
数据库系统工程师教程的432页中的例8.6要动手做一次。
三、元组演算
四、查询优化
五、
第九章SQL语言
比较重要的关键词：
Cluster创建的是聚簇索引
Escape条件语句中的转义符
Union集合操作中的并
Intersect集合操作中的交
Except集合操作中的差
Assertion断言
Exists存在
Sql语句支持数据库的三级模式：
视图对应外模式，基本表对应模式，存储文件对应内模式。
1.SQL语言是介于关系代数和_元组演算__之间的一种语言。
2.表的三种类型：
基本表是实际存储在数据库中的表；视图是由基本表和视图构成的表的定义；导出表是执行了查询是产生的表。
3.核心SQL的四个组成部分：
4.DDL：
数据定义语言，定义sql模式，基本表，视图，索引等结构；
5.DML：
数据操作语言，分为查询、插入、删除、修改操作。
6.嵌入式SQL
7.DCL：
数据控制语言，包括授权、完整性规则、事务控制等。
8.
9.创建域：
CreateDomain域名varchar（8）域可作为字段类型来定义属性的类型。
10.创建表：
11.CreateTabletable_name（
12.Field_namevarchar（8）,
13.完整性约束
14.）
完整性约束:
15.主键PrimaryKey（Field_name）
16.外键ForeignKeyField_nameReferencesPK_table_name（PK_Field_name）
17.检查Check（Field_name>12）:
基于元组的检查子句
断言:
CreateAssertion<断言名>Check（<条件>）
18.Altertable表名add列名字段类型；
19.Altertable表名Drop列名[CasCade|Restrict]；
20.CasCade：
删除时，所有引用该列的视图和约束也要自动删除；
Restrict：
没有引用该属性时，才能删除，否则拒绝操作；
21.Altertable表名Modify列名字段类型；
22.Droptable表名[CasCade|Restrict];
23.CreateView视图名asselelct…
24.Create[Unique]Index索引名On表名（列名序列）；
25.列名序列中，列名后可加Asc、Desc表示排序。
26.DropIndex索引名;
27.
一、创建表
Createtable表名（列名数据类型<列级完整性约束条件>
表级完整性约束条件）
约束条件：
Null,Unique
Primarykey（列名）
Foreignkey（列名）References表名（列名）
二、修改和删除表
AlertTable表名Add列名数据类型<列级完整性约束条件>；
AlertTable表名Modify列名数据类型<列级完整性约束条件>；
AlertTable表名Drop列名；
三、索引
Create[Unique][Cluster]Index索引表On表名（列名次序，列名次序）；
Unique：
每一个索引值对应唯一的数据记录；
Cluster：
建立的事聚簇索引
次序：
Asc，Dsc；
Select语句查询结果可以进行集合操作：
Union并
Intersect交
Except差
ESCAPE转义符：
Like‘ab\%cd%’ESCAPE’\’:
匹配以’ab%cd’开头的字符串
[NOT]Exists<集合>：
集合是否为空；
[NOT]UNIQUE<集合>：
集合是否有重复元组；
视图的更新：
1）从多个基本表通过连接操作导出的视图不能更新；
2）对使用了分组、集操作的视图，不能更新；
3）从单个基本表中使用选择、映射操作导出的，允许更新；
CreateView视图名asselelct…[WITHCHECKOPTION]
如果视图是从单个基本表中使用选择、映射操作导出的，并包含了表的主键，视图定义时加上“WithCheckOption”短语，该视图称为“行列子集视图”；该视图是可以插入、删除、更新的。
四、授权
数据库由低到高安全性级别依次是环境级、职员级、OS级、网络级、___DBS_____级。
是指保护数据库，防止不合法的使用，以免数据的泄密、更改和破坏。
安全性是保护数据以防止非法用户故意造成破坏；完整性是保护数据以防止合法用户无意中造成的破坏。
安全性机制：
视图：
数据安全性，逻辑数据独立性和操作简便性。
授权：
SQL定义了6类权限：
select,Insert,update,delete,alter，AllPrivileges（5种权限的总和）
授权：
Grant<权限>on<对象类型><对象名>to<用户/角色名>[WITHGRANTOPTION]
数据库元素可以使关系、视图、域；
WITHGRANTOPTION表示获得授权的用户能够传递授权，把获得的授权给其他用户。
用户名可以是Public代替，表示可将权限赋予全体用户。
例：
Grantselect,insertonTableSCtowangwenjunWITHGRANTOPTION;
GrantInsert（fName）onTableSCtowangwenjunWITHGRANTOPTION;
回收：
Revoke<权限>on<对象类型><对象名>From<用户名>
角色：
升级会员 