分布式数据库设计报告Word文件下载.docx

1、1.1需求分析成品车间信息化程度越来越高，各个节点产生的数据量越来越大，对数据系统要求越来越高，我们所使用的传统集中式数据库已经无法从容应对越来越大的数据。成品车间生产线数据库主要有oracle和sql server两种，分别分布在2台计算机中，柔性线、自动线、三相线交叉使用两种类型数据库，主要出现的问题有;1、 一旦其中一个数据库出现问题，那么就有很大的几率导致三条线体的某个节点或全部节点失去数据服务，导致停线。2、 数据库出现故障，必须停线，故障修复之后才可以上线使用。3、 数据库处理能力有限，一旦进行数据统计，或者批量导出、写入数据，数据库响应时间就会延长，严重时会影响到生产线的运行，带

2、来停线的风险。4、 硬件可拓展能力差，单台服务器使用升级硬件的方式来提高整个数据库系统性能效果有限，花费高。这就要求数据库必须变得稳定、快速、灵活，应具备分布式管理数据的能力，节点扩容添加灵活，容灾容错能力，数据安全增加备份服务器，主备数据同步无缝切换主备服务，读写分离功能，数据分片功能,每个节点都是一个独立的数据库，每个独立数据库上都有属于自己的局部业务应用，同时也能够支持全局的业务应用，数据由两台主机互相备份，一台异常宕机后出错另一台无缝提供数据服务，异常处理后可以即时并入系统，不用重启服务。 2 分布式数据库设计分布式数据库系统是数据库系统与计算机网络相结合的产物，分布式计算是和集中式计

3、算相对立的概念，分布式计算的数据可以分布在很大区域，它具备三方面的特点：一是物理分散性，即数据分散存储在各个不同的场地上；二是逻辑整体性，即分散的数据库在逻辑上是一个整体，在逻辑上就好像是一个集中的数据库系统；三是场地自治性，即各个场地上的数据由本地的DBMS （数据库管理系统）管理，具有高度自治的处理能力，能够独立完成本站点的局部业务应用。2.1 设计目标2.1.1 总体设计目标根据分布式数据库设计的总体要求，结合实际现场生产案例的具体业务需求，该案例的总体设计目标如下：（1）安全性：包括保证网络安全、数据库安全,建立严格的权限管理机制，后端数据库网络独立。（2） 配置方便：整个数据库配置后

4、要实现热加载，不能重启整个系统服务。（3）可扩充性：该分布式数据库的设计必须保证一定的可扩充性，以满足业务发展的需求，当系统需要扩容时，必须保证系统能够方便的将其加入，而并不需要修改源程序，以保证前端使用方式不变。（4）可靠性：1、改善系统的可靠性和可用性是分布式数据库的主要目标将数据分布于多个场地，并增加适当的冗余度可以提供更好的可靠性一些可靠性要求较高的系统，这一点尤其重要因为一个节点出了故障不会引起整个系统崩溃因为故障场地的用户可以通过其它场地进入系统而其它场地的用户可以由系统自动选择存取路径，避开故障场地，利用其它数据副本执行操作，不影响业务的正常运行，针对系统运行时可能遇到的各种软硬

5、件故障，2、分布式数据库应提供系统恢复机制和数据单节点定时备份功能，使故障发生时遭受的损失最小。3、当网络出现故障时，仍然允许对局部数据库的操作，而且一个位置的故障不影响其他位置的处理工作，只有当访问出现故障位置的数据时，在某种程度上才受影响。（5）数据一致性:分布式数据库在处理多节点数据时要保证主备数据的一致性、完整性。2.1.2 完成方式及周期系统设计目标分4期:1、 一期目标:完成部署4台存储服务器、1台数据路由器、调试（进行稳定性测试，压力测试，主从切换测试）、完成定时备份功能，上线提供服务。2、 二期目标:规划柔性线数据库表结构，创建相应的存储规则，完成柔性线数据转移，替换柔性线应用

6、软件使用的Sql Server数据库。3、 三期目标:1、 规范化SQL语句的使用，以数据库运行效率。2、 为保证前端的高可用，增加数据路由服务器至2台，替换掉现有一台测试用路由服务器。（可以是当前办公电脑联想小机箱） 。3、 加入数据路由服务器负载均衡服务，保证数据路由可靠性。4、 将4台数据服务器内存升级为64或128GB，数据在内存中执行效率是最高的。5、 使用独立交换机提供数据交换。6、 重新梳理柔性线数据存储表结构。7、 规划三相数据表存储结构与规则，完成三相线数据转移，替换三相线应用软件使用的Sql Server数据库。4、 四期目标:与三辉合作，通过升级软件的方式将数据存储至分布

7、式数据库中，替代现有oracle数据库，实现为整个自动线提供数据服务，最终建成可靠稳定高效的成品车间大数据系统。2.1.3分布式数据库架构图2.1.4物理设计施工数据库性能的好坏很大程度上取决于数据库的物理设计，而不仅仅是关系模式设计的好坏和SQL语句写的好坏。通常关系数据库物理设计的内容包括：为关系模式选取存取方法，设计关系和索引等数据库文件的物理存储结构。首先将5台服务器网络配置为（192.168.4.%），并安装配置java环境，在4台服务器中分别安装mysql数据库，并配置2个用户，backup（用于主备数据同步），mycat（用于数据路由），使用backup账户配置主从同步，在pc主

8、机中安装mycat数据路由工具，配置相关连接属性与数据分片规则，使mycat账户可以成功接管4台mysql服务。3 总结大数据时代，面对海量测试数据量和成品车间不断增加的节点对数据库的需求，分布式数据库具有如下特征，足以从容应对不断增加的节点与数据。 高可扩展性：分布式数据库必须具有高可扩展性，能够动态地增添存储节点以实现存储容量的线性扩展。 高并发性：分布式数据库必须及时响应大规模用户的读/写请求，能对海量数据进行随机读/写。 高可用性：分布式数据库必须提供容错机制，能够实现对数据的冗余备份，保证数据和服务的高度可靠性。设计理念从需求分析开始，分别进行概念设计，框架设计，容灾容错设计，物理设

9、计物理设计等一系列设计过程。该设计过程是系统从无到有的设计与实现过程，是比较适合当前生产模式的分布式数据库设计。该分布式数据库设计过程基于分布式应用需求，符合分布透明性原则，满足整个数据库系统在物理上分散而逻辑上统一的设计要求，基本能够实现用户的功能需求，改善整体工作效率，解决原来集中式处理的传输瓶颈问题，有效的利用了局部数据来处理资源，使整个数据库系统实现负载均衡。 当前分布式数据库优点:处理能力:当前服务器设计处理能力是oracle数据库2倍容灾容错:采用主备同步方式，单节点定时备份，主机崩溃后，自动切换可用服务,整个数据库后端单节点故障不会影响到整个数据库对外服务。硬件拓展:分布式数据库

10、优点在于其是一个分布式的数据库集群，处理节点和存储节点都可以线性增加.开发方式:分布式数据库提供一个统一的前端连接接口，与其他数据库使用方式基本相同。当前分布式数据库缺点通信开销较大，例如，在网络通信传输速度不高时，系统的响应速度慢，与通信相关的因素往往导致系统某个节点。（2）数据的存取结构复杂。一般来说，在分布时数据库中存取数据，比在集中时数据库中存取数据更复杂，开销更大。4所用设备汇总所用设备汇总设备名称设备功能数量配置自动线服务器实现数据存储、查询与备份416核处理器/12GB内存/2TB硬盘容量/百兆网卡联想台式PC实现数据分发路由1双核处理器/4GB内存/百兆网卡交换机现有自动线交换机2千兆以太网交换机5所使用软件所使用软件