1、随着信息技术和市场的发展,数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。数据库有很多种类型,从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。当进行海量数据处理的时候,会遇到各种效率问题。当数据库被破坏后,如果事先保存了和数据库的副本,就有可能恢复数据库。 第二部分 数据库是如何存储数据的一种系统软件,负责数据库中的数据组织、数据操纵、数据维护、控制及保护和数据服务等,是数据库的核处理大量数据的应用程序通过把数据保存在内存而不是磁盘中来获得更好的性能。可能会由于数据档和日志档在同一阵列上,大数据量的业务对数据档和日志档
2、访问十分频繁,在一定程度上,形成了I/O的瓶颈。系统事务业务繁忙时每秒钟需要执行大量的sql语句,也就是需要频繁的进行硬盘子系统的I/O操作,大量的语句同时也就产生了大量的日志档和频繁进行读写数据档操作(也就是这个原因造成了日志档尺寸不断的增长且没有进行控制)。 第三部分举例关于人人网的数据库。 什么是架构?在一个数据库中可以有多个应用的数据表,这些不同应用的表可以放在不同的schema之中,同时,每一个schema对应一个用户,不同的应用可以以不同的用户连接数据库,这样,一个大数据库就可以根据应用把其表分开来管理。不同的schema之间它们没有直接的关系,不同的shcema之间的表可以同名,
3、也可以互相引用(但必须有权限),在没有操作别的schema的操作根权下,每个用户只能操作它自己的schema下的所有的表。不同的schema下的同名的表,可以存入不同的数据(即schema用户自己的数据)人人网几乎完全模仿了Facebook的蓝白主题风格。就连网站创始人王兴也承认,他“借鉴”了Facebook设计,于2005年推出人人网。于第三年,人人网吸引了1.5亿独立访问用户,而StudiVZ的注册用户只有600万。此外,校内网还获得了软银4.3亿美元的风险投资。现在的人人网已经成为中国最大的SNS网站,SNS(Social Networking Services),即社会性网络服务,专指
4、旨在帮助人们建立社会性网络的互联网应用服务。 当facebook发布了它的API之后,社区网站已经不再是单纯的网络社区,它俨然成为了一个能广泛普及的系统,这就是一个快速构建起网络社区的SNS 的软件产品。facebook的API一直没有时间没有研究,而中国的 facebook人人网也宣称迟早会开放API,那么人人网的技术架构也逐渐的让我们关心起来。人人网在初期,由于用户的数目不多,技术不强,经济不足,人人网的架构也非常的简单,和普通小网站没什么区别,数据库也是采用简单的主外键关联的表,由于技术上面的不足,造成人人网的访问效率很低。但是由于网站的不断壮大,就需要不断增强网站的技术,以解决网站高负
5、载带来的问题。例如:例如人人网主业务数据库档已经超过1000G,日志档也超 过1000G,档过大,也会对数据库性能产生影响,windows操作系统对这么大的档的支持不是很好,从操作系统角度分析应该对数据档进行分割。数据、日志服务以及TEMPDB应被放置在独立的磁盘上,这些磁盘应使用尽可能多的互不相同的通道,因为更多的主轴所带来的好处要优于将数据I/O由连续日志中分离出来。如果系统非常庞大,或者其数据库的某些部分拥有极高的I/O,那么采用档分组法分离磁盘I/O。可以将档组放置在不同的磁盘和不同的通道上,实现进一步的分段,从而提升性能。数据驱动器应使用条状镜像的RAID配置,以实现最大的可用性。可
6、以利用RAID 1+0以实现最高的容错能力和性能。1+0允许映射与分段,使多个同时进行的读写活动可以有效地分布到各个磁盘上。由于对磁盘进行映射,因此当主磁盘出现问题时,总有一个多余的可用数据组可供使用。 数据增长和日志增长幅度为10%增长,那么随着数据库越来越大,增长量也越来越大,增长的速度也越来越快。例如:当数据达到1000G时,10%就意味着每次均直接增加100G的大小。此时可以考虑固定值,或者出据手工配置方案来适应不同数据量的情况,以减少大数据库时按10%增长带来的瘾患。建立索引系统要占用大约为表的1.2倍的硬盘和存储器空间来保存索引。同时更新数据的时候,系统必须要有额外的时间来对索引进
7、行更新,以维持数据和索引的一致性。在海量数据的情况下,如果合理的建立了索引,则会大大加强SQLS执行查询、对结果进行排序、分组的操作效率索引应用的优缺点均同样明显,需要综合考虑其。优缺点后决定是否应用其索引。 第四部分 如何判断数据库结构的整体性。视图集成后形成一个整体的数据库概念结构,对该整体概念结构还必须进行进一步验证,确保它能够满足下列条件:整体概念结构内部必须具有一致性,不存在互相矛盾的表达整体概念结构能准确地反映原来的每个视图结构,包括属性、实体及实体间的联系。整体概念结构能满足需要分析阶段所确定的所有要求1、前端web层采用框架技术,主要采用Struts作为展示框架。同时对于富有表
8、现力的富客户端,我认为应该使用了AJAX框架和灵活的css模板和修改功能。2、图片采用专门的文件服务器。这也是一些大型的门户网站采用一种方式,通过建立独立的文件服务器,对数据流量比较大的图片文件进行分流,有效的减轻了主服务器的承载压力。3、Mysql机群。随着用户的增多和访问量的增大,数据库的承载能力也要不断的增强,现在校内网采用分布式的数据库管理,利用mysql庞大的机群,对数据库的访问压力进行分流,即减轻了数据库的访问压力,由提高了数据的访问效率,这也是为什么现在校内网比以前访问速度快的原因。同时,人人网广泛的采用基于内存的数据库缓存。利用缓存的确可以提高数据的访问速度,但是人人网比一般的
9、网站做的更加的彻底,通过硬件的支持,几乎把用户要广泛用到的所有数据进行了缓存处理,这也是现在人人网为什么数据访问比以前快很多的原因。4、人人网现在广泛的采用数据挖掘技术,通过对数据的分析,深刻的了解用户的习惯和需求,并进行相应的调整,增强了用户体验。 第五部分 学校管理系统如何改进用户架构分离的好处将架构与数据库用户分离对管理员和开发人员而言有下列好处:1多个用户可以通过角色成员身份或 Windows 组成员身份拥有一个架构。这扩展了允许角色和组拥有对象的用户熟悉的功能。2极大地简化了删除数据库用户的操作。3删除数据库用户不需要重命名该用户架构所包含的对象。因而,在删除创建架构所含对象的用户后,不再需要修改和测试显式引用这些对象的应用程序。4多个用户可以共享一个默认架构以进行统一名称解析。5开发人员通过共享默认架构可以将共享对象存储在为特定应用程序专门创建的架构中,而不是 DBO 架构中。 6可以用比早期版本中的粒度更大的粒度管理架构和架构包含的对象的权限。
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1