云计算.docx
《云计算.docx》由会员分享，可在线阅读，更多相关《云计算.docx（19页珍藏版）》请在冰豆网上搜索。
云计算
结构化数据，简单来说就是数据库。
结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；教育一卡通；政府行政审批；其他核心数据库等。
这些应用需要哪些存储方案呢？
基本包括高速存储应用需求、数据备份需求、数据共享需求以及数据容灾需求。
非结构化数据，包括视频、音频、图片、图像、文档、文本等形式。
具体到典型案例中，像是医疗影像系统、教育视频点播、视频监控、国土GIS、设计院、文件服务器（PDM/FTP）、媒体资源管理等具体应用，这些行业对于存储需求包括数据存储、数据备份以及数据共享等。
相对于结构化数据（即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据）而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。
非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据（如数字、符号等信息）而且更适合处理非结构化数据（全文文本、图象、声音、影视、超媒体等信息）。
非结构化WEB数据库主要是针对非结构化数据而产生的，与以往流行的关系数据库相比，其最大区别在于它突破了关系数据库结构定义不易改变和数据定长的限制，支持重复字段、子字段以及变长字段并实现了对变长数据和重复字段进行处理和数据项的变长存储管理，在处理连续信息（包括全文信息）和非结构化信息（包括各种多媒体信息）中有着传统关系型数据库所无法比拟的优势。
结构化数据（即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据）
非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等
所谓半结构化数据，就是介于完全结构化数据（如关系型数据库、面向对象数据库中的数据）和完全无结构的数据（如声音、图像文件等）之间的数据，HTML文档就属于半结构化数据。
它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。
2云计算与非结构化数据
据IDC的一项调查报告中指出：
企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%。
非结构化数据，顾名思义，是存储在文件系统的信息，而不是数据库。
据报道指出:
平均只有1%-5%的数据是结构化的数据。
如今，这种迅猛增长的从不使用的数据在企业里消耗着复杂而昂贵的一级存储的存储容量。
如何更好的保留那些在全球范围内具有潜在价值的不同类型的文件，而不是因为处理它们却干扰日常的工作？
当然你可以采购更多的就地存储设备，但这总会有局限性的。
云存储是越来越多的IT公司正在使用的存储技术。
下面的分段解释了一些关于存储在云中的商业信息的关键要点。
员工面临新挑战数据如何被管理？
当企业参与到全球经济竞争中，IT员工面临着让分布在全球的员工能够有效访问重要数据的新挑战。
全球分布的团队需要共享对大型的文件和数据集的读写访问，但这显然增加了数据管理的复杂性。
另外不断地采用数据同步功能和精确度的问题都影响企业的工作效率。
云存储业务外包降低成本是否可行？
随着基于云存储服务项目的增长，各种类型的企业都有能力将数据存储业务外包。
利用这些外包服务，企业能大幅减少存储基础架构成本，在减少人工管理非结构化数据所需时间的同时增加了存储的灵活性，这在以前的企业中从未被使用过。
另外，云服务也带来了巨大的经济效益。
云存储有多大价格是否更合理？
大多数服务提供商对于云存储的定价都是根据实际使用了多少存储容量而决定的。
支付多少钱就享用多少容量。
因此不再需要存储架构师，也不再需要安装和管理存储设备。
如果你使用200TB的存储容量，你就只需支付200TB存储的这部分钱即可。
如果你的公司突然需要在明天增加34TB的存储容量，你不需要增加任何存储设备，只需要在开账单的周期支付存储多增加出来的钱即可。
如果其中一部分存储容量只是暂时性的话，你可以轻松地从云中删除不需要的数据，以减少使用的容量，并送交最终的账单。
但本地的存储基础设施并没有这些功能。
备份记录复杂昂贵云存储简单方便
随着备份和灾难恢复的处理和要求变得越来越复杂、昂贵以及耗费时间。
云存储服务能够大大地减少这种复杂性和成本。
当在云中存储一个大数据集的时候，答案可以像复制数据到多重地理分布位置一样的简单。
单一技术非万能分析思考更有效
像任何技术一样，根本不存一个万能的解决方案，云存储也是如此。
仔细地检查当前的存储基础设施，创建数据的应用以及数据的用户。
只有更仔细的分析，才能更加的清楚：
基于云的存储通常完美适用于第二层级（Tier2）的数据，以及那些需要在多个位置共享的数据。
[1]
云计算
云计算（cloudcomputing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
云是网络、互联网的一种比喻说法。
过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。
狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。
这种服务可以是IT和软件、互联网相关，也可是其他服务。
它意[1]味着计算能力也可作为一种商品通过互联网进行流通。
Wiki定义：
云计算[2]是一种通过Internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。
美国国家标准与技术研究院（NIST）定义：
云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。
“云计算”概念被大量运用到生产环境中，国内的“阿里云”与云谷公司的XenSystem，以及在国外已经非常成熟的Intel和IBM，各种“云计算”的应服务范围正日渐扩大，影响力也无可估量。
云计算拼音Yúnjìsuàn；云计算由一系列可以动态升级和被虚拟化的资源组成，这些资源被所有云计算的用户共享并且可以方便地通过网络访问，用户无需掌握云计算的技术，只需要按照个人或者团体的需要租赁云计算的资源。
云计算（CloudComputing）是分布式计算（DistributedComputing）、并行计算（ParallelComputing）、效用计算（UtilityComputing）、网络存储（NetworkStorageTechnologies）、虚拟化（Virtualization）、负载均衡（LoadBalance）等传统计算机和网络技术发展融合的产物。
Google图形搜索
这款应用程序于2009年12月推出，它让人们可以为书、CD或图片照相，然后立即放到网上搜索出图片所指的产品或地点等相关资料。
虽然很多人认为它操作起来非常缓慢且不准确，但也有人喜欢用它来扫描条形码、辨别墙纸、甚至翻译文字。
这款应用程序应该会继续发展并获得更多的支持。
[2]
其实早在一年前，波士顿初创公司EveryZing便推出了一款视频和音频搜索引擎——PodZinger，这是一款播客搜索引擎，它采用了BBN技术公司开发的一种语言系统，可将音频内容转换成文本，而且准确率在80％以上，足以体现音频的主要内容，能指导用户迅速在文件中找到某个搜索目标词出现的地方，并总结出音频内容的核心意思。
之前《互联网视频革命的第一枪》这篇文章曾对PodZinger的强大功能作过阐述，Podzinger可以在网络上抓取视频、音频文件，利用语音识别技术深入分析其文件内容，根据用户搜索需求提交相应结果。
它有一种软件能够“听”视频文件中的语音，并转换成可供搜索引擎使用的文本。
搜索结果中的每个词语都可以点开并载入音频剪辑，在指定的词汇点上开始播放。
这无疑是一种革命性的突破。
Podzinger的文本记录对于搜索者而言远比传统搜索引擎根据“元数据（Metadata）”搜索结果所显示的音频和视频剪辑更具有相关性。
EveryZing公司首席执行官TomWilde当年也曾如此骄傲地介绍这款产品：
这么高的准确度可以带来许多新搜索功能，比如提供视频和音频的完整文本，以及直接跳到话语中某个词或者词组被说出的位置。
这项技术还可以让公司提供与特定内容有关的有针对性广告，就好像Google推出的基于网页中文本的广告一样。
语音识别的难题
语音识别这个概念，我们并不陌生，从孤立词到大词汇量连续语音的识别（LVCSR），再到语音库检索，语音识别技术一直在向前发展，只是语音识别似乎离我们还有些遥远。
“今后5年内，互联网搜索将更多地通过语音来完成。
”今年的2月23日，比尔·盖茨在美国卡内基·梅隆大学发表演讲说道，这已数不清是他第几次在公开场合提及语音识别了。
对于中文而言，语音识别技术的实现较之英语面临着更多的困难。
当南方人把“牛奶”念成“留来”的时候，究竟是机器识别错了，还是人错了？
微软中国研发集团下属微软亚洲研究院语音识别组组长宋言哥平提出过这样一个问题。
而不仅仅是南北口音的偏差，每个人都有独有的发音习惯。
这就造成了语音输入很难规范的问题。
其次，噪声也是一种不可抗的难题。
“这很好理解，机器无法像人那样分辨出人声和噪声。
”宋言哥平解释道，“同时，不同场景有不同噪声，训练的情况也不能匹配真实环境，这使语音识别在噪声中比在安静的环境下难得多。
”
克服这些难题尚需时日，这也是为何中文音频搜索进展缓慢的一个关键原因。
如今日本的音频搜索网站已经上线，中国的用户也期待着可以更快享受到这种先进搜索技术带来的更多便捷。
告别简单搜索时代
在信息疯狂膨胀的年代，对于浩瀚信息中的有效资源搜索毫无疑问是相当重要的。
如今娱乐化风潮的涌起，使信息的需求早已不是以往单纯的纯文本而已，而是更大规模地扩展到音频、视频领域。
以往单纯通过音频、视频文件的文本标签来搜索音频、视频文件已经不足以满足用户的需求。
于是出现了这种通过将音视频内容转换成文字的搜索方式。
然而在简单搜索之外，还不仅仅是这种运用语音识别系统完成的搜索服务技术正在流行。
当文字搜索已经发展到几乎没有上升空间的时候，微软、Google这些技术巨头也开始瞄准未来的新一代搜索市场。
今年的4月份，在北京举行的国际万维网大会上，两位Google的工程师展示了下一代的图片搜索。
新的图片搜索不再只是由图片相关的文字来判断图片的内容。
Google将使用计算机分析图片中的内容，并关联关键字的排名。
实际上，这就相当于图片搜索中PageRank。
在早些时候，《互联网周刊》上也报道过这样的消息：
新一代图片搜索技术已经可以像人一样，“看”到一幅图片的兴趣中心，判别它是人物肖像照或是风景照、摄于室内还是户外。
甚至，在人的协助下，计算机还能够在许多张合影中找寻到同一张人脸。
这些听起来不可思议的事情，已经在微软的实验室里变成了现实，甚至有些技术已应用到部分产品当中。
搜索技术已经迎来了一个新的时代，在各种新型搜索服务的帮助下，我们的各种需求都将慢慢得到满足。
科技，正在向着更加人性化的一面发展，一切，都在为人类生活得更好而努力着。
（记者黄婷婷）
推荐：
后关系时代数据库的三种演变
（1）
发布时间：
2007.04.0304:
45来源：
赛迪网-中国计算机报作者：
朱杰
关系型数据库头上的3座大山
关系数据库最初设计为基于主机/终端方式的大型机上的应用，其应用范围较为有限，在经历了客户机/服务器时代后，获得了极大的发展。
关系数据库管理系统在很长时间内处于数据存储管理技术主流而独领风骚，但是这种传统的数据库管理系统因采用两维数据模型，而存在着本身固有的约束和限制。
随着信息技术的飞速发展，数据处理不仅在数量上要求越来越大，同时，信息数据的种类也在不断地扩展，越来越多的非结构化数据不断出现，包括企业的各种报表、账单、电子文档、网站的各种元素、图片、传真、扫描影像，以及大量的多媒体的音频、视频信息等。
此外，随着热门网站访问数量的激增，对数据库本身的存储机制、大量并发用户的使用需求、存储空间的使用效率、以及数据的完整性和安全性等方面都提出了更高要求。
今天，数据库所生存的外部土壤随着Internet以及在网络环境下IT系统互联互通相互协作的趋势，对信息管理技术提出了新的挑战。
这些挑战就像三座大山，压在了关系型数据库的头上。
信息复杂性
今天信息的复杂性与关系型数据库理论产生的时代已不可同日而语，信息的结构日益复杂，随着个性化服务等需求增长，信息的多样性和差异性都大大增加了，而关系型理论在管理信息复杂性方面的不足日益明显。
关系数据库本质上采用的是一个二维的模型，通过一系列二维关系的组合来描述复杂实体对象，每个表所代表的所有实体在建模设计时没有差异性，即使只有一个实体拥有某种属性，也必须为其建立一个字段。
如果这种个体间的差异性不是仅仅表现在属性上，而且涉及结构和关系，则需要为有差异的实体建立不同的表和对应关系。
因而今天的许多业务系统往往需要几千张表，甚至数万张表。
数据库的结构变得十分复杂，数据库中的信息变得难以理解。
而且，在现实数据中，有许多类型是关系数据库不能较好地处理的。
处理高效性
从某种意义上而言，今天业务系统数据库的信息是业务系统运行的副产物。
数据库是为支撑特定业务应用的运行而设计，数据库中的数据也只被单一系统使用，所以很少考虑这些信息是否易于理解。
然而，今天越来越多的系统需要相互协作、共享信息。
信息的可读性、能否易于理解变得日益重要。
为静态应用设计的关系型数据库管理系统，并没有经过针对高效事务处理而进行的优化过程。
其结果往往是某些关系型数据库产品，在对Web的事务处理过程中，没有达到预期的效果。
用关系数据库的两维表数据模型，可以处理在大多数事务处理应用中的典型多维数据，但其结果往往是建立和使用大量的数据表格，仍很难建立起能模拟现实世界的数据模型。
并且在数据需要作报表输出时，又要反过来将已分散设置的大量的两维数据表，再利用索引等技术进行表的连接后，才能找到全部所需的数据，而这又势必影响到应用系统的响应速度。
应用灵活性
随着IT系统进入社会生活的各个方面，信息不仅日益复杂，而且其需求内容和结构随着时间的推移也不断地产生变化．现实世界要求信息技术具有越来越高的灵活性和适应性．关系型数据理论所采用的是一种固定的建模方式，任何关系和属性一旦定义，就是固定的，难以随着需求的变化进行灵活的调整。
关系数据库技术在有效支持应用和数据复杂性上的能力是受限制的。
关系数据库原先依据的规范化设计方法，对于复杂事务处理数据库系统的设计和性能优化来说，已经无能为力。
此外，高昂的开发和维护费用也让企业难以承受。
在XML、InfoBase、Websever等概念热炒时，我们仍然看到目前的数据库技术，实际上只为企业解决了15%的结构化数据管理问题，其余85%的非结构化数据该怎么来管呢？
后关系时代数据库的3种演变
虽然传统的关系数据库很适用于事务处理，但在处理非结构数据时却心有余而力不足。
很多的数据库应用开发者已经认识到了关系数据库的限制，并开始寻找适合的替代方案。
但变革并不是很容易就可以实现的。
改良派：
融入XML技术
XML语言的出现，给数据库系统的发展开辟了一片新的天地。
XML的全称是“可扩展的标识语言”。
XML有下列重要特性：
一、XML是一种表意而非表形的元语言。
采用不同的显示页就可以做到同一数据源却有不同途径的显示结果。
二、XML是Internet的标准语言，因而具有跨操作平台、跨区域的特点。
三、由于XML能为机器所解读，使得“服务器对服务器”的应用成为可能。
四、XML是一种可自我描述定义的元语言，所以它可以大量用于制定行业内及行业间数据交换的标准。
IBM的新一代数据库DB29第一次实现了关系型引擎与层次型引擎的结合，实现了混合数据库。
IBM公司技术人员认为，关系数据库对非结构化数据的支持不亚于从层次数据库到关系数据库的革命性转变。
XML在信息管理领域无处不在，不管是管理结构化或非结构化信息，或者用于信息传输，或者是集成信息的映射标准。
它现在是不可或缺的。
而甲骨文、微软、sybase等数据库厂商也同样看到了这个趋势，并提供了第一轮的XML支持。
我们不难看出，将XML技术和关系数据库进行整合，目前已经得到了主流关系型数据库厂商们的大力支持。
毕竟，经过多年的打拚，各大数据库厂商的市场地位已经确立，其产品的市场分额也相对平稳。
用户很大程度上也已接受并且习惯传统数据库的使用方式，如果完全替换掉原有的关系型数据库，不仅需要一定时间来适应，同时，如何解决新旧系统间数据的导入、格式的统一以及与应用系统接口的调整，也是一个很伤脑筋的问题。
能够在现有系统的基础上，增加对非结构化数据的支持，实现系统无缝、平稳过渡，也是用户最希望看到的。
专家观点：
中国软件行业协会数据库及应用软件分会秘书长王腾蛟
关系型数据库技术经过多年的积累，其数学模型已经相对完善，结构也很简单，尽管在不同数据格式的数据交换中，关系数据库表现不是很好，但是在处理速度上，关系型是强于XML的。
同时，在针对事务处理方面，目前还没有比关系型更好的。
尽管数据库未来究竟采取何种方式发展，现在还不好说，但是将XML技术融于关系数据库中，实现对异构数据的管理，这确实是一种很好的尝试。
革新派：
取代DataBase
为了让企业更加有序地存储、管理并利用所有非结构化信息，有人提出了用“内容信息库（InFobase）”取代传统数据库（DataBase）的观点。
所谓“信息库”，其实就是利用一个统一的数学模型，对目前的数据库技术（DataBase）和企业内容管理系统（ecm）进行整合，从而在一个统一的平台上，有效地实现对结构化数据和非结构化数据的集中统一管理。
“信息库”向主流的数据库技术提出了挑战，它所包含的范畴将比数据库技术广泛得多，以至于我们目前还很难用几个简单的应用来定义其特征。
IBM技术人员在接受记者采访时表示，“信息库”应该包含以下内容：
一、完善的系统架构
“信息库”技术需要考虑如何实现灵活高效的数据模型，如何实现完善的访问控制管理，以及如何支持大量数据的存储和上千的并发用户。
二、数据模型
数据模型的能力直接表现出一个平台适应用户需求的能力。
丰富元数据的模型不是一蹴而就的，这就要求一个面向客户全部信息管理的通用数据模型，以适应客户不断变化的需求。
三、检索查询等功能的完备。
对于“信息库”技术的最终用户来说，如何高效准确地找到自己所需要的资源是首要课题。
四、内容管理的API。
完整的API支持是区别“信息库”技术和一般的内容管理应用软件的重要依据。
目前，IBM、甲骨文、微软等主流数据库技术厂商，以及OpenText、ITRS等ECM软件厂商已经开始了针对统一标准的“信息库”研发工作，对传统数据库技术的革新工作，已经拉开了序幕。
专家观点：
IBM中国软件部技术经理杨子阳
目前，关系型数据库也在采用很多方法来实现对异构数据的管理，比如说IBM的DB29中的purexml。
XML技术很大程度上可以解决关系型数据库对非结构性数据的存储问题，但是，靠增加一些模块到一个已经很复杂的关系数据库上去的途径，并不能从根本上解决问题。
我们知道，数据库技术的一个基本目标就是要找到一个恰当的数据模型来表达它所管理的对象。
为了解决用关系数据库不能有效表达和管理复杂数据的问题，我们应该寻求更好的、采用更适合管理复杂数据的数学模型，来适应新的变化。
颠覆派：
让数据库消失
互联网可谓包罗万象,如果你愿意你几乎可以寻找到你想要的任何信息。
某种意义上说，Web本身就是一个巨大的信息容器。
因此，有人作出这样一个预言：
在网络时代，数据库技术将消亡。
Web时代数据技术将向哪个方向走呢？
有一种看法是，它将向把数据本身、语义本身结构化的方向发展，不是在库这个容器中刻划出维度来处理数据，而是要对语言本身进行结构化处理，把维度内嵌到数据本身之中，这也是第三代互联网的神髓。
从研究的角度出发，Web上的信息确实就是一个数据库，一个更大、更复杂的数据库。
Web上的每一个站点就是一个数据源，每个数据源都是异构的，这就构成一个巨大的异构数据库环境。
充分利用有用的数据，对尽可能多的数据进行有效的存储、管理、分析和挖掘，这本身就是数据库技术思想的基础。
但是，用Web来取代数据库，可能在很多方面还不成熟。
首先，Web上的数据非常复杂，每一站点的数据都各自独立设计，并且数据具有自述性和动态可变性。
其次，如果用Web技术取代数据库，必须要研究站点之间异构数据的集成问题，只有将这些站点的数据都集成起来，提供给用户一个统一的视图，才有可能从巨大的数据资源中获取所需的东西，这就涉及到数据格式统一的问题。
再次，要解决Web上的数据查询问题，如果所需的数据不能很有效得到，对数据进行分析、集成、处理就无从谈起。
最后，要面对用户数据保密问题。
因为在用户的使用中，并不是所有的数据都可以放到互联网中的。
对于用户不愿意放到网络中保存的数据，web数据库将提供何种方式进行保存呢？
专家观点：
酷讯网CEO陈华
用Web取代数据库，理论上有这种可能，并且可能会对现有的搜索技术带来影响，不过这种观点太过理想化，真正实现起来将会出现很多困难。
比如说网页数据的统一格式问题，对于网站来说，最重要的是给用户看的，而不是供机器进行数据挖掘的，对网页数据格式的统一，在技术上可以实现，在应用中很难。
此外还包括数据公开的问题、查询的速度问题以及并发性的响应问题。
数据库技术应用的4个方向
方向1.实现非结构化数据管理
企业在信息化过程中需要处理大量报表、账单、影像、电子文档、图片、音频、视频等非机构化数据，这些数据难以用传统的关系型数据库管理。
随着XML技术的出现，数据库实现对非结构化数据的管理已经成为可能。
“如果谁能控制、支持和存储所有类型的数据，那么这样的厂商也就有能力扩展自己其他产品和服务的市场空间。
因此整合XML、对象数据、多媒体数据，将所有数据类型放在一个平台上将是传统的关系数据库发展的一大趋势。
”
不过，处理结构化数据的关系型数据库从理论到技术上经历了30多年发展，已经相当成熟，而非结构化数据的复杂程度远远高于结构化数据，所以非结构化数据的存储还存在很多有待解决的难题，比如，如何很好地解决多种异构数据源的存储和查询就是其中的关键问题。
虽然有人认为将来XML数据库将能比较好地解决非结构化数据的管理问题，但将现有文档映射到XML文档的工作才刚刚开始，XML查询语言也远不如SQL成熟。
方向2.实现对Web数据的挖掘
近年来，随着Internet技术的快速普及和迅猛发展，使各种信息可以以非常低的成本在网络上获得，由于Internet在全球互连互通，可以从中取得的数据量难以计算，而且Internet的发展趋势继续看好，特别是电子商务的蓬勃发展为网络应用提供了强大支持，如何在Internet这个全球最大的数据集合中发现有用信息无疑将成为数据挖掘研究的热点。
数据库技术应用于Web挖掘主要是为了解决Web信息的管理和查询问题。
这些问题可以分为三类：
Web信息的建模和查询；信息抽取与集成；Web站点建构和重构。
从数据库的观点进行Web内容挖掘主要是试图建立Web站点的数据模型并加以集成，以支持复杂查询，而不止是简单的基于关键词的搜索。
这要通过找到Web文档的模式、建立Web数据仓库或Web知识库或虚拟数据库来实现。
相关研究主要是基于半结构化数据进行的。
长期以来，由于在数据库观点下数据的表示方法比较特殊，其中包含了关系层次和图形化的数据，所以大部分建立在扁平数据集合之上的数据挖掘方法不能直接使用。
目前已经有人针对多层数据库挖掘算法进行研究。
方向3.对智能搜索技术的支撑
搜索技术是现在互联网的热门应用，不
升级会员 