高校私有云存储解决方案.docx

1、高校私有云存储解决方案高校私有云存储解决方案目 录1 高校私有云存储简介 31.1 高校云存储市场的发展背景 31.2 高校私有云存储需求分析 41.3 云盘私有云存储简介 41.4 采用云盘的技术优势 62 校园云盘系统架构 72.1 逻辑架构 72.2 拓扑架构 83 校园云盘系统详细设计 83.1 云盘管理系统 93.1.1 数据管理 93.1.2 账户管理 103.1.3 数据共享 113.1.4 客户端支持 113.1.5 运维管理 123.1.6 开放API 123.2 云盘存储系统 133.2.1 索引控制器集群 143.2.2 数据控制器集群 154 校园云盘应用机制 151

2、高校私有云存储简介1.1 高校云存储市场的发展背景据权威机构预测，未来几年中国云存储市场的年复合增长率将达到103%，云存储市场规模将由2009年的605万美元快速增长至2014年的2.1亿美元，云存储市场正式步入迅速发展期。目前的云存储市场中，云盘是最典型、最成熟的应用模式，它可以通过Web方式在公有云或私有云环境内实现数据的存储、访问、备份、共享等功能，为用户提供简便快捷的数据存储或数据共享服务。目前，面向个人消费市场的云盘技术已趋于成熟，国内外主流互联网公司都相继推出了基于广域网的云盘产品。相对于个人消费市场，企业级用户对文件存储、共享和分发功能有着更紧迫而现实的需求。同时，随着互联网技

3、术的快速发展，教育机构的办公方式和业务流程发生了巨大的变化，大量数据信息的创建、存储、传输，以及共享方式也随之而变。教育机构中大量核心机密信息和重要敏感数据，例如视频信息、课件资料、培训教案、教学档案等，都以电子文档形式存储于内部网络中，给信息的安全管理带来了巨大的挑战。教育机构面临的这些安全和管理上的挑战促使了国内高校私有云存储市场的迅速发展。早在2012年10月，北京师范大学推出云存储平台“师大云盘”一期应用，为师生提供便捷的“云”存储空间，每位教师平均100GB的云存储容量。“师大云盘”为学校的院系、研究中心、科研团队提供科研数据、教学资源等的云存储整体解决方案，为教师、学生提供了一个科

4、研资源管理和个人教学的共享平台。2013年，中央财经大学也启动了云存储网盘系统建设项目，该平台预计能够实现学校内部跨平台的文件存储、备份、恢复和文件共享功能，实现协同办公，并支持与校园网门户网站对接。上海交通大学也通过与厂商合作的方式搭建了校园的云存储平台，可以为师生提供类似网盘的服务和文件共享服务，为教师和学生提供20GB和10GB的存储空间，总容量达到30TB以上。1.2 高校私有云存储需求分析随着教育改革的不断深化，作为核心媒介的文件是指导学校开展教育工作的主要依据。长期以来，由于种种原因，学校文件管理一直是常规工作的一个薄弱环节。学校文件主要包括政策公文、老师教学材料、教案、学生论文与

5、作业文件等。在日常教学管理工作中，面临如下挑战：1) 讲师在外出授课的过程中造成重要课件资料、视频信息的外泄；2) 校区和各学院的重要资产不便于纳入统一的安全管理体系之中；3) 分布零散的教学文档，当教务人员流动造成知识财产流失；4) 包含视频、教案、课件信息、学生资料的存储设备丢失（笔记本电脑、移动硬盘丢失）；5) 人为或自然灾害导致视频、课件资料、档案、学生资料的破坏等；1.3 云盘私有云存储简介作为国内云存储领域的领先厂商，公司一直致力于云存储产品的研发，经过多年的技术积累和深入研究，推出了面向企业级用户的云存储应用产品云盘。云盘产品基于对教育行业的深刻理解，结合国外的管理思想和经验，推

6、出了结合国内需求的教育行业解决方案。云盘教育行业解决方案主要围绕各类学校、培训机构提供文档统一管理、文档在线协作、保护知识财产等方面提供强有力的解决方案。学生、老师可以通过这个平台上传文件、知识、视频等，实现信息内容、知识的共享、创新，有效的管理这些内容。1) 高效的数据传输性能云盘采用并行云存储ParaStor200系统直接嵌入CloudStor云盘软件对外提供服务，减少了前端部署web服务器所带来的的带宽瓶颈，带宽利用率高达90%以上，控制信息对资源消耗极少，数据传输能力完全取决于可用带宽，满足用户频繁访问与大量并发上下载对存储带宽的需求。2) 数据自动备份通过设定策略，用户可以实现自动化

7、和手动方式进行文件备份，备份模式可选完全备份或增量备份。高校异地分校的信息中心可以利用互联网络将重要的数据文件集中备份到总部中心机房中集中存储，这样在分校信息中心遇到宕机或灾难时可以保证重要数据的安全性和可用性。3) 随时随地的访问全校师生随时随地都可以管理自己的文件，不管是在家中、学校或其它任何地方，只要连接到互联网，就可以管理存储在远程云盘系统上的文件，就如同管理存储在本地的文件一样。4) 资源共享将用户添加到组中，达到用户间的资源共享。高校内部可依据学院或实验室搭建多个资源共享平台，为师生提供多个共享资源的平台，方便日常文件与资源的及时共享，使日常工作更加便捷。5) 简单易用用户可以选择

8、基于Web浏览器、客户端的两种操作模式来访问云盘系统，使用便利，随时随地通过网络登陆，上传、下载文件。6) 海量空间管理云盘可以为多用户提供海量的网络存储空间，网络空间易管理，用户网络存储空间大小可随时改变，云盘系统可提供高达PB级的存储容量。系统容量可在线扩展，充分满足用户扩容需求，保护用户投资。7) 多层次数据安全保障云盘系统的设计考虑了多层次的数据安全保障，整个系统采用分等级的权限设置和管理，保证了用户的数据安全，防止数据的泄漏和丢失。并且利用SSL协议将数据加密后在网络上进行传输，即便数据流被他人从网络截取，其得到的也是无法识别的密文。8) 部署简单部署云盘系统不需要额外购买服务器与其

9、他配件，可直接部署到现有并行云存储系统环境中。9) 投资保护云盘直接嵌入软件到并行云存储系统ParaStor200中对外提供服务，减少了web服务器的瓶颈，更好的利用了ParaStor200高带宽、高稳定性的特点，同时减少了购买web服务器等设备的投入，保护了高校信息化的投资。1.4 采用云盘的技术优势云盘是公司自主研发的、面向企业级用户的云存储应用产品，是一个基于云计算理念的文件数据集中管理平台。产品采用分布式架构设计，以文件同步技术为基础，融合了云存储、智能同步、细分存储权限、移动终端等多项技术，以业界领先的服务器和云存储基础架构产品为支撑，为企业级用户提供文件数据存储、共享、管理、同步、

10、备份以及中转服务，使得无论身处何地，用户都可通过任何一台连接互联网或者内部网络的计算机或者移动终端，安全地访问、共享文件数据，有效保证用户的数据安全与业务连续性。其优势归纳如下：1）元数据/流数据分离机制，高效的负载均衡和数据库高可用技术，确保系统的高性能和高可靠性。系统采用元数据和流数据分离技术，元数据和流数据分别存放于数据库和后端存储系统中，有效地提高系统的性能和扩展性。Web服务器采用先进的负载均衡技术，数据库采用高效的冗余备份技术，从而提高了数据的安全性和系统的可靠性。整套系统无单点故障，确保系统的高可用性。2）与云存储基础架构的无缝结合，可提高系统的性能、安全可靠性和扩展能力。云盘可

11、以与云存储基础架构产品无缝完美结合，利用其高性能、高可靠性和高可扩展性的优势，对数据传输进行优化，为用户提供极佳的数据传输和存取性能，结合高效的 数据传输加密技术以及系统全冗余高可用架构，确保系统和用户数据的安全可靠，整套系统易于扩展升级。3）丰富的文件和目录管理功能，以及完善的系统管理功能，便于使用和管理。云盘提供文件的存储、访问、备份、共享等文件管理功能，以及目录共享功能，可以满足企业级用户文件在线存储需求。云盘可提供完善的系统管理功能，如文件管理、系统管理、用户管理、日志管理、数据统计、APP管理和API管理等，便于系统维护和管理。4）分级权限管理机制可提供企业级、部门级以及项目级的协同

12、工作和资源共享服务，适应动态变化的业务需求。根据企业或者高校的组织结构和业务流程需要构建文件存储架构，并通过设定不同角色的操作权限和空间配额，构建专业安全的内部数据交换管理平台，实现内部公共数据的快速分发和独立管理，提高工作效率，降低数据管理成本，充分满足企业和高校用户对数据存储、交换的安全性和可管理性的需求。5）多终端无缝访问，数据多设备间同步及文档协作，提供自动同步和选择性同步等多种同步方式。用户可通过WEB客户端、Windows客户端以及手机移动终端等多种访问方式进行文件的上传下载和文档数据的共享分发，实现异构设备间的文件同步和共享功能。系统支持GB级大文件以及各种格式的数据资料的传输共

13、享，能够提供数据“随时随地”存取、备份和分享服务，保证数据业务的交换速率。6）软件定制化功能可优化组织内部业务流程，打造优质的用户体验，展示组织文化，提升组织形象。系统提供定制化功能，用户可以根据自身需求，定制软件功能和系统界面，有效管理组织内重要数据的汇总分发、存储备份，防止重要文件外泄，提供完备的日志审计功能，所有操作都会永久保留记录，可充分保障数据安全。2 校园云盘系统架构2.1 逻辑架构公司的云盘产品以底层的服务器和云存储基础架构产品为支撑，整合了数据管理、运维管理、帐户管理、开放API支持等功能模块，对外支持多种终端访问方式，不仅可以提供面向个人云存储应用产品易用美观的客户端以及文件

14、共享功能，还着力打造了私有云存储服务所需要的数据私有化、数据高速传输、系统全冗余、数据高可用、负载均衡以数据传输存储加密等高级功能特性，并且可以按照高校用户的组织架构进行文档分发共享的控制管理功能。2.2 拓扑架构云盘系统是一款具备网络存储、文件管理、数据同步、高效传输四大功能的产品，集软硬件产品为一体，为高校用户提供高带宽、高可用、易管理的网络存储与自动数据同步系统。云盘系统的部署可以使高校异地分散的分校与主校区之间利用互联网络将重要的数据文件集中备份到主校区中心机房，防止系统宕机、灾难发生或病毒、人为出错、硬件故障造成的数据丢失，保障全校师生以及教学系统数据的安全性和高可用性。3 校园云盘

15、系统详细设计校园云盘全部采用商品化部件，为用户提供一个简单，易用的界面方便用户操作。后端采用高性能、高可靠、易扩展的PB级存储系统，非常容易使用和管理，有极具竞争力的总拥有成本（Total Cost of Ownership，TCO）。后端存储采用“将磁盘、服务器和网络等设备失效作为常态考虑”的理念，所有部件冗余，并通过数据冗余提供很高的可靠性和可用性。校园云盘架构图校园云盘系统由存储服务集群、共享存储池和数据库集群三部分组成，每一部分都通过集群方案实现系统的高可用，避免了单一故障点。客户端登录到服务集群的某一台服务器上， 即服务节点，通过自服务界面进行操作。用户信息、文件位置、共享关系和权限

16、等元信息保存在数据库集群中，这些信息通过服务节点呈现给用户。用户上传和下载文件直接由服务节点操作共享存储池，不需要操作数据库节点。3.1 云盘管理系统3.1.1 数据管理云盘提供全局统一命名空间的用户专属空间，在保证用户空间的情况下，提高存储利用率（90%）。文件夹支持常规操作，包括增删改查、重命名等管理操作，并且支持文件夹配额，在客户端支持批量文件上传及下载，另外提供超大文件的上传及下载；客户端支持文件夹/文件的批量上传，只需直接拖拽即可完成，在客户端下还支持断点续传，这样可以防止在网络中断等物理连接失效时文件的上传失败。云盘在支持常用数据操作的基础上，还提供同步备份，客户端可以实现自动同步

17、，校园云盘采用版本管理，版本纪录用到了差分编码技术，为了节省带宽和时间，当用户文件夹中的文件发生变化后，只上传改变的文件部分，并实施同步，可以实现数据恢复到以前版本以便于用户找寻正确的文件档案。3.1.2 账户管理账户管理包括：账户角色互换，账户增删改查，账户设置，账户授权，账户登录等功能要素。1）账户分为超级管理员、管理员和普通用户等角色。超级管理员用于管理管理员账户，可进行系统的日志查询,审计，系统维护等管理操作；管理员用于管理全校师生子账户，可进行学校内存储空间使用的统计查询、权限设置等功能；普通用户即云盘的终端用户，可进行文件的上传下载等；管理员可实现对账户角色的互换；2）提供账户的增

18、删改查基本功能： 支持用户通过申请注册进行账户创建，包括管理员和普通用户； 支持超级管理员直接创建管理账户和普通用户功能； 支持管理员创建校内子账户功能； 支持对账户的相应删除功能； 支持帐号的批量导入导出。3）账户设置包括管理员及普通用户设置。管理员可以设置学校信息：LOGO，学校简介，滚动信息，公共栏信息等内容；普通账户可以设置账户基本信息（昵称，电子邮件，手机号码等），修改密码，修改安全问题等。4）账户授权超级管理员可以对普通用户做如下授权: 设置管理员、普通用户可以使用的空间配额； 设置学校的最大用户数； 重置管理员、普通用户的登录密码； 冻结、解冻管理员用户、普通用户的使用；管理员可

19、以对用户进行授权设置操作： 设置用户可以使用的空间配额； 设置用户所在共享组（共享组内的成员可以进行文件共享、数据交换等操作） 重置用户的登录密码 冻结、解冻用户的使用5）账户登录支持基于用户名密码以及验证码登录。管理员可创建及删除新的子账户；管理员可赋予子账户对文件夹的读写等权限，提供对二级域名的支持。可以通过“账户设置”中修改并定制公司名称和公司Logo来定制二级域名页面。并可实现通过二级域名页面登录框中输入子账户的登录名和密码，即可登录到子账户。3.1.3 数据共享管理员可在学校内部按学院、实验室等维度对子账户建立共享组；可将子账户加入和退出共享组并可基于共享组设置所需文件夹对应的读写权

20、限；共享者可查看共享组内的用户列表、共享组内共享的文件等信息；用户可对文件夹投递给指定用户或者是共享组及全校范围内共享，并可设置读写等操作权限；另外还可查询出文件或文件夹共享给哪些用户或共享组；对于需要给某个用户临时权限时，还提供上传码管理，校园云盘提供生成上传码，用户只需要交付给临时用户一个上传码即可让临时用户提交文件至指定路径下面。对于需要临时提供下载的连接，同时提供外链管理，外链提供一个标准的http连接供临时下载需要。云盘数据在传输过程中实现SSL（256 bit）加密以保证数据安全，用户可以选择对保存的文件进行加密保存从而实现用户数据仅对用户自身以及共享权限范围内的用户可见；运维管理

21、范围内还提供日志记录、查询、审计、追溯等功能以保证数据的可溯性。3.1.4 客户端支持校园云盘产品支持多种类型的客户端，具体包括： 支持多浏览器网页版本； 支持Windows系列的客户端版本； 支持Android手机端版本； 支持iPhone/iPad版本；云盘客户端提供简单安全易用的数据传输与共享服务，可以通过客户端实现文件/文件夹的批量传输、加密传输、共享设置、即时接收他人共享、支持断点续传、在线自动同步、手动同步功能。用户可选择需同步的目录。Windows客户端软件拥有与Windows桌面资源管理器同样界面和相同体验,并在资源管理器中增加一个盘符。打开盘符后可以像操作本地文件一样操作客户

22、端盘符内的文件.客户端自动完成服务端文件与本地文件的同步。3.1.5 运维管理云盘提供公告栏、消息通知等功能以方便企业级应用。另外云盘还提供日志记录，使用统计，监控管理，界面定制，license控制等功能。云盘提供多维度的计费统计账单功能： 提供按容量、使用量、流量、使用时间等方式的计费功能； 能将统计数据以账单表格、图形等形式直观的进行显示； 支持常见格式的账单导出功能，如PDF,XLS,WORD等。3.1.6 开放API校园云盘采用REST风格API，可以通过API几乎连接所有的计算机，智能手机或平板。通过API用户可以实现文件（文件，图片，视频）的在线存储。API支持跨平台操作，包括Wi

23、ndows，IOS，Android，Web等多种方式。API还支持简单共享，文件版本历史，搜索等操作。3.2 云盘存储系统云盘存储系统架构图校园云盘后端采用ParaStor分布式存储系统，非常适合于资源密集型应用中海量文件数据管理和数据交换平台的构建。ParaStor全部采用商品化部件，为云盘平台提供一个共享的、高性能、高可靠、易扩展的PB级存储系统，非常容易使用和管理，有极具竞争力的总拥有成本（Total Cost of Ownership，TCO）。它对外提供Posix、CIFS等多种文件系统接口。ParaStor采用“将磁盘、服务器和网络等设备失效作为常态考虑”的理念，所有部件冗余，并通

24、过数据冗余提供很高的可靠性和可用性。它有如下主要技术特点： 采用对象存储技术； 采用多副本方案解决数据可用性问题； 系统中全部设备都有冗余，包括磁盘、网卡、交换机等设备和服务器； 多索引控制器体系，提供几乎不受限制的单一命名空间，可轻松达到十几PB； 索引数据也采用副本实现高可用，单个索引控制器损坏，其它可立刻提供服务； 索引数据通路与应用数据通路分离，通过增加数据控制器实现性能近线性的扩展，可达数十GB/s； 充分发挥各个索引控制器性能的非集中式索引数据处理，通过加速器集群（oCache）实现同一个索引数据的读写操作分离进行； 采用弹性目录索引技术，在单个目录下高效地存储并检索千万级的子目录

25、和文件；如图所示，ParaStor系统包含五类组件：索引控制器oPara、数据控制器oStor、应用服务器oApp、缓存控制器oCache和管理控制器MGR。其中，索引控制器用于管理存储系统的命名空间和所有索引数据，对外提供单一的全局映像。数据控制器提供数据存储空间，并实现存取动作，支持多个数据副本。应用服务器位于客户端，向上层应用提供数据访问接口，支持多种64位Linux操作系统。缓存控制器缓存索引数据，提高索引数据访问的吞吐率。管理控制器提供统一的控制管理界面，管理员通过该节点管理整个系统。整个数据集合均匀地分散在不同的数据控制器上，用户访问索引控制器得到文件位置信息后，直接访问数据控制器

26、读写数据。这种控制路径和数据路径分离的方式，分散了索引控制器的负载，可获得极高的聚合带宽，也大大提高了系统的扩展性。每个组件通过多条独立的网络链路相互访问，支持以太网和Infiniband高速网络。在索引数据读操作比例很高的环境中，配置加速集群用作分担读负载。ParaStor普遍采用业界成熟的集群结构，这也是它很多优点的来源。系统内部主要包括索引控制器集群和数据控制器集群两种。3.2.1 索引控制器集群后端存储系统实现了多索引控制器架构，所有控制器同时使用，从而提供几乎不受限制的单一命名空间和很高的索引数据服务能力。索引控制器成组使用，按组扩展。每个组包含2台索引控制器，它们之间不使用任何共享

27、设备，但通过互为备份，保存着完全相同的内容。2个节点之间互发心跳，一旦判断到对方失效，立即接替失效节点，使用本地存储的全部数据，对外提供服务。索引数据以普通文件的方式存储于索引控制器的本地存储设备上，通过日志，实现组内数据同步，以确保索引数据的可靠性。利用弹性的目录索引技术，实现文件路径到索引数据位置的快速映射，可使每个目录支持的子目录或文件数目达到千万级，而解析操作仍保持良好的响应时间范围内。3.2.2 数据控制器集群数据控制器集群中的成员以全对等方式，提供数据存储服务。每个控制器在自已的存储设备上保存整个命名空间的一部分数据，直接对用户提供数据读写功能。数据控制器之间通过多套网络互联，既提

28、高系统带宽，也提高网络系统的可用性。数据控制器之间不共享任何部件。采用多副本方式提高数据可用性，同一个文件的多个副本存储在不同的服务器上，即使整个控制器失效，也会由其它控制器的上副本数据对外提供服务。大型数据分成若干片段（对象）存储在不同的设备上，所有这些数据对象的存储和访问的细节都由数据控制器本地实现。这种存储空间分层管理的设计减轻了软件管理元数据的复杂程度，相比StorNext等SAN存储系统大大提高了系统的扩展性和单一命名空间的容量。存储采用24盘位的I640存储服务器作为数据控制器，采用1TB、3TB的SATA磁盘及各种规格的SAS磁盘，每个控制器可以提供高达70TB的存储空间。4 校

29、园云盘应用机制在校教师和学生用户可以通过高校私有云存储平台存储个人资源、发布或访问共享资源。应用1：老师在办公室使用PC机将PPT课件上传到云存储平台，课上在教室使用IPAD下载并播放课件，课后在家中将PPT直接通过云盘共享的方式共享给全班同学。同时，老师还可以设置自己的文件夹，收集学生上交的作业和学生学习遇到的问题。如果某个学生的作业做得很好，可以将该同学的作业共享给其他学生，快速达到相互学习的目的。应用2：学生可以将自己的数据保存至云盘，防止优盘丢失或损坏造成数据丢失，同时可以使用移动终端接受或共享数据，在线预览数据，使用PC同步版软件像操作自己本地磁盘文件一样方便，这样一来，上交课程作业就变得轻松而快捷。学生可以将自己的课程学习笔记共享给自己的好友，如果学生误删了数据，可以通过web端找回数据。应用3： 学院的老师通过高校私有云存储平台建立了一个学科研究专题资源库，并发布了有关图片、视频和文档，向本院系师生开放，以方便全校师生在教学科研中使用。