基于开源软件的云存储系统设计与实现毕业设计论文Word格式文档下载.docx

1、 LDAP； 云 存 储cl ou d s tora g e sy ste m de s ig n a nd Im p l e m e nta ti on of the ope n sou rc e softw a re a u thor: Zha ng H a i y a ng tu tor: Zhe ng P e ngAbstractNA S N etw ork A tta c hed S tora g e i s to store da ta a s the c ore, strippi ng the re q u i red da ta from th e serv er stora

2、g e to c e ntra l i z e d m a na g e m e nt. S i m p l y pu t, a netw ork v ersi o n o f th e ha rd di sk stora g e . Da ta on the serv er ha s a ba ck u p, so u sers w i l l be a bl e to better pla y to thepe r form a nce of broa dba ndT he O p enfil er ba se d on a L inu x sy ste m ru nni ng on a

3、fre e softw a re produ ct, the re a re di ffere nce s of S A N a nd N A S m e rg er for a S A N - N A S hy bri d from the sa m e sy ste m to prov id e th e fi l e - l ev el protocol s （ N A S ） a nd b lock -l e v e l a g re e m ents （ S A N s） . T hi s show s tha t S A N a n d NA S a re no t m u tu

4、a l l y ex clu si v e .One w a y to l oo se l y c o nc e ptu a l i z e th e di ffe re nc e be tw ee n a N A S a nd a S A N i s tha t a N A S a ppea r s to the c l i ent OS （ opera ti ng sy ste m ） a s a fi l e serv er （ the cl i e nt ca n m a p n e tw ork dri v e s to sha re s on tha t serv er） w h

5、erea s a di sk a v a i l a b l e throu g h a S A N sti l l a pp ea r s to the c l i ent O S a s a di sk , v i s ib l e i n di sk a nd v olu m e m a na g e m e nt u ti l i ti e s （ a long w i th c l i ents loca l di sk s） , a n d a v a i l a bl e to be form a tted w i th a f i l e sy ste m a nd m ou

6、nte d.C lou d stora g e w i l l be tog ethe r a l ot of d i fferen t ty pe s of stora g e d e v i ce s throu g h thesoftw a re to w ork tog ether, a com m on ex terna l da ta stora g e serv i c e s . C l ou d s tora g e serv i c e s of tra ditiona l s tora g e te chn ol og y in da ta se cu ri ty, re

7、 l i a b i l i ty, ea se of m a na g e m e nt a nd other ne w cha l l eng e s. U s ing the ope nfi l er confi g u re a N A S di sk , crea te a L D A P a u thentica tio n prote c tio n to m e et the ne e d s of the u ser spa c e , the l i fti ng o f the w orri e s for the fu tu re ofne tw ork se cu r

8、i tyK e y w o r d s : N etw ork -a tta c he d s tora g e （ N A S ） ; S tora g e a rea netw ork （ S A N）; Op e nfil er; L DA P; C l ou d s tora g e第 一 章 系 统 概 述 11.1 存 储 概 述 11.2 存 储 和 云 存 储 21.2 .1 什 么 是 存 储 21.2 .2 什 么 是 云 存 储 31.2 .3 存 储 是 云 存 储 的 配 件 41.3 虚 拟 化 技 术 41.3 .1 物 理 资 源 的 池 化 51.3 .2 资

9、 源 池 的 管 理 和 使 用 51.4 存 储 虚 拟 化 61.4 . 1 存 储 虚 拟 化 技 术 71.4 .2 存 储 虚 拟 化 形 式 8第 二 章 需 求 分 析 112.1 用 户 需 求 112.2 功 能 需 求 122.2 .1 支 持 i S C S I 服 务 122.2 .2 支 持 LDA P 服 务 132.2 .3 支 持 FC 协 议 132.2 .4 支 持 X FS 协 议 142.2 .5 实 现 映 射 152.2 .6 支 持 图 形 化 界 面 152.2 .7 实 现 安 全 性 152.2 .8 实 现 云 存 储 152.3 模 拟

10、实 现 152.3 .1 Oracle V M Vi rtual B ox（ 虚 拟 机 ） 162.3 .2 存 储 虚 拟 化 开 源 软 件 openfile r 162.3 .3 网 络 附 属 存 储 （ NA S ） 17第 三 章 总 体 设 计 183.1 云 存 储 系 统 的 结 构 模 型 183.1 .1 存 储 层 183.1 .2 基 础 管 理 层 193.1 .3 应 用 接 口 层 193.1 .4 访 问 层 193.2 X FS 标 准 架 构 193.3 网 络 附 属 存 储 （ NA S ） 203.3 .1 NAS 数 据 存 储 的 优 势 ：

11、213.3 .2 NAS 与 S AN 的 比 较 21第 四 章 详 细 实 现 234.1 openfile r 支 持 的 服 务 和 协 议 234.1 .1 i S C S I 服 务 234.1 .2 LDA P 服 务 244.2 openfile r 的 配 置 244.2 .1 开 启 openfile r 的 web 服 务 界 面 244.2 .2 开 启 openfile r 的 S ervi ces 254.2 .3 配 置 openfile r 的 网 络 附 属 存 储 （ NA S ） 26第 五 章 系 统 测 试 375.1 访 问 NAS 375.2 测

12、试 用 户 访 问 权 限 395.2 .1 连 接 NAS 395.2 .2 访 问 NAS 存 储 395.2 .3 使 用 NAS 存 储 40结 束 语 44题 注 列 表 46致 谢 48参 考 文 献 49附 录 ： 英 文 资 料 翻 译 50太 原 科 技 大 学 学 士 学 位 论 文第一章 系统概述1 .1 存储概述自 从 计 算 机 技 术 的 出 现 到 现 在 ， 存 储 技 术 一 直 是 被 众 多 研 究 者 和 开 发 者 所 津 津 乐 道 。 数 据 无 疑 是 整 个 计 算 机 系 统 最 为 关 键 的 部 分 之 一 。 因 此 如 何 高 效 、

13、 安 全 的 管 理 数 据 直 接 影 响 到 用 户 对 计 算 机 体 验 效 果 。 在 整 体 信 息 技 术 界 飞 速 创 新 发 展 的 大 背 景 下 ， 数 据 量 同 样 在 以 前 所 未 有 的 速 度 高 速 增 长 。中 小 企 业 和 校 园 都 是 以 主 机 系 统 为 中 心 ， MAI L 电 子 邮 件 服 务 器 、 WEB 服 务 器 、 文 件 服 务 器 等 都 是 安 装 在 一 台 台 单 独 的 服 务 器 上 ， 应 用 的 稳 定 性 和 可 用 性 得 不 到 保 证 。 很 多 中 小 企 业 和 校 园 出 于 资 金 的 考

14、虑 ， 直 接 在 应 用 服 务 器 上 进 行 数 据 存 储 ， 也 就 是 我 们 常 见 的 DAS （ 直 接 访 问 存 储 ） 。 一 旦 磁 盘 损 坏 或 感 染 病 毒 这 就 会 造 成 数 据 丢 失 ， 直 接 影 响 企 业 的 正 常 业 务 。 随 着 企 业 的 发 展 ， 服 务 器 数 量 越 来 越 多 ， 应 用 系 统 也 大 量 增 加 ， 在 管 理 维护 上 就 出 现 了 以 下 几 种 主 要 的 问 题 ：1 . 数 据 量 大 。2 . 共 享 和 备 份 。通 常 每 个 服 务 器 上 的 存 储 都 未 能 充 分 利 用 且

15、不 能 共 享 ，使 得 企 业 在 存 储 方 面 的 投 资 大 量 浪 费 。 备 份 是 一 个 难 题 。 客 户 面 临 着 越 来 越 小 的 备 份 窗 口 ， 而 需 要 备 份 的 信 息 却 越 来 越 多 。 管 理 工 作 成 本 高 昂 。 分 散 的 备 份 ， 备 份 需 要 网 络 带 宽 ， 备 份 需 要 停 机 ， 恢 复 非常 耗 时 。3 . 负 载 均 衡 。各 个 服 务 器 的 负 载 不 均 衡 ， 有 的 里 面 仅 一 个 小 系 统 ， 有 的 承 载 重 负 荷 任 务 ， 造 成 资源 的 浪 费4 . 冗 余 ，从 应 用 到 存

16、 储 ， 冗 余 的 设 计 都 不 是 很 理 想 ， 极 易 出 现 单 点 故 障 ， 影 响 企 业 和 校 园 网 络 的 正 常 运 转 。为 了 解 决 上 面 所 述 的 存 储 问 题 和 数 字 化 企 业 和 校 园 的 建 设 与 发 展 对 于 作 为 基 础 设 施 的 存 储 系 统 要 求 也 越 来 越 高 的 情 况 ， 就 需 要 提 高 资 源 的 利 用 效 率 和 简 化 管 理 操 作 ， 而 Op e nf i l e r 就 是 一 个 强 大 的 基 于 WEB 浏 览 器 的 网 络 存 储 软 件 ， 能 够 在 一 个 单 一 的 框

17、架 中 提 供 对 基 于 文 件 的 网 络 附 加 存 储 和 基 于 块 的 存 储 区 域 网 络 的 支 持 。 Op e nf i l e r 支 持 绝 大 部 分 的 基 于 文 件 的 网 络 协 议 ， 包 括 NFS 、 S MB， CI FS 、 HTTP/ DAV 、 FTP、 i S CS I ， 还 可 以 使 用 廉 价 磁 盘 冗 余 阵 列 0 ， 1 ， 5 ， 6 和 1 0 来 配 置 磁 盘 系 统 。 像 其 它 专 业 的 中 小 企 业 网 络 存 储 服 务 器 一 样 ， Op e n f i l e r 同 样 提 供 文 件 快 照 方

18、 式 来 保 证 数 据 易 于 恢 复 。Op e nf i l e r 提 供 与 专 业 存 储 服 务 器 一 样 的 功 能 、 性 能 及 可 用 性 。 同 时 ， 使 用 它 的 花 费 却 远 远 低 于 专 业 的 存 储 服 务 器 ， 特 别 对 于 资 金 紧 张 的 中 小 企 业 和 校 园 来 说 ， 更 是 最 佳 的 选 择 。1 .2 存储和云存储1 .2 .1 什 么 是 存 储如 今 计 算 机 已 经 渗 透 到 企 业 运 作 的 各 个 角 落 ，企 业 依 靠 所 存 放 的 这 些 业 务 数 据 进 行 决 策 ， 因 此 企 业 如 何

19、存 放 数 据 成 为 企 业 信 息 系 统 的 重 中 之 重 ， 这 也 掀 起 了 如 今 的 存 储 热 潮 ， 那 么 到 底 什 么 是 存 储 ？ 存 储 的 含 义 究 竟 是 什 么 ？存 储 就 是 根 据 不 同 的 应 用 环 境 通 过 采 取 合 理 、 安 全 、 有 效 的 方 式 将 数 据 保 存 到 某 些 介 质 上 并 能 保 证 有 效 的 访 问 ， 总 的 来 讲 可 以 包 含 两 个 方 面 的 含 义 ： 一 方 面 它 是 数 据 临 时 或 长 期 驻 留 的 物 理 媒 介 ； 另 一 方 面 ， 它 是 保 证 数 据 完 整 安

20、 全 存 放 的 方 式 或 行 为 。 存 储 就 是 把 这 两 个 方 面 结 合 起 来 ， 向 客 户 提 供 一 套 数 据 存 放 解 决 方 案 。说 到 存 储 介 质 ， 实 际 上 它 的 范 围 非 常 的 广 ， 小 到 计 算 机 系 统 中 的 几 百 的 芯 片 ， 大 到 上 百 的 磁 盘 阵 列 系 统 都 可 以 用 来 保 存 数 据 ， 又 都 可 以 称 为 存 储 ， 可 以 说存 储 无 处 不 在 、 无 处 不 有 。存 储 按 照 使 用 的 方 式 和 存 储 规 模 ， 又 有 移 动 存 储 设 备 （ 比 如 ： 具 有 拇 指

21、大 小 的 霹 雳碟 、具 有 名 片 大 小 的 CMCI A 硬 盘 、具 有 书 本 大 小 的 US B 移 动 硬 盘 ）和 非 移 动 存 储 设 备 ，企 业 中 存 储 数 据 的 绝 大 多 数 设 备 都 是 非 移 动 存 储 设 备 。通 常 计 算 机 中 的 各 种 数 据 可 以 驻 留 在 不 同 的 介 质 上 ，按 照 存 储 介 质 和 存 储 技 术 的 不同 又 可 分 为 磁 盘 存 储 、磁 带 存 储 、光 存 储 、磁 光 存 储 ，其 中 磁 带 是 最 为 便 宜 的 存 储 介 质 、而 磁 盘 是 存 取 速 度 最 快 的 存 储 介

22、 质 。为 了 减 少 企 业 对 存 储 的 整 体 投 入 ， 通 常 对 不 同 的 数 据 采 取 不 同 的 存 储 方 式 ， 因 此 在一 个 较 大 的 存 储 系 统 中 存 储 设 备 会 分 成 三 种 角 色 ： 在 线 存 储 、 近 线 存 储 、 离 线 存 储 ， 通常 将 不 经 常 访 问 的 数 据 存 放 在 离 线 存 储 的 设 备 上 （ 比 如 ： 磁 带 库 ）， 将 要 求 传 输 速 度 快或 经 常 访 问 的 数 据 存 放 在 在 线 存 储 的 设 备 上 （ 比 如 ： 磁 盘 阵 列 ）。存 储 设 备 与 服 务 器 的 连

23、接 方 式 通 常 有 三 种 形 式 ：1 . 存 储 设 备 与 服 务 器 直 接 相 连 接 ， 又 称 为 DAS ；2 . 存 储 设 备 直 接 联 入 现 有 的 TCP/ I P 的 网 络 中 ， 这 种 设 备 称 为 NAS ；3 . 将 各 种 存 储 设 备 集 中 起 来 形 成 一 个 存 储 网 络 ， 以 便 于 数 据 的 集 中 管 理 ， 这 样 的 网 络 称 为 S AN。1 .2 .2 什 么 是 云 存 储云 存 储 是 在 云 计 算 （ clou d c om pu ti ng ） 概 念 上 延 伸 和 发 展 出 来 的 一 个 新 的

24、 概 念 ， 是 指 通 过 集 群 应 用 、 网 格 技 术 或 分 布 式 文 件 系 统 等 功 能 ， 将 网 络 中 大 量 各 种 不 同 类 型 的 存 储 设 备 通 过 应 用 软 件 集 合 起 来 协 同 工 作 ，共 同 对 外 提 供 数 据 存 储 和 业 务 访 问 功 能 的 一 个 系 统 。 当 云 计 算 系 统 运 算 和 处 理 的 核 心 是 大 量 数 据 的 存 储 和 管 理 时 ， 云 计 算 系 统 中 就 需 要 配 置 大 量 的 存 储 设 备 ， 那 么 云 计 算 系 统 就 转 变 成 为 一 个 云 存 储 系 统 ， 所

25、以 云 存 储 是 一 个 以 数 据 存 储 和 管 理 为 核 心 的 云 计 算 系 统 。云 存 储 是 一 个 以 数 据 存 储 和 管 理 为 核 心 的 云 计 算 系 统 ， 是 大 型 的 分 布 式 数 据 存 储 。参 考 云 状 的 网 络 结 构 ， 一 个 新 型 的 云 状 结 构 的 存 储 系 统 系 统 ， 这 个 存 储 系 统 由 多 个 存 储设 备 组 成 ， 通 过 集 群 功 能 、 分 布 式 文 件 系 统 或 类 似 网 格 计 算 等 功 能 联 合 起 来 协 同 工 作 ，并 通 过 一 定 的 应 用 软 件 或 应 用 接 口

26、， 对 用 户 提 供 一 定 类 型 的 存 储 服 务 和 访 问 服 务 。1 .2 .3 存 储 是 云 存 储 的 配 件云 存 储 是 把 多 种 不 同 的 存 储 介 质 组 合 到 一 起 为 用 户 提 供 简 单 高 效 的 数 据 访 问 和 管 理 操 作 。当 我 们 使 用 某 一 个 独 立 的 存 储 设 备 时 ， 我 们 必 须 非 常 清 楚 这 个 存 储 设 备 是 什 么 型号 ，什 么 接 口 和 传 输 协 议 ，必 须 清 楚 地 知 道 存 储 系 统 中 有 多 少 块 磁 盘 ，分 别 是 什 么 型 号 、 多 大 容 量 ， 必 须

27、 清 楚 存 储 设 备 和 服 务 器 之 间 采 用 什 么 样 的 连 接 线 缆 。 为 了 保 证 数 据 安 全 和 业 务 的 连 续 性 ， 我 们 还 需 要 建 立 相 应 的 数 据 备 份 系 统 和 容 灾 系 统 。 除 此 之 外 ， 对 存 储 设 备 进 行 定 期 地 状 态 监 控 、 维 护 、 软 硬 件 更 新 和 升 级 也 是 必 须 的 。如 果 采 用 云 存 储 ， 那 么 上 面 所 提 到 的 一 切 对 使 用 者 来 讲 都 不 需 要 了 。 云 状 存 储 系 统 中 的 所 有 设 备 对 使 用 者 来 讲 都 是 完 全

28、透 明 的 ，任 何 地 方 的 任 何 一 个 经 过 授 权 的 使 用 者 都 可 以 通 过 一 根 接 入 线 缆 与 云 存 储 连 接 ， 对 云 存 储 进 行 数 据 访 问 。1 .3 虚拟化技术虚 拟 化 是 一 个 广 义 的 术 语 ，在 计 算 机 方 面 通 常 是 指 计 算 元 件 在 虚 拟 的 基 础 上 而 不 是 真 实 的 基 础 上 运 行 。 虚 拟 化 技 术 是 一 套 解 决 方 案 。 虚 拟 化 技 术 可 以 扩 大 硬 件 的 容 量 ， 简 化 软 件 的 重 新 配 置 过 程 。 CPU 的 虚 拟 化 技 术 可 以 单 CPU 模 拟 多 CPU 并 行 ， 允 许 一 个 平 台 同 时 运 行 多 个 操 作 系 统 ， 并 且 应 用 程 序 都 可 以 在 相 互 独 立 的 空 间 内 运 行 而 互 不 影 响 ， 从 而 显 著 提 高 计 算 机 的 工 作 效 率 。虚 拟 化 技 术 主 要