分布式家庭数据文件存储系统解决方案.docx

分布式家庭数据文件存储系统解决方案.docx

《分布式家庭数据文件存储系统解决方案.docx》由会员分享，可在线阅读，更多相关《分布式家庭数据文件存储系统解决方案.docx（6页珍藏版）》请在冰豆网上搜索。

分布式家庭数据文件存储系统解决方案

题目：

分布式家庭数据文件存储系统解决方案

作者：

徐建兰

分布式家庭数据文件存储系统解决方案

摘要：

目前对于传统的家庭用户，在云平台数据的存储上出现了一些问题需要解决：

如数据丢失、成本昂贵、文件隐私得不到保障等。

在物联网与智慧家庭基础信息化平台组建的大背景下，通过扩展IPFS分布式存储模型，搭建一个私有的分布式文件存储系统，解决现代家庭信息化数据存储与隐私安全的问题。

尽可能实现家庭单位内的去中心化的文件存储。

关键词：

私有云；家庭数据存储；分布式存储；去中心化

引言

据IDC数据显示：

到2020年时，全球的数字信息总量将达到35ZB（泽字节，约为37580963840TB）。

在信息爆炸的今天，在每一个家庭中，不管是通过手机拍照、录音、摄制一段视频，还是通过其它设备产生的数字信息文件，我们都面临着应该如何高效存储信息文件并保障文件的隐私安全。

1家庭数据文件存储面临的问题

目前大部分家庭的数据文件主要有两种存储方式：

一是通过自有设备存储，二是使用云服务商提供的云空间存储。

使用自有设备存储面临着以下问题：

（1）设备丢失或故障，数据丢失

大部分人使用的智能移动终端如手机进行存储，这样虽然方便，但是移动终端存在被偷窃的风险，还有移动终端发生物理损坏，造成数据永久丢失。

（2）存储容量有限

移动终端已有的存储空间有限，而我们产生的数字文件正在不断的增长，已有容量不能满足日益增长的信息容量需求。

使用云服务商提供的云空间存储文件，面临着以下问题：

（1）成本昂贵

第三方云空间服务商提供的免费空间容量有限，如果需要更大的空间，则必须支付一笔不小的费用来租凭空间，一旦逾期，文件数据将会被服务商删除丢弃。

（2）数据安全

云端文件的安全面临着极大挑战，由于云空间服务商的硬件问题（硬盘物理损坏等）、黑客侵入、私下非法贩卖用户文件数据等，危害文件安全的问题有较大概率出现。

如：

如2011年的CSDN用户数据泄密，600万用户登录信息由此受到影响，12306用户信息外泄事件等。

（3）文件隐私不能得到保障

在大数据时代，一些商业平台通过所谓“AI算法”来实现精准推送。

就像达摩克利斯之剑，一面是AI智慧给用户带来的高效便利，一面是平台对用户隐私权的无情践踏。

2017年的XX云泄密事件，使用户隐私不能得到保障。

2018年美国社交网站Facebook深陷用户隐私泄密丑闻，由此可以给我们带来深度的思考：

用户使用云端服务来存储数据，隐私就不重要了么？

2家庭数据文件存储解决方案

由于基于云服务的家庭存储方案存在种种弊端，我们选择构建一种基于家庭现有资源和设备的架构的私有云方案，来实现我们家庭日益增长的存储需求。

2.1IPFS

IPFS（InterPlanetaryFileSystem）是一个分布式文件存储系统。

主要是利用点对点的网络传输（P2P）技术实现去中心化的文件保存和共享。

在IPFS系统中，使用内容寻址的方式来实现文件的分发和接收。

在IPFS方案中，通过对数据文件进行加密散列，将会产生一个哈希值，将此值写入到IPFS的哈希链表中，由此值来记录与查找数据文件。

如果系统中存在相同的哈希值，表明系统中存在重复文件，可以选择删除其中的多余文件来解决过度冗余的问题。

2.2家庭文件分布式存储方案

在构建家庭分布式文件存储系统时，我们对IPFS进行借鉴和扩展，来满足我们的存储

需求。

图1家庭分布式文件存储系统架构

如图1所示，在家庭文件存储需求中，家庭中的每个成员都可以使用手机、平板或其它智能终端设备生产数据，如手机拍一段温馨的家庭生活录像，或是用手机拍某个漂亮的景色照片。

将产生的数据文件使用私有链协议，借助现有4G移动网络或无线Wifi网络将数据文件传递到我们文件存储中心节点进行备份，此中心节点对应的实体可以是家中任意一台具有计算处理和存储功能的设备，如PC、笔记本或者是树莓派。

在此操作进行时，我们对文件和文件相应的一些属性（如来源，大小，时间戳等）进行哈希计算，生成一个值写入到系统的哈希链表中，同时使用去中心化命名系统，为刚生成的值关联一个容易被人识别的别名（如家庭生活记录、精彩瞬间等）。

方便将来文件的搜索与查询，到此时文件上链工作完成。

图2：

文件的读取过程

如图2文件的读取过程，假设我们需要在智能电视或笔记本电脑中播放我们在手机上曾拍摄的视频或照片，可以通过与节点实现点对点的通信，搜索相关文件的别名，节点服务就会根据文件别名来查询数据链表中的哈希值，通过哈希值返回文件信息。

在读取过程中，我们可以读取在手机节点上的文件信息，也可以读取在中心节点上拷贝的文件信息。

这些都可以根据系统优先级或网络情况进行自动分配处理。

3分布式家庭数据文件存储系统应用架构

（1）客户端

家庭文件系统中的数据生产者或享用者，一般是智能移动终端设备，如：

手机，平板，数据相机、智慧电视，个人电脑、个人笔记本等。

（2）家庭中心节点

家庭文件系统中的弱中心。

对文件进行必要的备份、鉴权、链路分发。

一般可以使用家庭已有的台式电脑。

如果考虑到文件的稳定安全存储，可以更换专用NAS文件服务器。

如果有足够的能力，也可以使用例如草莓派之类的微型电脑平台，在该平台上做灵活的开发和定制。

完成不同的业务需要，如随时可以享受影视娱乐、游戏生活等。

（3）数据存储

除了在客户端本地存储生成的数据资源外，我们同时使用家庭中心节点来对数据文件进行备份，同时进行加密上链。

如果客户端数据丢失，不影响数据的正常获取。

原因是所有的客户端与中心节点一起组成了类IPFS式的分布式系统。

（4）数据安全

节点采用私有链协议，对数据进行加密传输，同时使用文件切块存储，二次加密上链等操作。

在系统中拥有真实读取文件权限的客户端才能获取到最后的文件数据。

可以有效防止恶意登录、文件盗取等而引起的隐私泄密。

结语

通过文件的分发上链和查询读取，完成一个最基本的文件存储与读取模型。

在此分布式存储系统中，我们通过家庭中的不同终端与中心节点的点对点链接，实现文件自动备份，自主上链，自由分发等功能。

可以满足不同的文件存储场景与业务需求。

参考文献

[1]中华人民共和国工业和信息化部.中国区块链技术和应用发展白皮书（2016）[C].2016

[2]维基百科.IPFS,https:

//en.wikipedia.org/wiki/InterPlanetary_File_System

[3]中国电子技术标准化研究院.中国区块链与物联网融合创新应用蓝皮书[C].2017-9-10

[4]邵奇峰,金澈清,张召,钱卫宁,周傲英.区块链技术：

架构及进展[N].计算机学报.2017

[5]袁勇,王飞跃.区块链技术发展现状与展望[N].自动化学报,2016,42（4）:

481¡494

[6]袁勇,周涛,周傲英,段永朝,王飞跃.区块链技术:

从数据智能到知识自动化[N].自动化学报,2017,43（9）:

1485¡1490

[7]薛腾飞,傅群超,王枞,王新宴.基于区块链的医疗数据共享模型研究[N].自动化学报,2017,43（9）:

1555¡1562

[8]蔡维德,郁莲,王荣,刘娜,邓恩艳.基于区块链的应用系统开发方法研究[N].软件学报,2017,28（6）:

1474−1487