分布式存储区块链系统:人类未来的数据基础设施-链新科技

日期:2020-01-02 17:58  作者:链新科技

而现如今,随着互联网的加速发展,以数据形式法的记录方式已被各种应用所取代,并将其保留在公司的数据库当中,再通过一系列的计算被使用。就好比你用智行火车票定了一张火车票,会发现订完火车票后送的优惠券正好是自己想要消费的一些酒店住宿。
这正是大数据时代所催生出来的结果,互联网公司通过利用用户数据来使公司的利益最大化,假设一个人每个月的收入是10000元,在其剔除掉房租2000元以后,几乎所有的互联网公司会通过一系列的数据分析而做出相应对策将其剩下的8000元榨干净。
这种方式已经遍布到我们所来赖以生存的社会中的方方面面,这也能够反映出一个问题:我们个人的行为记录是有价值的并且是可以创造收益的。因为我们每一次的行为都能够让互联网公司更清楚的了解我们的消费习惯和消费水平。
 

 
一、实现数据价值的基础设施、详解「区块链系统」与「分布式存储系统」
为了更清楚的理解提供分布式存储的区块链系统,我们先剖析一下「区块链系统」和「分布式存储系统」。
区块链是通过分布式节点的存储资源,对全网全节点进行存储同步,并通过相应的共识技术保证内部节点对存储内容更改的有效性,维护一个完整的可查找的数据库。在此系统中,存储的都是链内生成账户之间余额的更改或者总剩余,当然,更完善的一些系统功能也包括存储了多个账户对数据库中子账目的数据状态维护。
因此,该系统的主要功能是记录状态的改变,然后同步。对节点来说,无论是PoW,PoS还是PoX,其核心的要求就是遵循特定的投票规则,将新的变动同步在所有节点的存储中。
如果一个系统使用的是区块链结构,那么它是不支持用户个人数据,或者说不支持我们希望实现价值的数据的,区块链上的数据是账户数据以及结算数据,这些数据是完全相同的存储到每一个节点的。
那么什么又是分布式存储系统呢?
分布式存储系统是分享分布式节点的存储资源,通过文件完整性证明和纠删码校验技术对数据存储方的数据进行分布式管理,全网的节点并不维护相同的存储信息得以降低冗余的一种分布式系统(区块链系统中全网的节点维护相同的存储信息)。
回到本文一开始提到的消费数据的例子,现有的互联网公司是通过数据的分布式存储,通过RAFT和多级灾备等方式,做适当备份来保证数据不丢失,建立起一个能储存海量数据,并有效率、低开销的系统。
也就是说在分布式存储系统这个部分,几乎所有的公司都达成一个共识,就是分布式存储是现阶段实现大量数据存储的最好的一种方法。
二、分布式存储系统的设计和挑战
在介绍完基本的概念后,接下来介绍系统的设计和实现。为了清晰,先讨论分布式存储系统的设计,再讨论提供分布式存储的区块链系统的设计。
分布式存储系统的设计主要解决三个问题:文件如何安全放入;文件如何安全存储;文件如何不被存储提供方「偷走」。
1.文件如何安全放入
把数据在客户端上传前做加密和分割,通过分布式存储的分发方式上传到存储提供方的空间内,通过相关的存储心跳检测来保证在用户需要数据的时候可以完整的取回。
在整个过程中,用户的数据在本地就已进行加密,用户不需要担心数据被偷窥以及存储提供方没有承担明文存储的风险。
2.文件如何安全存储
根据分布式存储的冗余存储原理,一般来说对应一个资源,如果要保证任意两个节点(N=2)掉线依旧不影响系统可用性,就需要维护2N+1个资源数。也就是说一份文件需要存给5台服务器。
按照12个节点为一个批次的设计,那么任意5个节点掉线是不影响可用性的,但是如果遭遇重放攻击,也就是加密后资源被不合理地配置,攻击节点是可以通过某些方法来阻止文件被安全召回的。这就需要对分发方式进行设计,来保障安全的存储。
此外在存储期间,可以通过相关的评分系统对节点质量进行评分,保证除了共识节点之外提供分布式存储服务的节点的质量。
3.文件如何不被存储提供方「偷走」
首先,数据是在用户本地机器上的客户端加密的,这样确保了上传之前的文件已经被加密,存储方是无法看到用户数据的。其次,在冗余存储的部分,每个存储提供方的通信目录中不会包含所有的文件碎片存储方,这样也一定程度上防止了共谋的可能性。
在解决了以上这三个问题后,该系统就能够被称为一个安全的分布式存储系统,可以提供分布式存储服务了。
在整个过程中,设计一个合理的分布式存储可取回校验方式是比较大的挑战,它的要求不只是通过问询达到返回结果的可靠,还要通过特殊方式预防重放攻击试探以及攻击,提高存储系统的可用性。
1

联系方式

 
  • 服务热线:彭17158684783
微信
 

联系地址

 
深圳总部:深圳市龙华新区民治大道民治地铁站B出口(离深圳北站三公里)
香港办事处:香港九龙尖沙咀么地道尖沙咀中心东翼A座1607室
澳门办事处:澳门罗理基博士大马路商业中心一期808