分布式存储的雄心是让数据可持续
摘要: 分布式存储的雄心是让数据可持续
这是科幻电影中憾人的一幕:
2025年,某国的数据量达到了50zb。某市作为最主要的存储阵地,承载着全国60%的存储需求,某市的某机房内,数万台存储服务器高速运转的同时,响彻全市的地震避险警报声已然拉响!10,9,8……
地震整整持续了数分钟,正在人们庆幸劫后余生的同时,全国各地的无数网站因这场灾难彻底瘫痪、无数企业的宝贵数据毁于一旦、拥有专利的数据著作一夜倾覆、甚至关乎每个人的生活印记灰飞烟灭。无数人日日夜夜努力耕耘的成果没了。
这场灾害带给人们的不仅是生死存亡的悲痛,更是无数人努力过后无尽空洞的茫然……
艺术源于生活。
即使没有发生自然灾害,我们身边也不乏这样的例子:腾讯云故障导致创业公司数据丢失;阿里云故障,多家APP网站瘫痪!
中心化存储的风险是不可预估的,一旦发生就是无法挽回的巨大损失。尊重数据的生命应被等同于航空公司将飞行安全置于最高优先级一样!
有没有一种存储密度大且安全稳定的数据存储方式?先驱者们将目光投向了存储的更多可能——分布式存储。
时间回到2014年,由胡安发起的IPFS(星际文件系统)横空出世,3年后,IPFS已经存储了50亿份文件,同年,团队正式立项了Filecoin分布式存储系统项目。于此,IPFS才算走到了关键步骤,存储架构、本质要素、形成逻辑已然就位,承载数据世界的底层基础Filecoin的时代终于来临。
Filecoin存储架构:分布式存储
分布式存储就是将数据拆分成多份,分散存储于多台独立设备。采用可扩展的系统结构,利用多台存储服务器分担存储负载,利用位置服务器定位存储信息。
举个栗子简单说
我们现在要存储一头猪,猪头、猪手、猪颈肉、猪背、猪肚和猪腿……我们把它们分别存储在不同的设备(当然IPFS的碎片应该更“碎”)。
Filecoin的容错机制可以保证这些部位,被复制成足够多的数量,即使某个猪头的存储节点失灵,也能很快从备份里完好地恢复猪头,保证整只猪的完整性,从而实现的无间容错。这就是Filecoin的安全性能,采用最终一致性来确保数据的完整。
这里要提一提,
数据的一致性包含以下几种:
时间一致性
所有数据组件在任意时刻是完全一致的;
事务一致性
比如A转账100给B,A减去了100、B加上100;在事务完成前后,都能保证账能对上,这就是事务一致性;但转账过程中有可能出现A减去了100,B没有加上100的情况,这就是事务不一致;
所有事务一致性
一个应用程序中涉及多个不同单机事务,只有所有单机事务完成前后,数据是完全一致的。
本质要素:
健全的共识体系和独特的经济模型
创新的抵押机制
文件碎片来源于不同存储节点,这种多条链并行使得Filecoin存储速度远远大于中心化存储,而其抵押机制则能很好保证存储提供者持续提供存储服务,以及保证网络的稳定。
防止作弊机制
每位存储提供者都需要采用被称为“复制证明”“时空证明”的共识机制:通过反复广播他们的设备正持续存储订单数据的证据,以此行为防止作弊。
防止电力浪费机制
Filecoin通过有效存储定义节点的算力,有效存储越大,获得打包区块的概率也越大。这种方式能支撑大规模的实时奖励结算和交易结算,比起基于哈希算法的PoW机制更节约高效,有效减少无效数据存储及电力消耗。
高水平运维团队集结
在Filecoin中,存储就是算力,所有节点都需要配置高性能的计算集群和存储集群,并且由于防作弊机制的存在,使得Filecoin对于运维水平要求极高,这提高了存储提供者前期投入的成本。而在这种门槛下,存储提供者的能力水平也会远高于其他网络,为Filecoin长期稳定发展,聚集了一批高水平的团队。
形成逻辑:自由撮合
任何用户都可基于其提供的存储容量成为存储提供者,并于此获得市场订单。根据Filecoin团队写得市场价格,市场也会根据存储空间、市场订单情况来最终敲定价格。存储需求采购方通过交换机发出存储订单后,存储主机会向采购方报价,存储提供者竞价投标,并以最低价格撮合订单。
这改变了中心化存储服务的形式,让有限制存储空间的用户也能为市场做存储贡献,让市场服务走向一个新的平衡,改变了存储寡头霸占市场份额的局面。
随着Web3.0时代的到来,5G、大数据、人工智能、工业互联网等新兴领域将迎来高速发展,带动全渠道数据实现爆发式增长。而作为新基建的Filecoin分布式存储的优势也被不断地重提,诚然,按照IPFS团队稳扎稳打的态势,它想要实现真正落地还需要一段细水长流的时间,但我们始终期待并敬畏它将带来的全新互联网生态——无论冷热数据都能真正可持续。
作者:探索实验室;来自链得得内容开放平台“得得号”,本文仅代表作者观点,不代表链得得官方立场凡“得得号”文章,原创性和内容的真实性由投稿人保证,如果稿件因抄袭、作假等行为导致的法律后果,由投稿人本人负责得得号平台发布文章,如有侵权、违规及其他不当言论内容,请广大读者监督,一经证实,平台会立即下线。如遇文章内容问题,请联系微信:chaindd123。
评论(0)
Oh! no
您是否确认要删除该条评论吗?