区块链的存储战争
摘要: 如果说过去的亚马逊、谷歌微软之间是第一次存储和计算的竞争,而在现在,区块链领域的存储和计算上,已经发生了技术路线的争战。
让区块链技术未来真正能够应用到互联网的各个方面,必须在存储和计算上有些突破,这已经是业界的共识了。几年来,无论是Filecoin还是Dfinity都朝着这个方面做突破,一些新兴项目比如DxChain也加入了这个队伍,带来了新的技术视角。
如果说过去的亚马逊、谷歌微软之间是第一次存储和计算的竞争,而在现在,区块链领域的存储和计算上,已经发生了技术路线的争战。
01 存储“Airbnb”
提到区块链领域的存储和应用,没有人能够忽略IPFS,2017年,这个项目在区块链资本市场上创造了史上最强募资记录,募到了2.52亿美元。
你可以把IPFS理解为一种数据的Airbnb,Juan Benet创造这个项目最根本的想法就是把千千万万个个人用户的闲置存储空间利用起来,这样就会带来无限大的存储空间,IPFS正是(InterPlanetary File System)的缩写,“星际文件系统“也代表了Benet对于这个体系的宏伟构想。
Benet还创建了一个名为Filecoin的系统,鼓励用户出租未使用的硬盘空间。“现在,地球上有无数待机或闲置的硬盘驱动器,以至于它们的所有者只是在赔钱,”Benet 说,“因此,你可以将大量的供应带上线,这将降低存储成本。”
IPFS最根本的构想是文件的分布式存储——比如当前的HTTP协议是将网页从一个单一的位置下载下来,并且没有内置的机制来归档在线页面,而IPFS文件系统允许用户从多个位置同时下载一个页面,并包括程序员所称的“历史版本控制”,这样过去的迭代就不会从历史记录中消失。
IPFS从2014年启动,2017年完成融资之后,目前还在开发中,而除了Filecoin,还有许多项目都遵循了把数据存储到多个网络节点的概念,比如Siacoin和Storj。
Siacoin会把上传的用户数据被打散,并且复制多份打撒存储在网络上,当用户要读取时,这些数据“重新组合”送达给用户。理论上,文件碎片来源于不同存储节点,这种多条链并行使去中心化存储的速度远大于中心化存储的速度。
存储中另一个重要的项目就是Storj,也是利用文件分片打散存储数据,并通过端到端加密进行保护,相比Sia,Storj更倾向于去中心化,它能够使一群互不信任的计算机节点联合起来成为一种有统一允许逻辑和程序的云存储平台。
无论是IPFS还是Storj,都是利用了鼓励用户出租闲置存储空间的概念,即一半所说的共享经济,在计算领域,也有一批项目利用了这一模型,比如Golme,鼓励用户把空闲的算力出租。基于这一模型,Glome创造一个去中心化的算力网络,用户可以通过该网络该买卖算力,
这意味着用户可以在其他人的计算机上完成需要算力的工作,或者将自己空闲的算力出售给需要的人——用户设定好算力任务后,Golem将会自动向网络节点分配任务,用户可以选择他们能够提供多少RAM、磁盘容量和CPU核数目。算力任务运行在虚拟机上以确保不会对节点的计算机造成破坏,无论算力任务是什么。这就创建了一个全新的计算市场,在这个市场中的云算力将会更加便宜和高效。
说到区块链的计算,不能忽略Dfinity,尤其是以太坊在计算上显示出巨大的瓶颈时,致力于突破这一瓶颈的Dfinity被人关注。
Dfinity设计了一个去中心化的网络,其协议能够生成一个可靠的“虚拟计算机”,运行在对等网络之上,可以安装软件,并且可以在智能合约的防篡改模式下运行,最终目的是使公共分散网络能够容纳无限容量的虚拟计算机。
但实际上,存储和计算难以分家,以现在中心化的云存储巨头亚马逊的AWS来说,在提供存储服务的同时,也在提供高性能计算服务,一些新兴的有野心的项目试图同时突破这二者,比如DxChain。
实际是,只要涉及到存储和计算,即便是以作为区块链最成功的应用比特币来和以太坊来说都显示出巨大的瓶颈,比特币最主要的功能是金融转账,存储和计算问题远没有涉及到,以太坊的出现部分地解决了计算的问题,但是它的计算量仍然非常有限——每个区块只有三百万个Gas,也就是说它只能做非常小量的计算,这也是为什么目前的智能合约都是只能执行一些非常非常简单的功能。
而DxChain希望能同时解决存储和计算双重问题,在存储上借鉴了IPFS存储机制——把文件打撒存储在不同的文件节点上,同时DxChain认为单靠一条主链,很难同时满足数据的存储、计算和隐私需求,借鉴了闪电网络多条链的思路,添加了存储链、计算链两条侧链,让主链只负责记录事件(如交易),从而提升整体网络性能,以支撑大数据存储与高速计算,DxChain把这种架构称为“三链合一”模式。
除此之外,DxChain参考了Hadoop架构。Hadoop在以往中心式存储中被视为最佳的分布式存储架构,但Hadoop解决的是同一机构、公司内部的数据分布式存储问题,但如何在不同的机构和参与者之间达成信任、从而实现多中心化分布式存储,区块链恰好给出了答案。DxChain正在将Hadoop在过去沉淀下的优点与区块链特有机制相结合,解决了多中心化环境下的分布式存储计算的问题。
Hadoop分布式文件系统(Hadoop Distributed File System)架构图
02 第一次存储计算争战
时间拨回到到2006年,AWS向外界推出自己的产品。当时适逢社交媒体和移动创业公司的兴起,节俭的应用开发创业者很喜欢将包括运行服务器和数据存储系统在内的诸多麻烦事交由其它公司处理的概念,AWS因而很快就成了他们的头号选择。AWS最初只有三项服务,如今已经拥有超过70项不同的功能。AWS的运营由亚马逊的数据中心驱动,它在整个互联网上有着巨大的影响力。亚马逊常常说,得益于AWS,创建科技公司就像拼凑乐高积木那么简单。
然而,正当亚马逊巩固其在快速增长的云计算行业的领先地位,它也开始面临巨大成功必会带来的挑战。由于担心最终可能会被死死锁在贝索斯的世界当中,部分企业不愿意使用太多的AWS产品。有人认为,如依靠亚马逊来提供太多的服务,最终你会变得难以离开它。
在曾经领导云计算业务的CEO萨蒂亚·纳德拉(Satya Nadella)的驱动下,呈现复苏的微软大力投资云业务,凭借Azure云服务确立行业第二的地位,仅次于亚马逊。还有谷歌以及IBM,都想要从这一市场分得一杯羹,几家之间在2015年左右掀起了激烈的价格战。就在几家公司之间打得不可开交时,区块链的诞生直指这些大公司命脉。
实际上,亚马逊这样的中心化存储和计算的确有其弊端,比如隐私泄露问题——网盘的管理员可以从服务端的平台中直接查看和删除用户上传的文件;又比如安全问题,云存储的服务器上面,存在着大量的用户数据,这俨然成为了黑客入侵的目标。
但最重要的是数据被私有化,去中心化的云存储里存储的大量数据,个人用户是没办法直接拿来使用的。关于数据私有化的问题极端案例虽然不是发生在云储存计算几家公司上,而是Facebook上,但让大家极大的认识到了数据私有的严重后果——比如Facebook作弊操纵数据,给一部分人带来了他们不想要的总统。
去中心化的存储和计算展现了它的优势,比如能够降低成本,这种利用空闲的存储和算力的网络能够极大降低成本,使存储资源的拥有者获得收益的同时,也节省了中心化存储的建设成本;又比如数据被分割成小块,经过加密后才会分散存储在众多结点上,能够避免中心化存储的集中式风险,即便某一块数据被泄露,也只是部分而非全部数据。
更重要的是,去中心化存储提出数据不被某一个巨头私有,区块链的拥趸们认为互联网通过区块链技术能够重新回到开放的状态去。
03 第二次存储战争
即便是比特币和以太坊,这两个区块链领域最成功的应用也面临诸如不能提供通用计算、只能做交易相关计算、只能存储小账本数据等存储和计算问题。
但无论如何,比特币把激励机制PoW带给了这个行业——维持分布式账本的工作本身就能得到比特币奖励,许多基于PoW概念的衍生算法也不断涌现。虽然有很多公有链试图解决一系列问题,但却仍然没有一个较好的路径能够在分布式数据存储和计算的环境下,提供大数据和机器学习的相关计算服务,也就是同时解决存储和计算问题。
对照传统互联网,同时解决存储和计算的重要性不言而喻——云存储是在云计算概念上延伸和发展出来的,AWS同时向外界提供存储和计算服务,到区块链领域也是一样,最终大家一定需要一个同时解决二者的平台,DxChain就是在这个方向有野心的项目。
比特币存储计算瓶颈的根源出在了共识机制的设计层面上——中本聪的共识协议占据了大量的算力去维护区块链本身,但却并没有为社区带来更多额外的贡献。
为此,DxChain采用了“三链合一”的系统架构来解决数据的计算、存储问题,所谓“三链”,即一条“主链”和两条分别以“计算”和“存储”为主的侧链。
在存储上,DxChain借鉴了IPFS和Storj等的P2P存储网络——一个文件上传后打散成小块,随机分布在不同的矿机上,至于随机分布在哪些矿机上,这些数据就存储在区块链上。通过分布式的文件系统,把闲散的硬盘资源利用起来,而链上的数据保证经济模型能够成立,闲散硬盘拥有者愿意加入这个经济模型,把他们的资源贡献出来。
相比Filecoin,DxChain有计算。
比特币使用区块链来存储网络中所有交易记录以达成共识,而这一共识需要超过半数的活跃节点同意。为了保证计算共识,在区块链中存储所有计算状态是不可能的;但DxChain因为有了三链合一的架构,有一条主链和两条侧链,能够把每笔细分的交易,即细分的存储和计算需求都写在了侧链上,主链执行完整计算和存储和任务,这样DxChain的每笔交易都可追踪,但由于有侧链分担细分存储和计算任务,主链性能得到了保证。
相比计算领域的其他项目,DxChain有自己的努力方向。
现有的项目如Golem,作为一个超算平台,它能够提供比如3D渲染这样的技术解决方案。又比如Dfinity,可以理解为区块链领域的云计算,但是它没有解决数据从哪里来的问题,DxChain的视角是希望提供存储方案的同时,也解决平台本身数据从哪里来的问题。DxChain能够对存储的数据做到细颗粒操作,而这种细颗粒的存储计算,让数据有了商业模式。
举个例子,比如一名做研究的学者希望购买“加州、35岁以下的男性的运动数据”——这种数据交易只有在平台有数据,而且能够做到对数据细颗粒操作的情况。DxChain通过对数据敏感信息的保护,则能够让数据实现交易和流通。区块链技术的诞生,为互联网信息提供了一种更为公平的价值交易模式,这恰好是DxChain的努力方向。
目前存储和计算领域的项目都在研发当中,但不少项目已经完成项目募资并且上币,节点资本在一篇报告中用加密数字货币市值来描述该项目在存储领域的市场份额,按照节点的数据,去中心化云存储类加密数字货币中,市场份额最大的Siacoin占比47%, Factom与Storj排在二、三名,分别占比18%和10%。
随后,Filecoin、DxChain等这些新项目提出新的思路,更能解决实际的问题。目前这些项目仍然处于开发状态。随着研发的进行,这些新产品必然会打破旧的格局,这个行业市场份额还有极大重构可能。
在传统云计算战争方兴未艾之时,新一代的存储计算战争已经打响。
评论(0)
Oh! no
您是否确认要删除该条评论吗?