腾讯云数据丢失事件思考：存储的未来在哪里？

7月20日，腾讯云北京三区部分云硬盘IO异常，这次事故直接导致了一家互联网创业公司「前沿数控技术」线上生产数据完全丢失。目前尚不得知此次「用户数据完全丢失」是否属个例。随后，腾讯云回应本次「数据丢失事件」，是因物理硬盘固件版本 Bug 而导致的静默错误。

腾讯云声称99.9999999%的数据可靠性，搭载了云硬盘提供三副本存储策略，也就是说只要把数据放在腾讯云上，只有十亿分之一出现数据丢失的可能性。但是在本次事故中，腾讯云所谓的三个备份数据也全部离奇丢失。

近些年，云计算已经逐步成为一种基础设施服务，弹性计算、部署简单、安全性相对较高，且成本相对低廉，云存储服务已经被越来越多的中小公司所使用。但是，我们不得不面对一个血淋漓的现实，那就是：我们信任所谓的公有云，其实只是信任一个品牌；我们所谓的信任品牌，其实只是信任广告；我们所谓的信任广告，其实只是一个虚假的心理安慰。当事故发生时，特别是一个创业公司的核心资产被摧毁的时候，对巨头而言，他们也只是会送一份「大礼包」，这就是事实：

相信很多技术人员都知道，在数据可靠性方面，腾讯的公关犯了一个基本的错误，三副本存储策略是不可能保证九个九的可用性的，三副本这些也只是一些基本的技术，从硬盘损坏导致全部数据丢失这一事实看，有没有三副本都不好说。而真正能够保证数据的可恢复性技术，是纠删码技术和数据的可恢复性证明技术。目前已知的，只有AWS的S3云存储是提供了纠删码服务，而全球没有任何中心化云存储提供数据的可恢复性证明。

还有一点，云存储服务商和创业公司的权利和责任其实是不对等的，这种不对等有点类似医生和病人，对病人来说，他们把自己的生命交给了一个医生或者医疗机构，而对于创业公司来说，也是把核心数据（企业生命）交给存储服务商，如果因为这次数据丢失，这家公司不幸倒闭了呢？一方付出了「生命」的代价，而医疗机构或者存储服务商只是赔偿有限的费用，这对他们的影响可能微乎其微。从这个角度而言，中国企业和用户（创业公司）之间的权利和责任完全是不对等的。当然如果漫天要价，这件事也是说不通的，因为任何服务都是由成本的。

1941年，美国安全工程师海因里希统计55万件安全事故后发现：

在安全事故中，死亡、重伤、轻伤和无伤害事故的比例为1：29：300。

后来，这一法则被命名为海因里希事故法则。这一法则被运用到企业的安全管理上，即一件重大事故背后，必有29件轻度事故，还有300件潜在隐患。

但是针对这件事，我们不禁要思考，公有云存储到底安全不安全？为什么数据丢失了不能恢复？企业应该应用什么技术，从基本上保证数据的安全、稳定、可恢复？

这次事件也从侧面表明，中心化的云存储在安全性、可靠性以及服务水平层面还存在很多问题亟待解决。企业数据放在云存储中，他们最关心的是数据是否完整无误，如果出现故障，是否可以实现数据的恢复，而且能够证明这些数据与原来数据完全一致，这就是去中心存储中，经常提到的「数据完整性验证机制」。

去中心化存储的核心：数据的完整性证明

其实，数据完整性验证机制根据是否对数据文件采用了容错预处理分为数据持有性证明PDP机制（Provable Data Posesion，PDP）和数据可恢复证明POR机制（Proofs of Retrievability，POR）。如下图所示：

PDP 机制能快速判断远程节点上数据是否损坏，更多的注重效率，POR机制不仅能识别数据是否已损坏且能恢复已损坏的数据。两种机制有着不同的应用需求，PDP机制主要用于检测大数据文件的完整性，而POR机制则用于重要数据的完整性确保，如压缩文件的压缩表等对于这类应用，尽管只损坏很小一部分数据，但却造成了整个数据文件失效。

针对本次腾讯云数据丢失事故，我们在存储层面就需要思考一种新的策略，而且这种策略也非常简单：无论是企业还是用户，在保障数据「可信」的层面，应该交给数学和密码学来进行技术层面的保证，而不是交给所谓的「巨头」来保障。当然，我们相信「巨头」是能够实现三副本存储、数据的完整性证明等一系列技术解决方案的，但是我们无法要求每个「巨头」都能够这样做。就像很多知名的开发商盖房子一样，当他们的品牌知名度起来以后，他们就会把客户的利益放在几乎看不到的位置上，我们必须从根本上解决这个问题。

数据的安全与隐私保护，成为全球的焦点

不可否认，本次数据丢失事件只是一个很小的投影。在今年3月份，Facebook数据泄露事件成为整个互联网行业的焦点，500亿美金市值瞬间蒸发。5月25日，人类史上最严隐私法，欧盟通用数据保护法案（General Data Protection Regulation，简称GDPR）开始全面执行，用户隐私权，再次成为全球关注的焦点。

这些事件的背后，都说明一个根本性的问题：企业和用户，他们对数据的权利完全的不对等，用户的数据安全、隐私等权利，基本上没有任何保障。在区块链时代，去中心的存储就成为一种更好的选择，也是一种必然的选择。

而去中心化存储的核心问题，也是刚刚所提到的数据的完整性证明，没有完整性证明的去中心化存储没有任何落地的可能性。在提供完整性证明的存储项目中，早期的存储类项目如Sia、Storj，依赖于Client进行数据完整性的验证，模型上要求Client端存有完整的数据以生成挑战数据，因此只能作为类似于BOX的电子化网盘，无法像AWS的S3一样作为数据的存储，价值相对较小。

虽然IPFS和FileCoin项目致力于提供一种分布式的文件存储，并进行了一些有意义的尝试和探索，但FileCoin项目提出当时技术的局限性，FileCoin将交易数据的有效性、一致性和数据的完整性进行了紧耦合设计，其共识算法Post依赖于存储节点进行存储时间和存储空间的自证明，不仅降低了项目的安全性，而且大大提高了项目的开发难度，导致整个项目进度严重拖延。

如果继续对比创业公司与存储服务商的关系，我们可以借鉴一些国外的模式。在国外，很多独立自主的人（创业公司），他们会首先判断自己处在什么位置（企业的发展阶段），自己选择合适的医生（存储服务商）。这已经不是信任或者不信任的问题了，而是我们（创业公司）要为信任选择什么样的代价？

Lambda的创始人何晓阳认为：「针对本次事件，我们也必须认识到，腾讯云也只是一个商业机构，不可能向所有人来保证数据的可恢复性。所以，我们应该思考怎么样从基本上解决这个问题。如果一家创业公司，觉得自己的数据非常重要，那么就选择一种特殊的服务来保障自家的数据安全，当然这种服务可能会很贵。Lambda未来的发展也会是这样，我们会根据客户对数据保护或者恢复的级别来提供不同的付费方式，包括提供不同等级的数据可用性证明。」

去中心化存储：未来的发展与必然

无独有偶，曾经V神提到了几个关键的名词包括Validator、Random、Sampling等等。V神希望通过这种方法，做到对于数据持有性和可恢复性的证明。只不过账本的要求是可恢复，文件不一定要求可恢复。可以看出，V神仅在POR层面进行了论述，而Lambda则是在POR和PDP两个维度都进行了深度的思考，不仅仅更全面，甚至在时间上比V神想的还要更早一些。

美国前总统罗纳德 · 里根说过一句名言，「要我相信你，请先证明给我看（Trust but Verify）」。从这个角度思考云存储的未来，用户能够验证云服务商提供了绝对正确且完整的数据，即使发生事故，企业也要能够保证数据能够完全恢复一致。所以，去中心化的存储，是未来的必然选择，让我们拭目以待吧！

（作者：何晓阳读书笔记，内容来自链得得内容开放平台“得得号”；本文仅代表作者观点，不代表链得得官方立场）