数字资产合约交易平台系统性能测试报告

链塔智库官方
链塔智库官方 机构得得号

Dec 18, 2019 链塔智库是全球区块链数据服务提供商

摘要: 合约交易无疑是整个数字资产市场近期最火热的主题

数字资产合约交易平台系统性能测试报告
00:00
12:41

1.数字资产合约交易蓬勃发展
合约交易无疑是整个数字资产市场近期最火热的主题,不仅传统金融机构对此青睐有加,CME在2017年便推出了比特币合约,而且背靠洲际交易所的Bakkt也在今年9月正式开盘交易。此外,也有越来越多的数字资产交易平台开始布局合约业务,CoinGecko的统计显示,提供数字资产合约交易的平台已有25家,而在7月份还只有6家,目前的合约市场日交易总量已达180亿美元。

从未平仓合约量来看,BitMEX超过10亿美元,遥遥领先,其次是OKEx,接近8亿美元;从交易量来看,OKEx、Huobi、Bitmex均突破30亿,其中OKEx接近40亿美元,综合来看头部几家断层明显。

数据来源:CoinGecko
当前市场上,既有BitMEX、Deribit这样专注合约的平台,也有像Binance这样从现货交易起家继而进入合约市场的玩家。已经有非常多关于产品设计层面的讨论,而对于交易平台而言,交易系统才是一切的根本,系统性能是决定用户交易体验的基础。随着越来越多的交易者,包括更多的专业交易员进入数字资产的市场,无论交易频率还是交易策略的复杂性均有较大幅度提升,对于平台而言都到了比拼硬实力的阶段。接下来我们将会通过真实的测试,来观察一些具有代表性的平台,其系统性能究竟如何?

2.关于交易平台的系统性能测试
对于系统而言,高并发和低延时是两个重要的性能,由于并发量的情况难以通过外部渠道测量,本次测试的重点是系统的交易延时情况。

链塔研究团队选择了五家具有代表性的合约交易平台:BitMEX、Deribit、OKEx、HuobiDM、Binance Futures,其中BitMEX是老牌的合约交易,一直保持最高的市场份额;Deribit是2016年便开始专注于衍生品的平台,有交割合约、永续合约和期权产品;OKEx具有丰富的产品种类,其合约产品涵盖9个币种,交易量和交易深度都很有优势;而Huobi与Binance则是两家现货交易活跃的平台,分别在去年底今年初推出了自己的合约服务。
为避免外部因素的干扰,我们将在统一的环境中对五个平台进行测试:

注:①在选择服务器所在地时,首先排除了交易平台服务器所在地,如香港(OKEx)、日本(Binance)等,其次排除了美国等因服务限制而无法进行测试的国家和地区。最终选择了新加坡。新加坡是全球金融中心,有良好的网络基础设施,对于数字资产交易有着相对宽松的法律环境,五家平台对该地区都没有服务限制。
②我们用真实的资金账户进行挂单,由于研究目的只是探测系统的反应延时,并不需要真实成交,所以挂单价会与实时成交价有一定的距离。

在前期API搭建过程中,OKEx与Binance Futures的官方文档内容全面且清晰,利用SDK搭建API过程十分便捷,但由于Binance Futures官方未开放下单和撤单的推送权限,导致最终只拿到1个测试指标(to ACK);Huobi DM在GITHUB上SDK文件过多,且未有官方说明,无法明确哪个是官方SDK,在官方群进行询问后解决;Deribit提供的官方SDK缺失websocket,导致测试中通过自行封装websocket后才完成API搭建,消耗了大量时间;BitMEX因官方提供的SDK包存在问题未能成功对接,与官方通过邮件沟通也并未获得有效解答,后续针对官方SDK进行了代码修改才成功对接,搭建过程耗时最久。

3. 测试结果的分析

经过连续24h的挂单测试,链塔研究团队获得了5家平台的数据,根据我们的挂单策略,理论上每个指标应该获得4320个数据,但在实际测试中,会出现系统监听不到的个别情况,而导致一定的数据缺失。此外,Bitmex对高频低成交的挂单情况有一定的限制,我们在测试中收到了平台的提醒邮件,而其他平台没有出现这种情况。最终我们的样本情况如下:

3.1 To ACK

To ACK衡量的是用户下单请求到系统响应的时间延迟,也就是订单到达柜台的时间。从样本分布来看,五家平台的To ACK指标都呈现出尖峰长尾的形态,但分布差异也很显著。
从频率密度最大的样本取值范围来看,BitMEX集中在170-200毫秒,Deribit在160-200毫秒,OKEx是50-100毫秒,Huobi在150-200毫秒,Binance在80-100毫秒。
从极端值分布来看,BitMEX和Deribit的尾部相对较厚,从200-500毫秒均有大量的样本数据,OKEx、Huobi以及Binance的尾部极端数据比较稀薄,但Binance在400-450之间有显著的增加。

从平均值与中位数来看,OKEx<Binance<Huobi<Deribit<BitMEX,平均情况而言OKEx的延迟最低,从用户下单到系统响应的延迟只有50多毫秒,排名第二的Binance约为OKEx的两倍,而BitMEX几乎为OKEx的4-5倍。
从极端情况来看,OKEx的优势更加显著,95%的下单请求会在79毫秒内得到相应,而其他几家平台均只有不到5%的订单延迟在79毫秒以内,尤其BitMEX与Deribit的极端值显著大于其他几家,极端情况出现的概率也更高。币安相比于火币,虽然平均而言延迟更低,但币安的方差更大,系统延时的上下浮动的范围更大。
3.2 To Live

To Live衡量的用户下单到系统把用户的单挂到交易深度(OrderBook)上面的时间,几家平台的性能差异显著。
BitMEX呈现出了双峰的形态,分别集中在180毫秒左右和250毫秒左右,整个尾部也是呈现了厚尾的情况,从300-1000毫秒都有比较均匀的样本数据被观测到。Deribit的样本大部分集中在170-200毫秒这个非常小的区间里,在200-500毫秒也连续有观测值,500毫秒以上有断断续续的观测值。OKEx的样本集中在70-150毫秒,尾部呈现急速衰减,在500毫秒之后只有极个别的观测结果。Huobi的样本集中在300-400毫秒,之后也呈现缓慢衰减的情况。

平均来看,OKEx的延迟最低,从用户发出下单请求到订单被挂在交易深度上,平均只需要100毫秒左右,而Huobi与BitMEX几乎为OKEx的4倍。
从极端情况来看,OKEx上95%的订单会在142毫秒之内被挂在order book上,优于其他3个平台最好的5%的情况。BitMEX与火币的平均水平都较差,但火币的浮动范围更小,99%的订单在1000毫秒以内会挂到交易深度上,而BitMEX接近20%的订单需要超过1000毫秒。
Deribit测得的To Live数据比To ACK要低,有悖于常识。我们分析,可能与其系统设计有关,订单未到达交易深度,便发出了返回数据。

3.3 To Cancel

To Cancel指标是用于衡量发出cancel request 到订单websocket cancelled的时间延迟。从样本分布来看,BitMEX的大部分样本集中在180-200毫秒的区间里,而在200-1000毫秒连续有较为平均的观测值。Deribit集中在170-180毫秒的狭窄区间里,尾部样本的占比低于BitMEX。OKEx整体集中在100-200毫秒之间,在200-400毫秒内有部分观测值,而只有极个别的样本落在大于400毫秒的区间里。火币呈现出多峰的形态,随后逐渐衰减。

在撤单指令的执行上面,OKEx依然是优于其他平台的,95%以上的订单都会在发出撤单请求之后200毫秒以内被撤销,BitMEX大概有50%的订单能达到这个水平,而Huobi最好的情况也需要242毫秒。

OKEx出现了一个极大值,125572毫秒,我们检查了数据,发现这个极端取值只有1个样本,而次于其的最大值为2888。由于没有确定这个极端情况的原因,我们没有将其剔除。若剔除这个极端值,okextocancel的平均值将会是148毫秒。

4 总结

我们经过这次测试获得五家平台的样本数据,对系统延时性能有更加直观的展示。

注:数值越低,延迟越低,表明系统性能越好。
BitMEX与OKEx整体交易量水平相当,但在系统延时问题上,无论挂单还是撤单,OKEx的系统反应都显著的优于BitMEX;Deribit整体的挂单与撤单都属于中等水平;Huobi的挂单延迟处于中等水平,而撤单延迟最高;Binance由于权限问题只能获得一个指标to ACK,虽然样本数据较好,但还不具有充分的说服力。

我们通过这次测试,也对各家交易所的API易用性也有了真实的体验,OKEx在搭建过程中比较友好,而其他的平台在接入API过程中都或多或少遇到了一些问题。数字资产合约交易的市场会吸引越来越多的专业交易员,对系统性能及API的需求也会更高,这个市场的竞争也才只拉开序幕,希望每个平台都能持续提升自己的系统,为用户带来更好的交易体验。

(作者:链塔智库官方,内容来自链得得内容开放平台“得得号”;本文仅代表作者观点,不代表链得得官方立场)

链得得仅提供相关信息展示,不构成任何投资建议
本文系作者 链塔智库官方 授权链得得发表,并经链得得编辑,转载请注明出处、作者和本文链接

更多精彩内容,关注链得得微信号(ID:ChainDD),或者下载链得得App

分享到:

相关推荐

    评论(0

    Oh! no

    您是否确认要删除该条评论吗?

    分享到微信