GPT-3来了,加密货币需要害怕吗?

曲速未来安全区
曲速未来安全区 机构得得号

Aug 02, 2020 专注于为读者提供区块链安全领域最新讯息

该文章已上链

摘要: 区块链安全咨询公司 曲速未来 表示:过去几年来,新推出的文本生成器模型GPT-3在加密货币社区引起了热议。

GPT-3来了,加密货币需要害怕吗?
00:00
10:48

区块链安全咨询公司 曲速未来 表示:过去几年来,新推出的文本生成器模型GPT-3在加密货币社区引起了热议。一些人表达了对GPT-3的好奇心,另一些人却有些极端,声称加密货币社区应该对此感到恐惧。

如此热烈的反响难免会让人觉得有些奇怪,因为GPT模型已经不新鲜了。过去一年来,机器学习社区都在积极讨论这一话题。首个GPT模型的研究发表于 2018年6月。之后,2019年2月,GPT-2模型发布,最后就是3个月前的GPT-3模型。

什么是GPT-3?

GPT-3是一个庞大的自然语言理解(NLU)模型,使用多达 1750 亿个参数来处理多项语言任务。因此,GPT-3成了全球最大的NLU模型,超过了微软的Turing-NLG模型及其前身GPT-2模型。

GPT-3模型能够执行多项语言任务,例如,机器翻译、回答问题、语言分析以及文本生成。GPT-3生成的伪造文本甚至能够以假乱真,引起了新闻媒体的注意。

这与加密货币有什么关系?想象一下,如果有人能定期生成虚假的新闻稿来影响小币种的价格,听起来是不是很可怕?但是这并不是GPT-3最主要的功能。

GPT-3是一种基于语言的模型,因此在文本数据集合的基础上运行。从加密货币市场的角度来看,这种功能虽然很酷,但是肯定没那么有趣。我们真正应该关注的是GPT3背后的技术。

GPT-3背后的秘密

GPT-3是在深度学习架构Transformer的基础上开发的。Transformer架构的主要创新之处是“注意力机制”概念。注意力机制通常用来解决Seq2Seq问题。所谓的Seq2Seq问题,指的就是将一个序列(单词、字母、数字)处理后,输出另一个序列的问题。这类问题常见于文本生成、机器翻译和回答问题等语言智能场景。

每当你看见一个Seq2Seq场景,你都应该将它与编码器-解码器架构联系起来。编码器会捕获输入序列的语境,并将它传递给解码器,由解码器生成输出序列。通过识别输入中应该“注意”的关键部分,注意力机制解决了传统神经网络架构的局限性问题。

想象一下从西班牙语到英语的机器翻译场景。通常来说,解码器会将西班牙语文本输入到一个名为“虚构语言”的中间表示内,然后利用这个中间表示将其翻译成英语。传统的深度学习架构需要编码器和解码器之间持续进行反馈,导致效率极其低下。

从概念上来说,注意力机制会观察输入序列,并在每个步骤中决定输入序列中比较重要的部分。例如,在机器翻译场景中,注意力机制会聚焦于那些编码器“应该注意的”单词,以便执行翻译。

支持GPT-3模型的Transformer架构是传统的编码器-解码器架构,通过插入注意力块来提高效率。注意力块的作用是完整查看全部的输入和当前输出,推断相关性,从而优化最终输出的生成过程。

由Transformer架构生成的模型可以经过海量数据集的训练,并实现高效并行化。果不其然,在论文发表后,各公司竞相构建超大模型来处理不同的语言任务。

当初,包含15亿个参数的GPT-2模型震惊了全世界。短短一年之内,这一纪录先是被微软的Turing-NLG打破,又被包含1750亿个参数的GPT-3碾压。简而言之,就Transformer架构而言,大即是好。

第一代Transformer架构聚焦于语言任务。但是部分公司最近已经发表了将Transformer应用于图像分类的相关研究。有人或许认为此举只是在尝试伪造图像。但是这一研究的意义远不止如此。

在没有大型已标记数据集的情况下,图像造假对于简化图像分类模型的训练来说至关重要。已经有人尝试将Transformer架构应用于金融时间序列数据集,希望可以改进量化交易策略。

Transformer和加密货币

既然我们已经介绍了Transformer架构和GPT-3的背景知识,不妨再来思考一下文章开头的问题:GPT-3真的不利于加密货币吗?

当然了,GPT-3模型确实可以生成虚假新闻,从而影响币价,这并非玩笑。但是我认为,就目前的情况而言,GPT-3不会威胁到加密货币行业。更有趣的是,Transformer架构可能对下一代加密货币智能解决方案产生影响。以下是一些值得考虑的场景:

交易策略。显然,如果事实证明Transformer架构可应用于金融数据集,这类架构可能会对加密货币的量化策略产生重大影响。总的来说,深度神经网络为量化交易开拓了新的领域。从线性回归和决策树等基础机器学习模型来看,量化基金正在研究复杂的深度学习策略。

作为原生数字资产,加密货币最适合采用量化策略。循环神经网络(RNN)和卷积神经网络(CNN)等技术在量化投资领域大受欢迎,而且在密码学技术中发挥了很好的作用。就像在语言分析方面那样,Transformer架构可能优于CNN和RNN,尤其是在将“注意力”集中到一个数据集的某些部分(例如,2020年3月的比特币崩盘),以及处理海量交易(例如,区块链交易)方面。

区块链分析。相比现有方法,Transformer架构可以更加高效地检测区块链中的模式。Transformer架构的优势之一是,能够将注意力集中到输入集的特定部分,并推断潜在的输出。想象这样一个场景,我们在分析比特币挖矿交易或交易所的流量,试图推断订单簿采用的模式。Transformer架构似乎更能胜任这个任务。

去中心化的Transformer架构。目前,人们在努力将Transformer模型应用到SingularityNet等去中心化的AI架构中。此举将拓展Transformer模型的应用场景。迄今为止,GPT-3等Transformer模型都是大公司的特权。只有大公司的AI实验室才有足够的数据和资源来构建并运行如此大规模的神经网络。去中心化AI为我们提供了另一种方案,可以在基于激励机制运行的去中心化网络中训练、执行并监控Transformer架构。

就像那些已经在去中心化基础设施中运行的神经网络架构那样,我们很快就能看见GPT-3之类的模型运行在去中心化AI平台上。

GPT-3和Transformer架构是深度学习发展史上的巨大突破。在接下来的几年,我们可能会看到Transformer架构渗透进深度学习的方方面面,而且这种影响力可能会扩散至金融市场。加密货币会成为受益者。

没错,GPT-3确实令人瞩目,但是没必要惧怕它。相反,我们应该利用这些AI技术,将加密货币变成史上最智能的资产。

本文内容由 曲速未来 安全咨询公司整理编译,转载请注明。 曲速未来提供包括主链安全、交易所安全、交易所钱包安全、DAPP开发安全、智能合约开发安全等相关区块链安全咨询服务。

作者:曲速未来安全区;来自链得得内容开放平台“得得号”,本文仅代表作者观点,不代表链得得官方立场凡“得得号”文章,原创性和内容的真实性由投稿人保证,如果稿件因抄袭、作假等行为导致的法律后果,由投稿人本人负责得得号平台发布文章,如有侵权、违规及其他不当言论内容,请广大读者监督,一经证实,平台会立即下线。如遇文章内容问题,请发送至邮箱:linggeqi@chaindd.com

链得得仅提供相关信息展示,不构成任何投资建议
本文系作者 曲速未来安全区 授权链得得发表,并经链得得编辑,转载请注明出处、作者和本文链接

更多精彩内容,关注链得得微信号(ID:ChainDD),或者下载链得得App

分享到:

相关推荐

    评论(0

    Oh! no

    您是否确认要删除该条评论吗?

    分享到微信