破解大数据存证瓶颈 夯实新基建“底座”

破解大数据存证瓶颈 夯实新基建“底座”

随着40万亿新基建的强势上线,分布式账本技术作为新基建的重要“底座”之一,需要突破虚拟货币、金融等场景的应用,走向电子政务、智能制造、工业互联网、溯源等更多新基建场景。

但是,这些场景的应用普遍需要大规模的节点协作和较高的吞吐率,而此前的以区块链为代表的分布式账本技术无法很好地满足这些需求。

为突破分布式账本在大数据存证应用场景中普遍存在的瓶颈问题,解决现有技术吞吐率不足,扩展性不足,存储成本难控的性能瓶颈,北京大学黄罡教授团队研发了北大数瑞分布式账本系统,并于近日通过了中国信息通信研究院泰尔实验室组织的官方测试。

黄罡告诉《中国科学报》:“通过图式结构、自主创新的随机见证共识机制等关键的底层核心技术,北大数瑞分布式账本系统实现了数据高吞吐率、存储开销可控、系统高可扩展性等技术特性,能够更好地满足工业互联网、物联网场景下数据存证的高并发需求。”

破发展瓶颈 立创新架构

实际上,分布式账本是一个基础的底层数据库,通过多方共同维护同一个账本来维护分布式账本上数据的准确性。

目前所熟知的比特币、以太坊等区块链应用,其技术本质就是在分布式账本的基础上,融合运筹学、密码学等多种技术,共同保证所有参与者在同一个由区块链内生的信任机制和激励机制的系统中,自发地参与到可信的交易中。

但是,现有的区块链技术大多针对虚拟货币、金融场景设计,吞吐率远不能达到未来整个社会的信息技术基础设施的需求,当区块链存在较多节点时,全网共识机制和数据同步机制会降低整个区块链的性能,与大数据应用场景并不匹配。

不仅如此,由于区块链技术使用传统的冗余存储的方式,对链上数据进行全网备份,在实际应用中还会造成巨大的存储资源浪费,随着节点数量增加,信息系统建设与运维成本也将难以预估和控制。

本次测试中,北大数瑞分布式账本系统突破了性能瓶颈:在公网环境、100节点规模下的存证性能可超过16万TPS;而且与传统链式分布式账本随着节点数目增加整个网络的吞吐率下降不同,北大数瑞分布式账本系统随着节点数目的增加,节点并行共识,整个网络的吞吐率呈现线性增加趋势。

据悉,北大数瑞分布式账本系统面向新基建的大数据场景需求,创新地采用了验证规则与共识存证分离的技术架构,也就是说,交易的验证和共识存证过程可以并行进行,而不是串行执行,这样就能达到兼顾整体性能和局部验证的效果。

本次测试环境为部署在全国10个不同城市的机房中的100个公有云节点,无论是否位于不同城市,每个节点之间均通过固定上限带宽的公网通信。公有云虚拟机的配置为双核、4GB内存、20Mbps(2.5MB/s)网络带宽。

深耕难题 推动应用

实际上,解决现有合约引擎吞吐量低、交易确认时间长,突破合约引擎高效执行的核心技术并非易事。

从2017年开始,黄罡教授带领研究团队就开始进行核心技术攻关,为保证智能合约可用性、可靠性的同时,提升执行效率和安全性,团队从语法设计到执行引擎实现,历时两年。

研发团队通过调研现有合约引擎的优缺点,结合大数据场景下的高并发、高吞吐的数据需求,结合团队在程序语言、操作系统、互操作技术等方面多年的积累,在迭代了15个版本后,最终设计了全新的合约语言和引擎,“实现了从‘0’ 到拥有自主产权的全新智能合约语言YJS以及合约引擎。”

“全新智能合约语言YJS支持多种执行模式,权衡合约引擎的可用性、可靠性、正确性和效率,并且可以接入各种数据源,支持合约的细粒度监测、访问控制、跨语言调用等多种高级特性,可以更好地满足大数据场景的各种需求。” 研发团队成员柳熠说。

拓展新行业 赋能新基建

新基建的核心是科技,而数据缺失一直是制约大数据、人工智能、产业互联网等新一代信息技术的发展的重要瓶颈,作为新基建“底座”之一的分布式账本系统技术是打通“信息孤岛”、“价值孤岛”的关键技术体系。

为打通“数据孤岛”,黄罡团队在大数据系统软件领域深耕多年,建立了“北大数瑞”数据智能可信操作系统平台,在多个层次引入了标准化相关的协议和功能模块:网络层所有数据资源及物理设备均使用统一的标识体系管理;在可信计算层定义标准的数据及资源可编程互操作接口,实现各类资源及操作的标准化管理等。

为推动区块链基础核心技术研究和行业应用落地,2018年4月,中国信息通信研究院牵头启动了“可信区块链推进计划”。本次数瑞分布式账本通过测试,对推进可信区块链计划有重要意义,为支持区块链技术发展落地,赋能电子政务、智能制造、工业互联网、溯源等重要行业,有望为新基建作出重要贡献。

以解决政务行业问题为例,虽然近年来各级政府建立起数据共享交换平台,但仍存在“不可知、不可信、不可管、不可控、难确权”等问题。通过共识机制、分布式账本、智能合约等技术,可以实现政务数据共享可信溯源,保障数据共享各方的数据所有权、使用权和收益权,提高政务服务效率,整个服务过程无需人工干预,提高群众的政务体验。

版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。

;