从大数据到快数据:企业数据架构的变革

最近,在研究企业数据架构的结构转型的过程中,我深切感受到新数据增长之快、数据可感知价值的增长之快。每一次创新都足以改变行业格局。这也就促使技术创新和新技术的采用率迅猛增长,企业管理数据的方式也千差万别。

技术人员逐渐意识到,在我们与数据交互的两种主要方式之间存在巨大差异,整个“数据经济”随之转型。只有弥合这两种交互形式,意识到数据会贡献我们梦寐以求的所有价值,才能获得真正的成功。

经常有人问我,数据的力量是不是被过度宣传了,我觉得不是。相反,根据我与客户的实际经验来看,我认为数据的力量被严重低估了。至于为什么,在这本电子书《技术指南:从大数据到快数据》里,你能找到答案。

我在这本电子书中,结合实例论证了这个问题,分享了自己多年的实战经验。我阐述了一些自己的见解,希望这些见解能够抛砖引玉,吸引更多的讨论。

企业数据架构变革

这本电子书是关于新的转型后的企业数据架构的,我描述了这一架构的主要技术构成,我相信在不远的将来它能得到普遍应用。

我很欣喜地看到,和几年前相比,市场逐渐变得清晰起来。有越来越多的细分技术涌现出来。

VoltDB做数据管理软件已经6年了,6年来,我们看到了数据应用在理解、设计和开发方面毋庸置疑的趋势。

我们有目共睹的是,以前独立的功能:应用程序和分析开始融合。各种规模的公司都在着手将新的应用程序和新的分析融合到一起。这也就带来了新的问题,即如何在全公司内构建一个新的架构,满足数据密集型应用程序的需求。这时,现代企业数据架构就应运而生了。

从大数据到快数据

好,理论到此为止,下面说技术。我认为未来所有的数据增长都来源于“快数据”。现在,大家都在说“大数据”,可能难以接受“快数据”的说法,但其实理解起来并不难。产生数据的数据源大多都在以极大的速率产生数据,我们要想从数据中获取价值,就要应对这种数据增长速度。我们周围的数据源:互联网、移动、社交、传感器和整个世界的数字化莫不如此。

快数据多以数据流的形式进入系统(在这里我会暂时忽略掉批处理,因为我认为批处理意味着数据不会即可发生作用,可以在未来提取数据价值)。数据流包括监测、日志记录、交互、传感器读数、点击和在线游戏等,它们都会在一秒钟内发生上百甚至上百万次。

处理快数据与处理但从规模上来讲的大数据是完全不同的两个流程,因此数据架构也要发生变化。我们在创建VoltDB时就依照这样的理论,我的联合创始人Mike也不止一次地阐述过这种理论。我们处理快数据会经过以下流程:

获取:以每秒百万次事件的速度获取数据

决策:在每一个事件作出数据驱动的决策

实时分析:对事件发展趋势提供可视化分析

构建应对快数据的高性能应用是很难的。而在竞争激烈的现在,把它和大数据分析结合起来,融入到企业数据架构中,则成为基本的筹码。对此,很多人还没有做好准备。

;