超能舰队：2015 年大数据分析云图

编者按： 德鲁·卡特(Drew Carter)和马克·贾尔斯(Mark Giles)分别是艾睿铂(Alixpartners)纽约信息管理服务董事总经理和伦敦信息管理服务董事总经理。

在过去的十年里，大数据的崛起让一大批供应商尝试利用大数据的优势研发新的数据分析工具。

在固有分析工具进行更新换代的同时，新兴分析工具则宣称它们才是 “潮流新品”，广大用户不清楚市面上有哪些分析工具。为机构资源寻找合适投资的分析工具就像盲人瞎马，是个高风险的赌博。

假设你是一个拥有大量信息的信息总监，并且需要解决一个业务问题。要从分析工具琳琅满目的分析市场中找出最适合公司的工具组合看似很难，其实不然。分析工具主要有两种：数据存储和建模工具。广义的数据存储是：存储数据以供未来使用的任意硬件和软件组合。它们也许各有特点，但通常拥有数据存储和检索的基本功能。建模工具由硬件和软件组成，对数据进行整合以得出规律。传统开发人员首先专注于数据存储，数据学家则利用建模工具进行数据分析和数据挖掘。要根据自身定位找出适合的工具就要从这两种分析工具中挑选出合适的组合。这两种分析工具可细分为七个不同的类别，每一类都有它独特的优势和强大功能。要解决你公司的问题，就要对这些工具进行正确分组。

分析工具有：

数据存储

传统的关系数据库管理系统( RDBMS )： 正如它的字面意思，它代表人们在过去 30 年里所指的数据库。尽管这些数据管理系统的数据处理量比不上一些新型技术，但在所有的分析工具中，它们拥有最完善的功能集，数据分析最透彻并且涉及的知识最规范。

超级英雄的首位英雄：美国队长，当之无愧的领导分析工具，虽然相比起其它分析工具来略显过时，但 RDBMS 仍然拥有强大功能，并能出色完成任务。

适用情况：需要解决的问题并不是最麻烦的，但你需要一些成熟可靠的分析工具，让员工能尽快上手。

非传统数据库( DB )： 这组数据库包含众多非 SQL 语言(代表“不使用 SQL 语言”或”不仅使用 SQL 语言”)的新型分析工具。这些工具除了运用关系数据库的基础——关系模型外，还能用于保持中小型数据(即以兆字节或千兆字节计算)流畅加载，并且在使用得当的情况下，能加载以兆兆字节或帕特字节计算的数据。这类数据库通常是跨硬件的源代码开放软件工具;其供应商通过出售包含产品支持的企业特别版软件获利。

超级英雄代表人物 ： 黑寡妇，她引用卓越的处理技术处理大型数据，是该方面的专家。同时，也能实现不同功能间的快速转换。

适用情况：希望运用一个新型的框架扩大数据规模，想要引用一种专门处理某类数据问题的技术，同时想尝试引用新技术来博取大众眼球。

大规模并行处理( MPP )关系数据库： 如果把传统的 RDBMS 比作可靠的中型轿车，那么 MPP 关系数据库就是汽车界的布加迪威龙(Bugatti Veyrons)：拥有最强劲的马力和极高的价格。这类数据库与传统的 RDBMS 组一样，都以关系模型为基础，却包含卓越的硬件和软件工程，性能和容量大幅提升。因为拥有该项技术，通常供应商只出售该数据库就能处理各类问题，因此其安装及维护费用可能十分昂贵。

超级英雄代表人物 ： 钢铁侠，本来是普通的东西(普通人，RDBMS)，注入大量的资金和技术，就成为英雄(身穿铁甲的家伙，MPP 关系数据库)。

适用情况：与供应商关系良好，愿意付出一大笔资金，且不希望对数据存储的方式进行任何重大改变。

Hadoop 和 NoSQL ：Hadoop 是市面上能买到的拥有最大数据存储容量的数据库。基于雅虎网站(Yahoo!)和谷歌网站(Google)的搜索结果，当需要处理最大容量的信息时，就要求助于 Hadoop。这方面的产品通常包含了与数据录入，数据管理和数据传输有关的应用程序的整个计算机系统。

超级英雄代表人物 ： 绿巨人，虽然不能尽善尽美，但如果需要大容量、高性能，他是不二之选。

适用情况：需要存储和处理各类所有数据。

建模工具

成熟的建模工具： 这类建模工具旨在利用统计学和数据挖掘方法处理数据，从而得出分析洞见。最初的用户是科学家和统计学家，现在用户群已增至包含企业用户。这些工具可以处理小型数据集，但通常可以扩大使用范围，或用来控制更强大的新一代平台。

超级英雄代表人物：20 世纪 60 年代的蝙蝠侠——不可否认他有点落后于时代，但他拥有几乎每一项你所能想到的功用。

适用情况：需要使用一种功能强大且为每一个员工所熟悉的技术。例如，你的团队有多名能快速利用 Pandas 数据包进行数据分析的 Python 开发人员，或者拥有一支完全掌握内外关键流程、经验丰富的 SAS 建模团队。

平台： 大数据平台是定义广泛的应用和基础设施类别，旨在提供非常特定的功能。由于以具成本效益的方式维护大数据环境非常困难，大数据平台大受欢迎。在本情况中，平台精简必要的数据操作，让用户专注于“企业任务”。这些解决方案通常包含数据集成、分析和可视化。

超级英雄代表人物：X 教授——他拥有超乎想象的强大功能，丰富的感应能力，但只限于在特定范围内。

适用情况：需要解决的问题极为清晰，希望运用一种功能齐全的高超技术为特定问题提供最优解决方案。

新一代建模工具： 新一代的建模工具兴起于上一年代末，是专门为并行数据处理而开发的。虽然这类工具仍处于新兴阶段，但正努力开发能对大规模数据进行接近实时分析的技术(达到如分析小型数据一样简单的地步)，致力于取代已经成熟的建模工具。

超级英雄代表人物：21 世纪的蝙蝠侠——同样是一种建模工具，但拥有更新、更强大的功能，甚至达到令人敬畏的技术高度。当然，由于他更现实，因此功能较为专一。

适用情况：面对前所未见的任务，希望有最先进的技术协助。