大数据：一场管理革命
最初，人们以为大数据只是谷歌、百度、阿里等个别公司的一项新的技术；后来，大数据发展成为一个快速增长的新兴产业；再后来，随着美国政府大数据发展战略的正式发布，以及G8政府纷纷实施数据开放战略，大数据正式上升为国家战略。但我们判断，大数据带来的变革意义还不止于此，对企业而言，大数据将掀起一场管理革命；对国家而言，大数据意味着国家治理体系的重构、变革与升级。本文作为引用最高的论文之一，清晰地表达了大数据在管理方面的重要含义。
管理大师戴明（W.Edwards Deming）与德鲁克（Peter Drucker）在诸多思想上都持对立观点，但“不会量化就无法管理”的理念却是两人智慧的共识。这一共识足以解释近年来的数字大爆炸为何无比重要。简而言之，有了大数据，管理者可以将一切量化，从而对公司业务尽在掌握，进而提升决策质量和业绩表现。
看看零售业吧。实体店的书商们也能追踪图书销路，哪些卖掉了哪些还没有。如果他们设计了“客户忠诚计划”，还能将某些图书的销售与消费者个人联系起来。但仅此而已。而一旦购物行为移至线上，店主们对顾客的了解会相当惊人：卖家不仅能追踪顾客买了什么产品，还知道他们查看了其他哪些产品，他们如何浏览网站，他们在多大程度上被促销活动、其他买家对产品的评论与页面布局所影响；卖家还可以交叉对比个体消费者之间与群体消费者之间的相似性等等。在此之前，卖家已经开发了一套运算方法，推测哪些书目是哪些用户乐意阅读的—每当用户忽略一个图书推荐，这种算法就会更优化一步。传统零售商是没法轻而易举获得这些信息的，他们的销售行为既孤立又盲目。所以，亚马逊把那么多实体店踢出局一点也不意外。
关于亚马逊那些耳熟能详的故事遮蔽了它的真正实力—这些先天带有数字基因的公司所能做到的事，是上一代商业领袖梦寐以求的。但实际上，大数据的潜力也可以帮助传统企业实现转型，甚至帮它们获得更好的机会提升其竞争优势（线上企业一直都知道其核心竞争力来自于对数据的理解力）。我们随后的讨论会有更多细节证明，这场大数据的革命远比之前的“数据分析”要强大得多。企业因此可以做精准地量化和管理，可以做更可靠的预测和更明智的决策，可以在行动时更有目标更有效率；而且这些都可以在一直以来由直觉而不是数据和理性主宰的领域实现。
随着大数据之工具与理念的不断传播，许多深入人心的观点将被撼动，比如经验的价值、专业性与管理实践。各个行业的商业领袖都会看清运用大数据究竟意味着什么：一场管理革命。
但是，伴随商业世界其他一些深刻的变革，公司向“大数据驱动”转型必将遭遇巨大的挑战，它需要公司领导层拥有一手的数字化能力（或者，在其他一些情况下，需要的可能是会放手的领导）。
有什么新鲜的？
企业高管们有时会问：“‘大数据’不就是‘数据分析’的另一种说法吗？”
二者确实相关：和之前的“数据分析”一样，大数据运动也力图从数据中收集智慧，并将其转化为企业的优势。但二者有三个显著差别：
规模性：仅就2012年而论，每天大约产生2.5艾字节（exabytes）的数据，而且这个数据量每40个月就翻一倍。现在互联网每秒钟产生的数据量，比20年前整个互联网储存的数据还要多。企业因此需要处理单个数据集就包含大量拍字节（petabytes）的信息，而且这些信息还不仅来自互联网。比如，沃尔玛每小时从其顾客交易中获得的数据量超过2.5拍字节—1个拍字节就是1000的5次方的字节，等同于2000万个文件柜所包含的文档信息。1个艾字节是这个量级的1000倍，也就是10亿的吉字节（一个吉字节等于千兆字节，即1GB=1000MB）。
高速性：对于很多应用程序来说，数据生成的速度比数据规模更重要。实时或者近乎实时的信息，能让一家公司比竞争对手更为灵活敏锐。举个例子，我的同事—麻省理工学院媒体实验室的阿莱士?朋特兰德（Alex “Sandy”Pentland）和他的团队曾经使用来自手机的位置数据推测，“黑色星期五”那一天有多少人在梅西百货公司（Macy\&\#39\;s）的停车场停车。“黑色星期五”是美国圣诞节购物季的开始，阿莱士团队使用的数据让他们提前推算出这关键一天的销售量—远早于梅西百货自己统计出的销售记录。无论是华尔街的分析师或者传统产业的高管，都会因这种敏锐的洞察力获得极大的竞争优势。
多样性：大数据形式多样，社交网站上发布的信息、更新、图片；传感器上显示的内容；手机上的GPS信号等等。大数据几种最主要的来源大都是全新的，比如来自社交媒体的海量信息，都跟那些社交网站本身一样新：Facebook上线于2004年，Twitter于2006年。同样的例子是智能手机和其他移动设备，它们提供了基于人、活动与地点的海量数据流。由于这些手机装置如今无处不在，人们几乎想不起iPhone发布才五年时间，iPad不过两年。然而，公司数据库虽然存储着海量信息，却直到最近还难以加工处理大数据。与此同时，用来计算数据的所有相关设备—存储器、内存、处理器、宽带等等的成本在持续降低，这意味着，从前昂贵的数据密集型处理手段正迅速地变得经济实惠。
越来越多的商业行为正在数字化，加之全新的信息源与更便宜的设备，我们将被这一切带入一个新纪元：一个海量数据在商业世界无孔不入的时代。手机、网上购物、社交网络、电子通讯设备、卫星定位系统，以及在这些设备上做最普通的操作时附带生成的井喷般的数据量。我们每个人都是一个随时随地的数字生成器。这些闲置的数据大都是非结构化的，没有被整理过—胡乱丢弃在数据库中无法使用。但是，在这些杂乱无章的混乱中埋藏着大量的信号，孤单地等待被解读。曾经的“数据分析”将严谨的技术引入了决策制定，而“大数据”让这种严谨决策变得更加简单而强大。正如谷歌研究主管彼得?诺尔维格（Peter Norvig）所说的那样：“我们并没有更好的算法，我们只是有更多的数据。”
数据决定业绩
怀疑论者的第二个疑问是：“有何证据显示，明智地运用大数据能提升公司业绩？”商业媒体上充斥着各种轶事案例，似乎在证明大数据驱动带来的价值。但我们最近发现的事实是，根本没人真正拿出严谨有力的证据。为了弥合这种尴尬的缺失，我们在麻省理工学院的数字商业中心（MIT Center for Digital Business）组织了一个团队，与麦肯锡的商业技术部、沃顿商学院的同事洛林?希特（Lorin Hitt）以及麻省理工学院的博士生西克扬?金（Heekyung Kim）一起合作，考察大数据驱动的公司是否业绩更佳。我们对北美330家上市公司的高管进行了结构性访谈（structured interview，这是一种对访谈过程高度控制的访问。访问的过程高度标准化，即对所有被访者提出的问题，提问的次序和方式，以及对被访者回答的记录方式等是完全统一的。—译者注），调研其组织与技术管理实践，然后从年报和其他一些独立信息源那里收集它们的业绩数据。
很显然，不是每家公司都喜欢数据驱动型的决策制定过程。事实上，我们发现，各行各业对大数据的态度和应用方法五花八门。但是，透过所有的分析，我们发现一种显著的关联性：越是那些自定义为数据驱动型的公司，越会客观地衡量公司的财务与运营结果。尤其是，运用大数据做决策的那些行业前三名企业，比其竞争对手在产能上高5%，利润上高6%。如果把劳动力、资金、购买服务和投资传统技术的投入都纳入计算，这些企业的表现依然卓越。它不仅有统计学上的显著性和经济上的重要性，而且也反映在其股票估价的增值上。
那么，高管们是如何运用大数据的呢？让我们深入硅谷的两家新贵企业去一探究竟吧：一家用大数据开创了新业务；另一家用大数据促进了销售。
航班更准
航空业分秒必争。尤其是航班抵达的准确时间：如果一班飞机提前到达，地勤人员还没准备好，乘客和乘务员就会被困在飞机上白白耽搁时间；如果一班飞机延误，地勤人员就只能坐着干等，白白消耗成本。当美国一家大航空公司从其内部报告中发现，大约10%的航班的实际到达时间与预计到达时间相差10分钟以上，30%的航班相差5分钟以上的时候，这家公司决定采取措施了。
其时，这家公司依照航空业的惯例—由飞行员提供航班的预计抵达时间（即ETAs）。飞行员总是在临近机场的那段时间内预测何时到港，而这个过程中还有其他很多事情占用他们的时间和注意力，干扰其判断。为了寻求更好的解决方案，这家航空公司找到了PASSUR Aerospace，这是一家专为航空业提供决策支持的技术公司，它从2001年开始提供一项名为RightETA的服务（意为：准确预测航班时间），通过搜集天气、航班日程表等公开数据，结合自己独立收集的其他影响航班因素的非公开数据—比如通过自建的无源雷达站收集某区域领空内的飞机数据—综合预测航班到港时间。
PASSUR公司最初只有几处无源雷达接收站，但是时至2012年，它们已经拥有超过155处这样的接收站。每4.6秒它就收集一次雷达眼看到的每架飞机的一系列信息，这会持续地带来海量数据。不仅如此，公司将长期以来收集的数据都保存着，这样它就拥有了一个超过十年的巨大的多维信息载体，为透彻的分析和恰当的数据模型提供了可能。RightETA的核心工作就是回答两个问题：“一架飞机在抵达机场之前都发生了什么？它究竟几点着陆的？”
使用RightETA服务后，这家航空公司大大缩短了预测和实际抵达之间的时间差。PASSUR公司相信，航空公司依据它们提供的航班到达时间做计划，能为每个机场每年节省数百万美元。这是一个相当简单的公式：大数据带来更准的预测，更准的预测带来更佳的决策。
推销更快、更个性
几年以前，美国零售业巨头之一—西尔斯控股公司（Sears Holdings）决定收集其专售的三个品牌—Sears、Craftsman、Lands’ End的顾客、产品以及销售数据，从这些海量信息中挖掘价值。显而易见，如果能集合并运用这些数据定制推销方案给消费者，并将地区差别加以利用的话，将给公司带来巨大价值。价值巨大，困难也巨大：西尔斯公司需要八周时间才能制定出个性化的销售方案，但往往做出来的时候，它已不再是最佳方案了。之所以如此，主要在于这些数据需要超大规模的分析，它们分散在不同品牌的数据库与数据仓库中，不仅数量庞大而且支离破碎。
西尔斯集团开始使用群集（cluster）收集来自不同品牌的数据，并在群集上直接分析数据，而不是像以前那样先存入数据仓库，避免了浪费时间先把来自各处的数据合并之后再做分析。这种调整让公司的推销方案更快、更精准。
据西尔斯公司的首席技术官菲里?谢利（Phil Shelley）说，他们制定一系列复杂推销方案的时间从8周缩短到1周，甚至还会更短。而且这些销售方案质量更高，因为它们更及时、更细致、更个性化。西尔斯使用的Hadoop群集能收集和处理好几个拍字节的数据，成本却只是普通数据库的一小部分。
谢利说，他惊讶于公司能如此轻松地实现这个转型—从传统方式升级为数字管理与高效分析。西尔斯在2010年开始这一转型的时候，数据管理的技术与知识还很少，因此与一家叫做Cloudera的公司签订了合同。但是很快，公司IT部的保守派和分析专家们就对新工具和新流程得心应手了。
PASSUR公司和西尔斯控股的例子展示了大数据的威力—它带来更准确的预测、更高明的决策、更恰当的操作，而且让这些事情达到一个无边的规模。当大数据应用于供应链管理的时候，它让我们了解为什么一家汽车制造商的故障率突然飙升；在客服方面，它可以持续详细调查和处理几百万人的医保状况；它还可以基于产品特性的数据集，为在线销售作出更好的预测和规划，等等。大数据在其他行业的应用也同样成效显著，无论金融业、旅游博彩业还是机械维修；在市场推广、人力资源管理方面也有极大的功用。
我们的数据分析显示，上述所见绝不是星星点点的个案，而是一次根本性的经济转型。我们确信，大数据运用带来的这一转型已经触及了商业活动的方方面面，没有谁能置身其外。
决策文化变革
大数据的技术挑战显而易见。但其带来的管理挑战更为艰巨—这要从高管团队的角色转变开始。
高价智囊请闭嘴大数据最至关重要的方面，就是它会直接影响企业怎样做决策、谁来做决策。在信息有限、获取成本高昂、且没有被数字化的时代，让身居高位的人做决策是情有可原的。因为他们拥有多年累积的经验，并将观察到的商业模式和组织内部关系内化到了自己的思维与行为中。我们可以给这种决策者和决策过程贴个标签：直觉主义。这些人描绘的未来蓝图—会发生什么事情、事情该怎样解决、因此该如何做规划等—全部基于他们的个人观点。（请参见本期文章《你的成功可以测量》。）
尤其那些做重大决策的人，都是组织内典型的位高权重的人，要不然就是高价请来的拥有专业技能和显赫履历的外部智囊。大数据领域的人认为很多公司仍然维持着这种方式—依赖“HiPPO”做决策。所谓HiPPO，就是那些高薪人士的观点（the highest-paid person\&\#39\;s opinion）。
的确有一些资深高管忠实于数据，一旦数据否定了他们的直觉，他们会抛弃个人观点。但是我们相信，在今天的整个商业世界中，人们仍然更多依赖个人经验和直觉做决策，而不是基于数据。我们在研究中设计了一个“五点复合标尺”，用来测量一家企业究竟在多大程度上是数据驱动型的。32%的回应者认为他们的公司只具备其中的一两点或两三点。
让数据做主有志于引领企业实现大数据转型的高管们，可以从两个最简单的技巧开始。首先，要养成习惯问：“数据怎么说？”每当遇到重大决策的时候，要紧跟着这个问题进一步问：“这些数据从哪儿来的？”“这些数据能得出什么分析？”“我们对结果有多大信心？”（员工能从高管的这种行为中迅速接收到信息。）其次，他们要允许数据做主；当员工看到一位资深高管听任数据推翻了他的直觉判断—这将是改变一家公司决策文化的最大力量。
在确认哪些问题需要解决的阶段，毫无疑问，专业技能仍然至关重要。传统领域的专家，因为对所在行业的深刻理解，可以清楚地识别机遇与挑战。比如PASSUR公司一直极力从全美主要的航空公司挖人，越多越好。因为拥有丰富的航空业运营知识，在PASSUR寻找下一个市场机会的时候，这些人的价值不可估量。
随着大数据运动的推进，这些传统领域的专家也会转变角色。他们的价值不在于提供类似那些高薪人士的“直觉主义”的答案，而在于他们善于发现真问题。“电脑有什么用呢？它们只知道给答案。”当天才画家毕加索这么说的时候，他一定很怀念那些传统领域的专家。
五大管理挑战
大数据转型并不是万能的，除非企业能成功应对转型过程中的管理挑战。以下五个方面在这一过程中尤为重要。
领导力那些在大数据时代获得成功的企业，并不是简单地拥有更多或者更好的数据，而是因为他们的领导层懂得设计清晰的目标，知道自己定义的成功究竟是什么，并且找对了问题。大数据的力量并不会抹杀对远见与人性化洞察的需求。相反，我们仍然需要这种领导者—他们能抓住某个绝好的机会、懂得如何开拓市场、用自己的创意提供那些相当新奇的产品和服务，并且巧舌如簧地勾勒出一幅激动人心的前景，说服下属们激情澎湃地为此拼命工作，最终成功赢得顾客。未来十年获得成功的企业，其领导者必然具备以上特质，与此同时推进了公司决策机制的转型。
人才随着数据越来越廉价，实现大数据应用的相关技术和人才也变得越来越昂贵。其中最紧迫的就是对数据科学家和相关专业人士的需求，因为需要他们处理海量的信息。统计学很重要，但是传统的统计学课程几乎不传授如何运用大数据的技能。尤其需要的能力是将海量数据集清理并系统化，因为各种类型的数据很少是以规整的形态出现的。视觉化工具和技术的价值也将因此突显。随着数据科学家的涌现，新一代的电脑工程师必须能够处理海量数据集。而设计数据试验的技能，则会非常有助于弥补数据呈现的复杂关系与因果之间的鸿沟。除此之外，那些最优秀的数据科学家还需要掌握商业语言，帮助高管把公司面临的挑战变为大数据可以解决的形式。毫无疑问，这类人才炙手可热，很难找到。
技术处理海量、高速率、多样化的大数据工具，近年来获得了长足的改进。整体而言，这些技术已经不再贵得离谱，而且大部分软件都是开源的。Hadoop，这个目前最通用的平台，就整合了实体硬件和开源软件。它接收涌入的数据流并将其分配至很便宜的存储盘，同时它也提供分析数据的工具。尽管如此，这些技术需要的一整套技能对大部分企业的IT部门来说都是全新的，他们需要努力将公司内外所有相关的数据都整合起来。只有技术远远不够，但技术是整个大数据战略中不可或缺的部分。
决策一家高效的公司通常把信息和相关的决策权统一在一起。而在大数据时代，信息的产生与流通，以及所需人才都不再是以往那样了。精明的领导者会创造一种更灵活的组织形式，尽量避免“自主研发综合症”，同时强化跨部门合作：收集信息的人要提供正确的数据给分析数据和理解问题的人，同时，他们要和掌握相关技术、能够有效解决问题的人并肩工作。
文化大数据驱动的公司要问自己的第一个问题，不是“我们怎么想？”而应该是“我们知道什么？”这要求企业不能再跟着感觉走。很多企业还必须改掉一个坏习惯：名不副实的大数据驱动。我们发现很多这样的企业，最常见的表现是，高管们明明还是按传统方式做决定—以HiPPO，那些高薪人士的意见为主，却拿出一份香艳的数据报告支撑自己的决定是多么英明。其实那不过是分配下属四处寻找的专为这个决定做辩护的一堆数字。
毫无疑问，成功的路上荆棘密布。数据科学家不够多；技术不只新，甚至新奇；把各种关联当作因果关系，由数据得到误导性的模式；文化转型的挑战更是艰巨，比如，对隐私的关切已经越来越突出。但是，大数据在技术和商业领域的卓越表现势不可挡。
证据一目了然：大数据驱动下的决策更高明。高管们要么拥抱这一现实，要么卷铺盖走人。在各个领域中，企业只有找到将数据科学与传统技能完美结合的方式，才能打败对手。我们不能说，所有的赢家都会将大数据用于其决策制定。但数据告诉我们，这样确实胜算最大。
