2015年有关Hadoop的10个预测
计算及商业评论杂志给出了2015年Hadoop的10个预测。既包括了企业端的Hadoop(增长率,整合),也包括了技术整合,像Spark vs Hadoop和SQL for Hadoop。
这是你需要了解的2015年大数据分析工具的指南。
1. 市场份额增长至$2.2bn
根据MarketAnalysis.com的分析,在未来的五年内, Hadoop-MapReduce市场预计将达到22亿美元,复合年增长率高达58%。该研究公司把增长的原因归结为对海量数据的存储分析以及主要供应商提供的成本高昂的定价模型。
地区经理Peter Walker在 Information Builders 上说:“这种增长的关键驱动因素是来自多个数据源多种格式的结构化和非结构化的企业数据急剧增加。这就是为什么我们最近宣布与众多合作伙伴联合起来的原因,这些伙伴包括:Cloudera、Hortonworks、HP Vertica,、MapR 和Pivotal。”
这也符合了今年早些时候IDC的研究,研究结果预测全球Hadoop-MapReduce市场营收将从2011年的$77m增长至2016年的$812.8M(译者注:M为百万)。
2. 整合
Hadoop在技术成熟的生命周期中还相对年轻,自谷歌开创性的发表了MapReduce白皮书后,也才过去十年,据MapR CEO和创始人之一—— John Schroeder说。
“Hadoop在创新阶段,供应商错误地采用“Red Hat Hadoop”策略,好在已经退出市场,显而易见与Intel和EMC整合更加重要”,他说。
“2015年,开源软件的新模型将会继续演化、愈加微妙,它将使深度创新与社区发展两者结合在一起。”
3. Hadoop vs 传统数据库,Mysql和数据仓库
Splice Machine的联合创始人兼CEO(首席执行官)—Monte Zweben说,企业对于Hadoop的实时性和事务处理方面有强劲的需求,因为它可以替代传统数据库供应商,像Oracle、MySQL。他说:“Hadoop将继续扩展其工具集,以替代传统的RDBMSs(关系型数据库),MPP 数据库,ETL 工具和数据仓库。”
Actian公司CTO(首席技术官)—Mike Hoskins补充道:“数据的类型、来源和数据量都在不断的增长,对那些感兴趣的数据进行大量分析,再根据结果数据的关系、图表预测未来的趋势,以满足不断变化的业务需求。”
“企业需要数据分析的基础设施,可以从任何数据源中抓取任意类型、大小的数据,传送到Hadoop中,然后让各种分析引擎从中读取数据,并使用各种先进的技术来分析数据,预测未来一段时间内对业务产生的影响。”
4. 昂贵的成本会降低使用率
自动化公司Automic的CMO(市场总监)——Chris Boorman告诉CBR,很多例子证明采用Hadoop成本太过昂贵且费时。
他说:“尽管像Hadoop这样的技术在实时处理和经济预测性方面是可行的,但是最终获取的结果是有所限制的,因为需要和现有的一些企业工具集成,才能提供真正的业务洞察力和价值。”
“此外,企业要实现Hadoop的话需要雇佣一些Hadoop专家来帮助编写软件和搭建整个系统。这些专家的需求是非常大的,所以非常昂贵。而且他们会写一些自定义的脚本,这相当于又给代码库增加了一些额外的技术债。”
5. Cloudera 和 MarketLogic将为成为大数据市场的领导者
Fujitsu UK & Ireland(英国&爱尔兰)地区(首席技术官)——Jon Wrennall告诉CBR:“在2015年,我们将继续看到Cloudera和MarkLogic这些基础上建立的数据聚合平台承载更多的传统事务性数据,蚕食RDBMS供应商的份额。”
Richard Noble是Tangent Snowbal(一家数字代理公司)的技术总监,告诉CBR:“基于Hadoop的支持度(SAP,亚马逊,微软,SAS都提供了基于Hadoop的解决方案),感谢Hadoop开源项目的本质,我认为短时间内不会出现一个有威胁的竞争对手。”
“无论你使用构建在Hadoop之上的任何工具,市场领导者将会提供一个最简单的界面来处理大数据。”
6. Apache Spark vs Hadoop
IDC 欧洲大数据&分析研究主管——Alys Woodard告诉CBR说:“替代Hadoop的产品将要出现,从Apache Spark的使用率上升可以看出即时性是很重要的。”
然而,Couchbase公司的解决方案架构师Mohammed Haji博士说:“市场上有很多工具,要么是非常高昂的价格,要么无法处理海量的数据,Hadoop可以满足这些。”
“我们已经看到很多优秀的厂商将Hadoop和它们的工具进行集成,过去它们以声称能处理BigData而出名,现在它们竞相说自家的工具已完全和Hadoop集成。”
7. Skills shortage will disappear
据Forrester Research公司推测,随着企业转向他们现有的应用程序开发团队实施项目,Hadoop技术短缺的情况将很快消失,如填充数据湖泊和使用Java开发MapReduce作业。
Forrester公司的应用程序开发分析师Mike Gualtieri说:“对于那些熟悉商业智能的人,基于Hadoop的SQL提供了一种熟悉的方式让他们去访问数据。尽管经验丰富的技术管理专业人士不畏困难,开源社区和商业供应商正在创建更好的工具,使Hadoop容易上手。”
他补充道:“CIOs(首席信息官)不必雇佣高价的Hadoop顾问来完成项目,因为企业的应用程序开发人员和运营专家更了解数据,系统集成点和业务的一些挑战,所以Hadoop项目能够更快的完成。”
“对于需要一些额外技能的复杂应用程序,比如用Hadoop来做预测分析,可以在需要的时候再创建。”
8.易用性
Splunk公司EMEA(欧洲、中东和非洲)区营销主管Matt Davies说:“随着使用Hadoop分析数据更易用,更主流。企业中的任何一个人都能利用软件实时的从Hadoop中获取业务洞察力,将企业数据开放给一个全新的观众。关键这是一个自助分析的能力,可以让任何人从大数据中得到答案,无论这些人的工作角色和对技术的了解程度。
他补充道:“我们可以看到像AWS这种执行现收现付价格计划的供应商越来越多,这意味着初始投资在软件、基础设施以及技术方面的资金可以最小化。公司可以自由的使用Hadoop来实验,并通过大数据服务来展示ROI(投资回报率)和评估一个更大的投资回报。
9. 2015年将大规模部署
451Research公司数据平台和分析研究主管Matt Aslett说:“虽然我们看到大家对Hadoop有着极大的兴趣,早期由开发人员和Shadow IT或者创新实验室来开发一些独立的应用程序。”
“不过这已经开始发生变化,早期尝鲜者正在将这些战略性项目从POC(概念验证)转为产品,高级IT主管为大规模部署大开绿灯,以扩展数据存储、处理和分析能力。我们预计这一趋势将在2015年早期继续扩大,晚期多数将开始行动起来。”
10. 2015年SQL将成为Hadoop的杀手级应用。
根据Forrester研究,SQL——程序开发人员所使用的数据查询语言工具,将成为Hadoop生态系统中最有用的工具之一。
Forrester的Mike Gualtieri说:“基于Hadoop的SQL创造了一个直接的机会,成为对企业有用的数据平台的机会。AD&D专家已经了解SQL和许多能与之交互的技术。当然Hadoop和SQL相比,前者有更多的用例,但是许多企业会从基于Hadoop的SQL开始,因为它更简单。”
Actian的CTO(首席技术官)Mike Hoskins补充道:“将Hadoop转变为一个高性能、功能完整的分析平台,业务分析师可以通过SQL方便的访问Hadoop中的数据。随着越来越多的企业意识到这种需求,一些业内厂商可能会因为松散的集成或者提供不成熟的SQL-on-Hadoop方案而丢失市场份额,而那些能提供足够性能、规模、成熟度和端到端能力的企业将会完成期待已久的承诺——使用Hadoop处理大数据。”