Hadoop是大数据发展需要的开发工具

大数据里蕴藏的价值,一直是从事Hadoop和相关工具开发人员遇到困难时,激励自己的一个动力。一家大数据及服务供应商Wikibon做过一项调查,指出,很多公司的技术人员往往缺乏培训来有效的使用复杂的Hadoop。

来自Continnuity公司的创始人兼CEO Jonathan Gray对此表示,培训的目的不是要培养出许多的Hadoop专家,企业应该专注于开发更好的工具,来帮助开发人员开发大数据软件。

Continnuity公司2年前开始建立基于Hadoop的软件开发平台。公司位于加州的帕洛阿尔托,目前拥有30名员工,其中三分之二是工程师。

Gray表示:“我们是一个专注于Hadoop的公司,但我们的不同点就在于我们更关心的是开发者。”Gray告诉记者:“我们在Hadoop上已经构建了中间件,以及一个应用服务器。”

在2011年Continuuity联合Nitin Motgi(雅虎的前身)之前,Gray曾是Facebook的软件工程师,在哪他是早期开始使用Hadoop带领公司HBase工程项目进行开发的人。他们的任务就是让开发人员更容易构建Hadoop和管理应用程序。

在Gray看来,今天很多的企业――尤其是电信、金融服务、零售和保险,这些公司都在数据中游泳,他们不清楚如何从中获利。这些公司往往都是Hadoop早期的使用者,也是最有可能从大数据软件中获益的企业。“那么我们做什么呢”Gray补充道,“我们会授权给银行10000个开发人员,但是在这些开发人员中只有3个是Hadoop的开发人员,我们就用这些来进行开发。”

你会发现有大量的人是不需要有丰富的Hadoop专业知识的,也不需要培训成一个成熟的数据专家。相反,我们需要的是一个强大的用于开发大数据软件的工具。这是Continuuity公司希望开拓的一块市场。“我们将数据专家与开发人员分离,这是两种不同的人员,很多人有点过于强调这个等式的科学部分,而没有足够重视开发人员。”

在我们的生活中你会看到,硬件设备的不断创新,像可穿戴设备、智能汽车、智能家居,这些所展示的正是软件数据所驱动的。电信公司是一个拥有大量用户数据的位置,Gray说:“他们拥有地理数据、人口数据、网页浏览数据。可以说他们有着成“吨”的数据。但有意思的是,这些公司都在问,我们怎么把这堆数据变成美元?”

在大数据领域的竞争是很激烈的,有大量的风投公司将钱砸到Hadoop的公司里。Gray强调:“我们区别于其他的Hadoop公司的地方是注重开发人员以及我们的大数据应用。如果你看那些传统的供应商,像Cloudera和Hortonworks,他们卖的是数据仓库,卖的是BI分析工具。”

“当然,BI工具有它的价值所在,但你会发现很少有人关注产品和服务的数据,这些都是关于应用的,而大部分的市场没有关注这些。这对我们来说也是一个挑战。”

“不过,我们很有信心,因为我们相信大数据应用是正确的。”

;