Hadoop Summit 2016欧洲峰会开幕Keynote回顾

2016年4月13日,都柏林的Liffey河畔,Hadoop Summit 2016在Convention会展中心盛大开幕。以下是 Kyligence CTO李扬在现场为我们带来的开幕Keynote回顾。

在可容纳2000人的Auditorium大厅,爱尔兰风十足的打击乐和踢踏舞过后,Hortonworks总裁Herb Cunitz首先亮相。开场白很简单,除了强调与会人数和讲演场次的再攀新高,着重说明了为什么要在都柏林举办大会--因为大家最爱的Guinness黑啤酒的产地就在都柏林!

第一个Keynote来自Hortonworks CEO RobBearden,他的主题是“数据正在改变商业世界”。Hadoop技术走过了十年,大数据不再是象牙塔和实验室里的玩具,它已经能切实地创造商业价值,深切地改变商业世界。零售商通过大数据技术做精准市场预测,洞察物流效率,每年可以节省7000万美元系统开支,营收增长8%,利润增长3%。保险公司通过实时分析司机的驾驶模式,动态计算行驶风险并奖励安全驾驶,带来每年26亿美金的保险金增长,减少4%的理赔损失。

之后Hortonworks联合创始人Arun Murthy登台,从技术角度展望Hadoop平台。HDFS和YARN作为大数据的操作系统已经非常成熟,将来是中间件和上层应用百花齐放的年代。Apache Nifi是集群系统之间的胶水,能实时和可视化地操控数据的流转和对接。Apache Range和Apache Atlas一并可以实现基于标签的全局访问策略。最后YARN.NEXT技术可以根据应用的组装描述文件自动适配资源,部署集群应用,并自动伸缩,重新定义了Hadoop应用这一概念。原本的组件如Zookeeper,Solr,Search UI都弱化为应用的一个部分,不再是YARN.NEXT的一等公民。

此外EMC和微软也都做Keynote,展示各自公司的大数据解决方案。其中微软提出的Tiered HDFS可以根据数据的特性(比如活跃度)透明地在多种性价比不同存储介质之间移动数据,同时保证就近计算的原则。

最后Emer Coleman女士关于Technoethics(技术伦理学)的演讲将Keynote环节提升到了一个新的高度。大数据和人工智能技术一旦被滥用,将对整个人类社会造成及其可怕的后果,这不是科幻小说里的妄想,而很可能正在我们身边发生。我们应当立即行动,为技术伦理制定规范。

;