AIphaGo,从人机对战到大数据应用

4:1,AIphaGo战胜世界围棋冠军

3月15日,谷歌AIphaGo与世界围棋冠军李世石的人机围棋大战最终以4:1收官。人工智能机器的胜利,让全世界再一次见识到科技的强大。此前,AIphaGo曾在2015年10月以5:0完胜欧洲围棋冠军、职业二段选手樊麾。

短短半年间,AIphaGo的围棋水平从强业5水平(职业的初级入门层次)到如今战胜李世石的一流九段水平,其进步不可谓不神速。

AIphaGo的进步,其实质是大数据+机器学习的进步!

AIphaGo为什么会赢?

当在网上搜索这个问题,各种数据挖掘和机器学习算法会铺天盖地涌来,然而我们认为更根本的原因,是通过对于3000万局的对弈训练数据的机器学习,以及每天百万局自我对弈产生数据的增强学习。

AIphaGo的快速走子系统、估值网络系统都是依赖于这些数据而建立。数据带来的价值结合创新的算法和工具实现了质的飞跃。

那么3000万局的对弈数据和每天百万局自我对弈产生数据,是多大的概念?

假设一局棋通常假设150手结束,一个点位(0~360)用2字节保存,一局棋的数据需要2*300=600Byte, 3000万局对局的数据量为18GB,我们假设在训练估值网络时,每步棋评估5个点位,每个点位演算20手,相当于会产生5^20个棋谱的对弈数据,那一局棋下来的数据量为5^20 * 150 * 600, 约为8583PB,1PB=1000TB。

只是一局的演算就需要如此大的数据量,何况每天需要对弈百万局,当然演算过程中的数据不会保存,而且其中会通过算法做许多优化和裁剪,但是可以肯定的是AlphaGo是建立在成熟的大数据处理技术之上的。

何为大数据?

大数据技术与移动互联技术、云计算技术一样,都属于颠覆性的信息技术。体量大、速度快、多样性、价值密度低是大数据的特点,通过数据积累和数据挖掘,实现全方位、多维度的数据分析,从而将数据转变成可视的、能为人所用的行业应用和洞察。

如何利用大数据?

在AIphaGo的例子里,上百T的数据显然已经不是传统数据库和文件系统能够处理的范畴。大数据平台是一个更好的选择,不但可以满足无限增加的数据容量,同时保障了数据处理效率和数据安全性。

在数据采集阶段,大数据平台提供多种数据采集方式;

在数据处理阶段,大数据平台同时提供实时计算框架和批处理框架,满足不同数据需求;

在数据展现阶段,大数据可以通过多种API接口和传输协议将数据发送给第三方工具或者报表系统。

大数据应用时代已到来

随着Hadoop等大数据技术的兴起,基于大数据进行安全分析已成为企业部署信息安全战略的一个重要工具和途径。通过安全大数据的有效关联、分析和挖掘,帮助企业迅捷感知安全态势,主动防御未知威胁,预判应对安全风险。

现在,大数据和机器学习已经在世界范围内掀起了一股机器学习和大数据应用的热潮。派拉软件的专家认为,未来几年,我们将能看到更广泛、更深入的关于大数据的行业应用。

在人工智能领域,AIphaGo已经用胜利向我们展示了如何利用大数据下好围棋,而更多的大数据行业应用,有待我们去深耕。

关于“派拉软件”

上海派拉软件股份有限公司(简称:派拉软件)是国内领先的企业级IT管理平台解决方案供应商,为企业客户提供身份安全认证、云计算安全、移动信息化和大数据平台相关的软件产品、解决方案和服务。派拉软件由风险投资和资深IT管理团队共同投资,总部位于上海,在北京、广州、长春、武汉设有分支机构,拥有全资子公司上海安倍思信息技术有限公司,并于2014年10月在新三板(全国中小企业股份转让系统)挂牌,股票代码:831194。

;