APM 应用性能管理对企业大数据的应用价值
近日,国务院印发《促进大数据发展行动纲要》,从政策为大数据的发展和应用保驾护航,而马云对DT时代的描绘,也让越来越多的企业开始关注和尝试大数据。然而并非所有企业都像BAT那样拥有海量的数据和强大的IT技术实力,那么对于正在向互联网+迈进的广大中国企业来说,大数据是个好东西,但分析什么、又怎么用分析数据推动企业发展无疑是个大问题。
美国调研机构企业管理协会(Enterprise Management Associates ,以下简称为EMA)研究发现,企业利用大数据分析进行基础设施能力规划(Infrastructure capacity planning)时,基于IT监控的应用性能数据将发挥至关重要的作用。
根据EMA的统计数据,在过去一年里39%的企业大数据系统数据来源于网络监控和管理系统。为了搞清企业如此操作的价值,EMA以大数据对IT架构和管理的影响为课题展开了广泛的研究:什么样的IT监控数据是企业能够进行大数据分析的,以及企业如何使用这些数据。
数据表明,相对于其他监控数据,应用性能数据与业务的关联度更高,也更有深入分析的价值。今年,在企业导入大数据系统的IT监控数据中,59%的数据来自应用性能数据,41%来自系统日志,而仅有30%使用了原始网络数据包。为了进一步了解其价值和使用频率,EMA要求企业罗列出他们导入大数据系统的最重要三种IT数据类型,应用性能数据再度以44%位列榜首。在调查中,EMA并未要求企业强调应用性能数据的价值,但企业采集应用性能管理(Application Performance Management ,以下简称为APM)数据的频率依然远高于其他类型数据。在持续监控过程中,只有三分之一的企业使用了网络性能管理(Network Performance Management,简称为NPM),这类产品多被用于故障排查。显然,APM技术更适合进行持续监控,以发现应用在线上环境的真实用户体验。
当然,要获得更有价值的结论,还需要考量更多影响因素,例如APM产品提供商是否比其他管理工具厂商更愿意为Splunk、Hadoop、Cassandra或MongoDB等第三方大数据平台提供metadata数据导出支持,而某些类型产品服务商在导出数据时却会向客户收取高昂的特别许可费。我们还需要考虑数据导出的难易程度,因为并非所有监控产品都会提供开放的API接口和完善的文档信息,而这都会对数据在大数据场景下的应用产生影响。
用例同样影响着数据的价值,调研对象在对比性能监控和故障日志排查对于IT规划和实施过程中大数据分析的重要性时,63%的企业认可应用性能数据的分析价值,而56%的企业则把此类数据作为定位企业架构瓶颈的唯一数据来源,他们认为应用性能数据是诊断问题源头的重要指标。
此外,有51%的企业已经把应用性能数据用于IT规划,并把此数据与系统调优关联起来。当问及这些数据的具体用途时,57%的企业利用这些先进的数据分析工具进行网络容量规划(capacity planning),66%用于服务器容量规划,70%用于存储容量规划。实际上,其他数据对于容量规划的影响远远不如应用性能数据,例如,流量记录(34%)和数据包流(36%)对网络容量规划的价值,与应用性能数据的价值相去甚远。
EMA的调查结果表明,应用性能数据已经被广泛用于企业基础设施监控的大数据分析领域,其他数据来源虽然也有其相应的价值,但APM平台显然已经成为大部分组织采用IT高级分析时的核心工具。当一个企业选择了大数据,你应该确保作为数据来源的监控产品能够提供开放的API接口和对NoSQL数据库集成的主动支持,以及是如何收费的,这些问题是企业在部署大数据分析系统时必须考虑清楚的。
以上是美国企业近一年应用大数据分析过程中的实际状况,而在中国,无论是大数据还是应用性能管理都刚刚起步,因此选择合适的应用性能管理服务商,无疑会给企业尝试大数据系统打下良好的基础,同时也能帮企业迈过大数据来源这一重门槛。
云智慧是国内领先的应用性能管理服务商,专注于为企业级用户提供面向业务的端到端应用性能管理(End To End Application Performance Management)和大数据分析解决方案。利用遍布全球200多个城市的分布式监控网络和基于插件的云监控端及流管理器,云智慧每天可采集超过100,000+亿条数据。根据企业不同的业务需求采用Hadoop及Elasticsearch的大数据存储,并通过基于流处理技术的实时告警引擎和基于NOSQL技术的多维可视化报告引擎,实现0.6+亿条/秒的数据处理量。
目前,云智慧的APM产品已经为电子商务、移动互联网、广告传媒、在线游戏、教育医疗等行业的几十万用户提供了前瞻性的智慧性能管理服务,是新一代应用性能管理(APM)的领导者。