从Salesforce收购Mulesoft说起,白话讲讲企业数据交换

管理

基础

Hadoop

ETL

SOA

美国CRM SaaS巨头Salesforce 65亿美元收购Mulesoft,今天我们就从这里说起。

1、Mulesoft是干什么的?

Mulesoft于2017年在纽交所上市,当时估值约30亿美元。业界普遍反映Mulesoft是一家闷声发大财的公司,那么它到底是干什么的呢?

Mulesoft的核心产品是Anypoint Platform,一个企业软件集成平台。尽管只有一个产品,但从Gartner的划分标准来看,Mulesoft至少同时踩在了两个领域里:全生命周期API管理(Full Life Cycle API Management)和企业集成平台即服务(iPaaS, Enterprise Integration Platform as a Service)。

2、从SOA说起

讲API管理之前,我们得先来说说SOA(Service-oriented Architecture, 面向服务的架构)。

简单地说,一个企业建设了许多业务系统,每个系统都拥有自己的数据,那么如何将这些分散各处的数据打通,从而可以进一步加以利用呢?

这就涉及到企业应用集成(EAI, Enterprise Application Integration)这个领域了。

传统上,企业应用集成很多是利用ETL(Extract-Transform-Load, 抽取转换加载)工具,把不同系统里的数据经过抽取、过滤、转换,最终导入到一个集中的数据仓库里,然后再做整合应用。

但是这种做法也存在很多问题。

一是只认数据,没有脑子。在数据汇集的过程中,只能针对数据格式本身进行一些处理,很难利用业务系统原有的业务逻辑。

二是随着各个系统数据体量越来越大,把所有系统的数据都汇到一个数据仓库里就变得越来越困难。

为了解决这样的问题,SOA架构应运而生,就是企业中每个系统都对外发布自己的服务,那么系统之间的集成,就可以通过调用对应系统的服务来解决了。

但是,随着企业拥有的系统越来越多,这种系统之间相互调用服务接口的集成方式又遇到了新麻烦。

可能每两个系统之间都需要相互调用服务,这最终就会演变成一个复杂的蜘蛛网结构,使得整个集成变得越来越脆弱,难以维护。

为了解决这个新问题,ESB(Enterprise Service Bus,企业服务总线)的概念又被提出来了,就是把每个系统的服务接口都对接到企业服务总线上,这样在系统集成的时候,只需要跟总线打交道,而不再需要直接跟所有其它系统打交道了,从而大大简化了集成的复杂度。

我们说回Mulesoft,在SOA领域里,你可以把Mulesoft当做企业服务总线来用,把所有业务系统的服务都注册到Mulesoft,在应用集成的时候只跟Mulesoft打交道就可以了。

3、全生命周期API管理层是解决什么问题的?

我们讲SOA、服务化的趋势,企业中各个系统都是以API形式提供服务的。再加上企业越来越多地使用云服务,各种云服务也提供了众多API。

这就导致企业拥有的API越来越多,那就当然需要有一个系统把这些API统一管理起来了。同时,如果能够顺便把这些API的权限认证、安全审计等等机制也一并统一了,那就更好了,这样其它系统调用起来就方便多了。

能管了以后,当然又会冒出来更多的想法。

比如,能不能改一下原有API的格式内容?能不能把两个API合成一个API?能不能让一个API直接调用另一个API?能不能把这些API的调用自动化串起来?

简单来说,API管理就是解决以上这些问题的。

我们来看看这个领域的魔力象限,大家熟悉的不熟悉的很多巨头都在里面。

值得注意的是,Google之所以排名第一,也是因为它在2016年用6.5亿美元收购了刚上市一年左右的Apigee,跟现在的Salesforce比起来,Google的这个第一买得可真是便宜啊,足足少了一个零。

4、企业集成平台即服务(iPaaS)是干什么的?

我们先来看看魔力象限,IBM、Oracle、Microsoft、Dell、SAP这些巨头都在里面,一看就感觉来者不善,而且排名第一的还是一般人没太听说过的Informatica。

iPaaS代表了集成平台本身的云化和服务化,这个趋势其实与如今企业IT资产云端化的趋势是密切相关的。

我们试想一下,如果企业所使用的HR、CRM、OA等系统已经都是云上的SaaS服务,那么当企业需要将这些系统间的数据打通时,自然是需要一个在云上提供服务的集成平台。

所以,SaaS和PaaS模式的应用在企业中使用比例越高,在集成时对于iPaaS的需求也就越强烈。当然,iPaaS的集成不光是针对云服务,也包括本地系统,这样就解决了混合云模式下的集成问题。

iPaaS集成的范畴,除了API接口之外,一般还会包括更多种类的协议(比如FTP、数据库),也包括对于文件数据的集成。

从这个角度来理解,API管理更关注API的治理与整合,iPaaS关注更大范畴的集成。

5、Salesforce看中了Mulesoft的什么?

Salesforce最初为中小企业(SMB)提供SaaS的CRM,而随着大客户越来越多,定制化、个性化的需求也越来强烈,所以就需要提供PaaS平台解决个性化、定制化的问题。

而这个定制化,最开始只是以Salesforce为核心的功能延伸及简单扩展,而随着个性化需求的不断深入,这种定制已经逐步演变为更大规模的多个骨干数据源之间的数据集成与交换,Salesforce可能只是多个数据源之一。

所以也可以说,数据集成是PaaS平台的上层建筑,Salesforce需要帮助客户解决整合不同数据源所带来的挑战。

收购之后,Salesforce会将MuleSoft植入进Salesforce Integration Cloud,从而帮助客户连接多个数据源,并计划在之后推出集成云。

所以,可以看出Salesforce其实更在乎的是集成(Integration)这个词。

6、美国iPaaS如火如荼,中国呢?

不一样,火候未到。

正如前面所说,新型应用集成平台的基础前提是SOA普及化、业务服务化和云应用。而中国企业目前在这些方面普遍还比较初级,集成平台的生存基础还比较薄弱。

除互联网企业外,常规企业以及政府部门的IT系统SOA化水平普遍还比较低。这就导致对于API全生命周期管理来说,许多企业确实没有那么多API要管。

同时,企业使用基于云的SaaS、PaaS应用比重也比较低,上层的API整合并不迫切。

然而国内企业依然是有应用集成需求的,目前普遍采用的方式依然以传统企业应用集成(EAI)的方式为主。

如今的BI产品普遍也包含了基础的数据汇集功能,并且其数据展现效果非常炫,也确有数据挖掘价值输出,在国内的文化氛围下,甚至更受欢迎。

而数据集成,实际上是基础支撑能力的建设,这种藏在背后、默默无闻的”隐身英雄”,同比就没有那么吸引眼球。

在当前国内的IT建设水平以及规划认知水平来看,推行集成平台的困难还是比较多的。

尽管当前国内也有与Mulesoft对标的公司,但主体上也都是以传统ETL工具的升级为核心,主体面向的也依然是传统领域,而不是新兴领域。

而且以当前国内云应用的普及阶段来看,即便是提供SaaS/PaaS形态的集成服务,实际市场意义非常有限。

7、什么是企业数据交换?

其实我们讨论的数据集成,从更大范畴来说,是企业数据交换。

企业数据交换,从范围上分,可以分为企业内交换(Intra-enterprise)和企业间交换(Multi-enterprise)。从数据内容上分,可以分为结构化数据(数据库或接口里的数据)和非结构化数据(文件)。

ETL工具、API管理和iPaaS等,都是主要解决企业结构化数据交换的问题,与此并列的还有一个很大的领域,就是解决企业内以及企业间非结构化数据交换的问题。

MFT(Managed File Transfer, 受管文件传输)领域,正是解决企业文件型数据交换与集成问题的。随着国外云服务市场逐步成为主流,国外的各大厂商也都在布局MFTaaS(Managed File Transfer as a Service),将文件传输管理服务化、平台化。

这里有一个反常规直觉的事实,企业之间的数据交换,竟然有一半以上是文件的形态进行的,这在互联网思维普及的今天,是不容易想象的。

在10年前,企业间交换数据采用文件形态的比重占60%,当时普遍认为这个比重会迅速下降,最终以接口服务形态进行交换的比重会占绝大多数。然而10年后直至今天,采用文件形态的依然占51%的比重。

其实仔细想想,也不无合理。两个对等企业之间,行业上下游多个企业之间,不同系统之间的进行数据交换,采用文件的形式,可能是最简单便捷的方式。

这实际上就是现在火热的B2Bi(Business-to-Business Integration)领域,就是专门解决企业之间的数据交换问题。

8、中国的企业数据交换之路在哪里?

以中国企业目前普遍的IT发展进程来看,企业数据交换领域在未来的3-5年会迎来真正的爆发。而国外在该领域所经历的数个发展阶段,在中国可能会被一步跨越。

而在企业数据交换领域中,最先成熟的应该是基于文件型数据的交换平台。

实际上,2015年以来的大数据应用浪潮,已经很大程度上激发了中国企业文件数据交换能力建设的需求。

不管是企业内还是企业之间,基于文件的数据交换有一个好处,就是不依赖于业务系统建设的水平,耦合度比较低,而且很多场景可以直接解决业务问题,建设门槛比较低。

从企业数据交换领域的国际巨头进入中国市场的发展路径来看,也是以文件数据交换为最初突破口,主要集中在金融、运输、制造、媒体等行业。

欢迎加入本站公开兴趣群

软件开发技术群

兴趣范围包括:Java,C/C++,Python,PHP,Ruby,shell等各种语言开发经验交流,各种框架使用,外包项目机会,学习、培训、跳槽等交流

QQ群:26931708

Hadoop源代码研究群

兴趣范围包括:Hadoop源代码解读,改进,优化,分布式系统场景定制,与Hadoop有关的各种开源项目,总之就是玩转Hadoop

QQ群:288410967

;