解读美国国防部的大数据处理与信息安全技术

棱镜门事件以来，NSA的全球监控行为遭到各国政府和人民的谴责，但美国情报部门所展现的大数据和信息安全技术实力也成为各国政府甚至一流IT企业为之“艳羡”的对象。

NSA为代表的美国国家安全和情报机构不但在信息安全技术上领先业界数年，而且在大数据采集、处理和分析技术上也让大数据技术厂商们“惊艳”。事实上，NSA大数据项目的规模、可扩展性、安全性在很多方面甚至超过了Google、亚马逊和苹果这样的大型互联网企业。

NSA旗下的风险投资公司In-Q-Tel迄今已经投资了200多个云计算、大数据、搜索与分析创业项目（下图），是美国大数据创业热潮的最强力推手，因为获得In-Q-Tel的投资本身还意味着来自政府部门的订单。

毫不夸张地说，NSA才是美国大数据创业热潮背后的真正推手。

近日，前NSA工程师创建的数据库创业公司Sqrrl的首席执行官Ely Kahn在Structure Show视频节目上解读了大数据技术如何被应用于国家安全。Sqrrl公司的产品基于开源NoSQL数据库系统Accumulo，而Accumulo系统正是创办Sqrrl的工程师在NSA时开发的。

Accumulo是PRISM棱镜项目的核心

据Kahn的介绍，Accumulo数据库系统是NSA企业架构的核心。大多数NSA的关键分析应用都运行在Accumulo上。“我不能透露具体是哪些应用，但人们在新闻中看到的大多数监控和分析应用的后台都是Accumulo。”

Accumulo的性能如此强大，足以配得上对NSA大规模监控行为的各种指责。从技术角度看，NSA已经能够识别网络上的各种可疑行为和个人，但是NSA还有一个“更大的想法”，Kahn称之为“生命分析的模式”：

这些都可以归结为异常分析，也是我们目前的重点。如何建立一种模式来识别异常和正常？这需要基于对大量应用案例的分析…

我们今天的很多工作主要是围绕图谱分析（Graph Analytics）进行，建立大规模分布式的数据图谱——围绕一个具体的应用实例建立正常模式的数据图谱，然后参照这个图谱查找异常模式。

云计算大数据集中，国防部已经行动起来

NSA采用的大数据处理和分析技术也适用于整个国防部，NSA的任务是建设一个能够跨部门分享NSA资源的云计算和大数据基础设施，Accumulo就是这个计划的一部分，如今国防部希望将所有数据——从无人机视频到医疗数据，都汇聚到一个单一的大数据分析系统中。

据Kahn介绍，NSA正在进行中的一个重要项目代号“联合信息环境”（Joint Information Environment），将在建立一个庞大的云计算大数据基础设施，整合国防部的海量应用实例——从网络安全、战场情报系统到医疗实例无所不包。

你可以不喜欢NSA，但NSA已经无可争议地在科技公司中确立了信息安全和大数据技术领导者的地位。

首个关键基础设施信息安全框架规范出炉

过去几周美国信息安全行业最大的利好消息是美国白宫发布了国家标准技术研究所（NIST）起草的美国国家信息安全指导规范《提升美国关键基础设施信息安全框架规范》请登录下载，这是美国在关键基础设施信息安全方面的首个规范。（编者按：虽然不是强制规范，但很多方面已经有些类似国内的等级保护基本要求，因此也有美国媒体指出此规范有扩大行政监管范围之嫌）。

Kahn认为《规范》是美国国土安全部和NIST通力合作的成果，对推动关键基础设施信息安全“迈出了一大步”，但“还远不够完美。”因为仅仅符合基础要求是远远不够的。