探索大数据背景下的基因研究
与规模和速度同等重要的是，所有基因组信息都能基于数据模型和类别被链接，并以机器或人类语言进行标注，这样智能化的数据就能被分解成方程式，在处理基因、临床和环境数据时应用于普通分析平台。
基于高性能计算集群这样的新一代测序器和快速演化分析平台，基因研究领域已经被海量数据淹没。众多基因、癌症、医学研究机构和制药公司不断产生的海量数据，已不再能被及时的处理并恰当的存储，甚至通过常规通讯线路进行传输都变得困难。而通常情况下，这些数据必须能被快速存储、分析、共享和归档，以适应基因研究的需要。于是他们不得不诉诸于磁盘驱动器及运输公司，来转移原始数据到国外的计算中心，这为快速访问和分析数据带来了巨大障碍。与规模和速度同等重要的是，所有基因组信息都能基于数据模型和类别被链接，并以机器或人类语言进行标注，这样智能化的数据就能被分解成方程式，在处理基因、临床和环境数据时应用于普通分析平台。
机遇与挑战并存的基因组医学革命
自人类启动基因组计划以来，各项工程已逐步开始揭示人类基因组与疾病间关联的奥秘。随着测序技术的不断进步，仅用1000美元即可识别出基因组。
图1 基因组医学技术进步的十年
人类基因组计划是首个用来确定人类基因组序列的科研项目。该项目历时13年，耗费近30亿美元，于2003年完成，是目前为止最大的生物学合作项目。从那时起，一系列的技术进步在DNA测序和大规模基因组数据分析中展露头脚，对单个人类全基因组进行测序的时间和成本随之急剧下降，下降速度甚至超过了摩尔定律。
图2 DNA测序成本的快速下降
（自2001年以来，美国国家人类基因组研究所（NHGRI）对由美国国立卫生研究院（NIH）资助的测序中心所进行的所有DNA测序工作进行了跟踪，并统计了相关费用，这些信息已作为DNA测序的重要改进评估基准。图中展现出近年来DNA测序技术和数据产生流程的显著改善。来源：NHGRI，http://www.genome.gov/sequencingcosts/）
作为测序技术进步的一个例子，Illumina公司在2014年发布了新一代测序器HiSeqX10，它以每个基因组仅1000美元的成本，一年可解密18000个人类全基因组。这个所谓的“千元基因组技术”使人类全基因组测序比以往任何时候更廉价可行，并有望对医疗保健和生命科学行业产生巨大影响。
新技术和研究方法的成功同样带来了相当大的成本，海量数据成为亟待解决的难题：
基因组数据在过去的8年中，每5个月翻一番。基因编码项目为80％的基因组赋予了明确的含义，所以获取全基因组序列变得尤为重要。癌症基因组研究揭示了一组不同的癌细胞基因变体，通过全基因组测序的跟踪和监控，每次分析都会产生约1TB的数据。已有越来越多的国家启动了基因组测序项目，如美国、英国、中国和卡塔尔。这些项目动辄就会产生数以百PB级的测序数据。
对端到端架构的要求
为了满足基因医药研究对于速度、规模和智能化的苛刻要求，需要端到端参考架构涵盖基因计算的关键功能，如数据管理（数据集线器），负载编排（负载编排器）和企业接入（应用中心）等。为了确定参考架构（能力与功能）和映射解决方案（硬件与软件）的内容和优先级，需要遵循以下三个主要原则：
软件定义：即基于软件的抽象层进行计算、存储和云服务，以此定义基础架构和部署模式，以便在未来通过数据量和计算负载的积累进行基因组基础设施的增长和扩展。数据中心：以数据管理功能面向基因组研究、成像和临床数据的爆炸式增长。应用就绪：整合多种应用到一致的环境，提供数据管理、版本控制、负载管理、工作流编排，以及通过访问执行和监控等多种功能。
图3 基因组研究参考架构示例
图中蓝色表示基因组研究平台、绿色表示转化平台、紫色表示个性化医疗平台。这三个平台共享企业级功能：负责数据管理的集线器、负载负载管理的编排器和负责访问管理的应用中心。
架构部署总体规划
架构需要以各种基础设施和信息技术进行部署。如下是一些部署模型，以及被映射到数据集线器、负载编排器和应用中心的技术、解决方案与产品示例。
图4 参考架构部署模型
如图中所示，存储基础技术（固态硬盘、闪存、普通硬盘、云），计算（高性能计算、大数据、Spark、OpenStack、Docker）和用户访问的信息技术（应用工作流、文件协议、数据库查询、可视化、监控）由三个企业功能数据集线器、负载编排器和应用中心统一管理。
许多解决方案和产品可应用于该模型中成为可部署平台，用于基因组研究、数据转化和个性化医疗，如开源解决方案Galaxy，IBM频谱系解决方案GPFS?等。
以参考架构为蓝本增长
对端到端参考架构的另一项需求，是通过集成能被映射到不同需求的各种新旧构建块，使平台和基础设施有机增长，这些构建块可以是不同的类型、模式、大小和系统架构，如独立服务器、云虚拟机、高性能计算集群、低延迟网络、扩展型存储系统、大数据集群、磁带归档或元数据管理系统等等。对于可融入架构的构建块，需遵循行业标准化数据格式，通用软件框架和硬件协同操作性三项标准，这样实施和扩展基因组基础设施可以多种灵活的方式进行：
小规模起步：由于是基于软件定义，如果关键能力和功能到位，为符合有限的预算，系统、平台和基础设施可以相当小。例如，临床测序实验室可部署一个仅由1至2个服务器组成的小型系统，并提供少量磁盘存储和关键软件进行管理。
快速增长：由于计算和存储的增长，已有的基础设施可在不中断操作的情况下迅速扩展到很大规模。如2013年底，锡德拉湾医疗研究中心建立了属于它们自己的基因组研究基础设施，随后通过参考架构添加了一个新的构建块（60个节点的高性能计算集群），最终于2014年中期将存储基础设施增加了三倍。这一健壮的能力使得锡德拉湾成为阿拉伯卡塔尔基因项目的基础设施供应者。
跨地域分布：这是高性能计算领域近期出现的新功能，即数据的共享和联合特性：数据和计算资源被部署在不同的位置，与此同时仍可供用户、应用和工作流访问。在参考架构中，数据集线器和负载编排器与此紧密相关。
很多全球领先的医疗保健和生命科学机构都在积极探索这样的架构，以支持他们的综合研究计算基础设施。下面的章节，将阐述此类参考架构的关键部件、各种最佳实践及项目经验。
数据集线器
数据管理是基因组研究平台最根本的能力，因为海量的数据需要在正确的时间和地点以恰当的成本进行处理。时间方面，可以是在高性能计算系统中进行数小时的数据分析，如果数据需要从存储归档中调出进行再分析，可能需要数年的时间。空间方面，可以在当地的基础设施间实施近线存储，或是云端远程物理存储。
数据管理的挑战
大数据的四个V恰恰是基因组数据管理的挑战：非常大的数据流和容量（数据量Volume），苛刻的I/O速度和吞吐量要求（数据存取速度Velocity），快速进化的数据类型和分析方法（数据多样性Variety），以及共享能力和探索大量数据的环境和可靠性（数据置信度Veracity）。此外，还有法规（患者数据隐私与保护），种源管理（全版本控制与审计跟踪）和工作流编排等额外的需求，使数据管理难上加难。
数据量
基因组数据因测序成本的急剧下降不断涌现，对于配备了新一代测序技术的学术医学研究中心AMRC，数据存储容量每6至12个月翻一番已变得司空见惯。AMRC作为纽约的尖端研究机构，于2013年以300TB的数据存储能力起步，截至2013年底，存储量激增超过1PB（1000TB），超12个月前存储总量三倍。更令人吃惊的是，这一增长仍在加速并一直延续至今。对一些世界领先的基因组医药项目，如英格兰基因组（英国）、沙特阿拉伯基因组（卡塔尔）、百万精英项目（美国）以及中国国家基因库等，数据量的起点或基准都不再以千兆字节（TB）计，而是成百上千拍字节（PB）。
数据存取速度
基因组平台对数据存取速度的需求非常苛刻，原因有三点：
文件非常大：在基因研究中，文件通常用来存放研究对象的基因组信息，它可以是单个患者的，亦或是一组患者的。主要有两种类型：二进制队列或图即BAM（由基因组序列比对产生）和变型调用文件即VCF（处理后得到的基因变型），此类文件往往大于1TB，可占用典型基因组数据仓库存储总量的一半。此外，通过扩大研究范围，使用更高的覆盖分辨率，可得出更多的基因组信息（如30至100倍全基因组），这会使存储文件迅速增大。由于基因组研究通常从对罕见变异的研究（单个病人变异提取）演变为常见变异研究，于是出现了一种新的需求：共享成千上万患者的提取样本。以布罗德研究所提供的一个假设为例：对于57000个共享提取的样品，BAM输入文件有1.4PB，而VCF输出文件有2.35TB，两者以现有水准衡量都是海量数据，但可能在不久的将来变得很普遍。
小文件很多：此类文件用于存储原始或临时的基因组信息，如测序器输出（像Illumina公司的BCL格式文件）。它们通常小于64KB，可占典型基因组数据仓库文件数量一半以上。与处理大文件不同，因为每个文件的I/O都需要对数据和元数据进行两次操作，生成和访问大量文件的负载会非常大，如果按每秒操作数（IOPS）衡量速度，底层存储系统的IOPS可达数百万次。由此可以想到，对于AMRC在圣地亚哥的基础设施，未曾对小文件处理的存储做过任何优化，诸如BCL转换（像Illumina公司的CASAVA算法）这样的负载会因基础设施有限的I/O能力（尤其是IOPS），导致计算资源枯竭而最终瘫痪。基准测试证实，因计算能力浪费在等待数据就位上，CPU效率会下降至个位数。为了缓解这种计算瓶颈，需要使用数据缓存技术将I/O操作从磁盘转移到内存。
并行和工作流操作：为提高性能、加快时间，基因组计算通常以编排好的工作流批量进行。从小范围目标测序到大范围全基因组测序，为使负载在快速运转中发挥更高效能，并行操作不可或缺。随着成百上千种不同的负载在并行计算环境中同时运行，以I/O带宽和IOPS衡量的存储速度将不断累积并爆发式增长。纽约AMRC的生物信息学应用可并发运行在2500个计算核心，以每秒写一个文件的速度创建百万级数据对象，无论是2500个目录、每个目录2500个文件，亦或是一个目录中的1400万个文件都能被及时处理。而对于一个拥有6亿对象、900万目录、每个目录仅含一个文件的数据仓库，这仅仅是其众多负载中的一小部分。由于元数据是海量的，IOPS负荷会约束整体性能，即使一个列出文件的系统命令（如Linux的ls）也不得不耗费几分钟的时间才能完成，并行应用程序如GATK队列也遭遇了这种低性能。2014年初，文件系统以改善元数据基础结构为着眼点进行了大幅修正，带宽和IOPS性能均得到显著改善，基准测试显示，在没有任何应用程序调整的情况下，基因疾病应用程序的计算加速了10倍。
数据多样性
按存储和访问方式，数据格式可有多种类型，如多步工作流生成的中间文件，亦或是一些输出文件，其中包含维持生命必需的基因组信息参考数据，而这些数据需要谨慎的进行版本控制。目前常规的方法是，不考虑费用，在一个存储层把所有数据在线或近线存储，这样做会导致大数据生命周期管理能力的缺失。如果基因组数据仓库要用很长时间扫描文件系统，迁移或备份就不可能及时被完成。一家美国大型基因组中心，在采用了Illumina公司的X10全基因组测序算法后，一直挣扎于如何管理快速增长的数据。目前他们完成整个文件系统的扫描需要四天，使得每日或更长一点时间的备份变得不可能。其结果是，数据在单层存储快速堆积，元数据扫描性能不断下降，导致数据管理恶性循环。
另一个新的挑战是数据位置的管理。由于机构间的合作变得越来越普遍，大量的数据需要共享或联合，这使得地理位置成为数据不可缺少的一个特征。同样的数据集，特别是参照数据或输出数据，可以在不同地理位置存在多个拷贝，或者因法规要求在同一位置存在多个拷贝（如因临床测序平台与研究机构物理隔离产生的多重数据副本）。在这种情况下，有效的管理元数据以减少数据移动或复制，不仅能降低额外存储所需成本，还能减少版本同步带来的问题。
数据置信度
许多复杂的身心机能失调，如糖尿病、肥胖、心脏病、阿尔茨海默氏症和自闭症谱系障碍等，要研究它们的多因素特性，需要在广泛的来源中实施缜密复杂的计算，统计分析大流量数据（基因组、蛋白质组、成像）和观察点（临床、症状、环境、现实证据）。全球数据共享和网络联合保证了访问和分析数据的进程以前所未有的规模和维度不断创新和智能化，数据库和文件仓库的进化也由此相互关联在一起。在这样的前提下，数据置信度作为一个不可或缺的元素在研究中得以被考量。例如，临床数据（基因组和成像）需要被恰当和完整的标识以保护研究课题的机密性。基因组数据需要端到端的溯源以提供完整的审计跟踪和可重复能力。数据的著作权和所有权需要由一个多用户协作机构恰当申明。借助内置特性处理数据准确性，基因组计算机构可以让研究人员和数据科学家根据上下文和置信度分享和探讨大量数据。
数据集线器的功能
为了解决基因组数据管理中遇到的问题，构建一个可伸缩、可扩展层提供数据和元数据给负载，这样的企业级功能可被命名为数据集线器。它可以存储、移动、共享和索引海量基因组的原始和处理后数据。它还管理着从固态硬盘或闪存到磁盘、磁带、以及云的底层异构存储结构。
图5 数据集线器概述
作为提供数据和元数据给所有负载的企业级功能，它定义了一个可伸缩、可扩展层把所有的存储资源虚拟化、全球化到一个全局命名空间，旨在提供四个主要功能：
高性能的数据输入与输出（I/O）策略驱动的信息生命周期管理（ILM）通过缓存和必要的复制高效分享数据大型元数据管理
对于物理部署，它支持越来越多的存储技术作为模块化构建块，例如：
固态硬盘和闪存存储系统高性能快速存储磁盘大容量慢速磁盘（每驱动器4TB）高密度低成本磁带库可本地或全局分布的外部存储缓存基于Hadoop的大数据存储基于云的外部存储。
四个功能可分别映射到数据集线器：
I/O管理：针对大型和可扩展I/O，有两个方面的能力。一是服务像BAM这种大文件的I/O带宽，二是服务像BCL和FASTQ这种大量小文件的IOPS。由于这些不同的需求，传统的额定量架构很难胜任性能和规模需求。数据集线器I/O管理通过引入池的概念，将小文件元数据的I/O操作与大文件的操作分离，解决了这一问题。这些存储池，在映射到不同底层硬件，提供最佳存储性能的同时，仍能在文件系统级达到统一，对所有数据和元数据提供唯一的全局命名空间，并对用户透明。
生命周期管理：对数据被创建、删除和保存的整个生命周期进行全线管理。如果以温度作比喻来描述数据需要被捕获、处理、迁移和归档的阶段和及时性。使用像高通量测序仪这样的工具捕获而来的原始数据温度最高，并需要有健壮I/O性能的高性能计算集群（所谓的原始存储）来处理。初步处理后，原始和处理后数据变得暖起来，因为它会采取一个基于策略的过程，以确定最终操作，如删除、保留在一个长期存储池或存档等。这个过程会在帐户文件中记录文件类型、大小、使用情况（如用户最后访问的时间）和系统使用信息。任何符合操作需求的文件要么被删除，要么从一个存储池迁移到另一个，比如一个更大容量、但低效率且廉价的存储池。这种目标层可以是一个磁带库，通过配备存储池和诸如磁带这样的低成本介质，可高效利用底层存储硬件并显著降低成本。
共享管理：针对存储设施逻辑域内部和之间数据共享的需求。随着基因组样品和参考数据集变得更大（某些情况下每负载工作量可超1PB），为了共享和协作，移动和复制数据变得越发困难。为最小化数据复制对数据共享造成的影响，数据集线器在共享管理下需要具备三个特点，从而使数据共享和移动可发生在私有高性能网络或广域网，并高度依赖安全和容错性。
多集群存储：即计算集群可直接访问远程系统并按需要存取数据。云数据缓存：即特定数据仓库（主机）的元数据索引和全数据集，可被有选择的异步缓存到远程（客户端）系统，以实现本地快速访问。联合数据库：可使分布式数据库间安全联合。
元数据管理：此功能为前面三点提供了基础。存储、管理和分析数十亿数据对象对任何数据仓库而言都是必须具备的能力，尤其是扩展超出PB级的数据仓库，而这正成为基因组基础设施的发展趋势。元数据包括系统元数据，如文件名、路径、大小、池名称、创建时间、修改或访问时间等，也涵盖以键值对形式存在的自定义元数据，这样被应用程序、工作流或用户所使用的文件可与之创建关联，从而用于实现以下目标。
基于大小、类型或使用情况放置和移动文件以方便I/O管理。基于对元数据的闪电扫描收集信息，启用基于策略的数据生命周期管理。启用数据缓存，使元数据可轻量分布并弱依赖于网络。
数据集线器解决方案和应用案例
频谱规模的特性是高性能、可伸缩和可扩展，它专为高性能并行计算优化而研发，在计算系统的所有并联计算节点之间，频谱规模可服务于高带宽大数据。鉴于基因组工作流可由数百个应用程序组成，同时这些应用参与着大量文件的并行数据处理，这种能力对计算基因工作流提供数据而言至关重要。
因为基因组工作流可产生大量元数据和数据，以高IOPS固态硬盘和闪存构建系统池的文件系统，可专注于把元数据存储为文件和目录，在某些情况下也可直接存储为小文件。这大大提高了文件系统的性能和大负荷元数据操作的响应能力，如列出目录中的所有文件。
对于可进行大数据并行计算的文件系统，数据集线器可在同一计算节点服务于大数据并行计算和大数据作业，从而省去了Hadoop分布式文件系统（HDFS）的复杂需求。
基于策略的数据生命周期管理能力允许数据集线器把数据从一个存储池移动到另一个，最大化I/O性能和存储效率，并有效减少运营成本。这些存储池的范围可涵盖高I/O闪存盘、大容量存储基础设施，以及继承了磁带管理解决方案的低成本磁带介质。
基因组研究基础设施的日益分散性也要求更大甚至全球规模上的数据管理。数据不仅需要在不同的地点移动或共享，还需与负载和工作流相协调。为实现这一目标，数据集线器依赖频谱规模活动文件管理（AFM）进行共享。AFM可扩展全局命名空间到多个站点，允许共享元数据目录或映射远程客户端家目录到本地作为缓存副本。如基因组研究中心可拥有、运营和版本控制所有的参考数据库或数据集，而附属、合作网站或中心可通过这种共享功能访问参考数据集。当数据库的核心副本得到更新，其他站点的缓存副本也会迅速更新。
有了数据集线器，全系统元数据引擎还可用来索引和搜索所有的基因组和临床数据，以挖掘出强大的下游分析和转化研究能力。
负载编排器
本节介绍基因组负载编排所面临的挑战，并利用编排工具帮助减少负载管理工作。
基因组负载管理的挑战
基因组负载管理是非常复杂的。随着基因组应用程序越来越多，它们的成熟度和编程模型也不断分化：许多是单线程（如R）或易并行（如BWA）的，也有的是多线程或启用了MPI的（如MPI BLAST）。但相同的是，所有应用程序都需要在高吞吐量、高性能模式下工作，以产生最终结果。
编排功能
通过编排工具，可以编排资源、负载和工作流。负载管理器和工作流引擎，可以链接和协调一系列频谱级计算和分析作业到易构建、可自定义、可共享、可通用平台运行的全自动工作流，为具有GPU高性能计算集群或云端大数据集群的底层基础设施提供必要的应用抽象。
图6 负载编排器概述
编排器是企业级功能，可用来编排资源、负载和管理追溯，被设计为以下四个主要功能：
资源管理：按需求动态、弹性的分配计算资源。负载管理：通过分配作业到本地或远程集群等不同计算资源，有效进行负载管理。工作流管理：通过逻辑和自动化流程把应用程序联系在一起。溯源管理：关联元数据记录和保存负载和工作流。
基于工作流逻辑和应用需求（如架构、CPU、内存、I/O），通过映射和分配负载到有弹性的异构资源（如HPC、Hadoop、Spark、OpenStack/Docker、Cloud），编排器在不同的计算基础设施和高速增长的基因组计算数组间定义出抽象层。
资源管理器
该功能以策略驱动的方式分配计算资源，以满足基因组负载的计算需求。最常用的资源是高性能计算裸机集群（HPC）。该资源管理器提供一次性资源，或可动态转换和分配的资源。如果说数据集线器I/O管理提供了存储服务层，那么可以认为资源管理器提供了计算服务。此外，新型的基础设施可被添加到资源池，包括大数据Hadoop集群、Spark集群、OpenStack虚拟机集群和Docker集群。
基于负载信息管理转换资源是对资源管理器的基本需求。例如，对于被批量比对作业和Spark机器学习作业共用的基因组基础设施，在运行时负载会产生波动，资源管理器能通过感知利用率转移资源，以计算槽或容器的形式支持各作业的运行。
负载管理器
基因组计算资源需要在资源管理器的控制下有效共享、使用并提供最佳性能给基因组应用程序。负载管理器能处理要求苛刻的、分布式的关键任务应用程序，如Illumina公司的ISSA C，CASAVA，bcltofas tq，BWA，Samtools，SOAP（短寡核苷酸分析软件包）以及GATK。负载管理器还需要高度可扩展和可靠性以管理批量提交的大型作业，这是中大型基因组计算机构的通用需求。例如纽约一家医学院的基因组计算集群通常需要处理含25万个作业的排队系统，其间不能崩溃或当机。世界上一些大型的基因组中心，负载管理器队列有时会存在上百万个作业。对于成熟度不同、架构需求（如CPU，GPU，大内存，MPI等）也不同、且日益增加的基因组研究应用程序，负载管理器提供了必要的资源抽象使作业可在提交、放置、监控和记录时保持对用户透明。
工作流引擎
针对基因组的工作流程管理，工作流引擎致力于把作业连接为一个逻辑网络。该网络可按多个步骤让计算流线性开展，比如序列对齐、组合、然后变形提取，也可以基于用户定义的标准和完成条件以更加复杂的分支来运行。
编排器工作流引擎需要动态、快速的复杂工作流处理能力。独立的负载和作业可通过用户界面，结合变量、参数和数据被定义到标准工作流模板。有许多负载类型可被集成到工作流引擎，如并行高性能计算应用程序，大数据应用程序，或者分析负载的R脚本。在被定义和验证后，用户可使用该模板从他们的工作站直接启动工作流，或者发布至企业站点为他人所用。
工作流编排引擎还需提供以下功能：
作业数组：最大限度提高基因组测序分析工作流的吞吐量，特殊类型的负载可按作业数组划分为多个并行作业来处理。
子流程：可定义多个子流程，用来在基因组比对后并行进行变型分析，每个子流程的结果可合并为单一输出供分析师以多种工具进行比对。
可重用的模块：工作流也可被设计为一个模块，作为动态构建块嵌入更大的工作流。这样不仅能有效构建和重用工作流，也能帮助大型科研机构用户更好的协同共享基因组工作流。
图7 用编排器集成的基因组工作流
图中从左至右依次有以下部件：
框1：数据（如BCL文件）到达后自动触发CASAVA作为工作流第一步。框2：动态子流使用BWA比对序列。框3：Samtool以作业数组的运行方式进行后处理。框4：不同的变型分析子流并行被触发。
基因组工作流结合一些应用程序和工具，把原始序列数据（BCL）处理为变型（VCF）数据。每个框表示一个工作流功能模块，它由映射到功能的基因组应用程序组成，如基因组碱基转换、序列比对、前处理、以及变型提取和分析。这些模块自身可作为独立工作流被集成，并按照逻辑和条件关系被连接到一个更大的工作流中。
随着越来越多的机构以分布式资源部署混合云解决方案，编排器可基于数据位置预定义策略、临界值和资源有效性实时输入来均衡负载。如工作流可被设计用于处理基因组原始数据，以使其更切合测序器需要，并使用远程大数据集群的MapReduce模型进行序列比对和组合；也可设计为当基因处理达50%完成率时，触发代理事件把数据从卫星系统转移到中央高性能计算集群，从而使数据迁移和计算可并发进行以节省时间和成本。
由研究机构发布基因组流程与他人共享，是对另一个编排器的需求。由于工作流模板可被保存和分发，一些美国和卡塔尔的主要癌症和医学研究机构已开始通过交换基因组工作流进行合作。
溯源管理
有许多计算方法和应用可应用于收集、分析和注释基因组序列。应用程序、基准数据和运行时变量是重要的溯源信息，它们可对基因组分析的解读和维护产生重要影响。目前，很少用不公开标准或惯例来捕捉溯源信息，因为它可能导致重要计算分析数据的缺失。这个问题同样潜伏在其他因素中，例如以复杂数据、工作流程或渠道作为高层次分析过程，或者所用的应用程序频繁发布更新。
因此，溯源管理成为编排器需要的一个可与数据集线器元数据管理功能相媲美重要功能。溯源数据也可被理解为负载元数据，溯源管理器的功能需求是捕捉、存储和索引用户定义的溯源数据，以透明无中断的方式追溯到任何已有的计算负载或工作流。
基于这样的需求，多种技术和解决方案正在研发，有些已经完成并已投入商用，如Lab7的ESP平台和General Atomics的Nirvana。IBM也致力于开发了一种用于大规模、近实时的元数据管理系统，可与数据集线器和编排器协同工作。
应用中心
概述
应用中心是访问数据集线器和负载编排器的用户接口。它基于角色访问和安全控制提供了一个企业门户，使研究人员、数据科学家、临床医生方便的访问数据、工具、应用程序和工作流。它的目标是让没有计算机编程经验的研究员和数据科学家能使用复杂的基因组研究平台。
应用中心具有可重用优势，可作为个性化转型基因医药平台的组成部分。
图8 应用中心概述
图中描述了启动和监测负载，查询和浏览数据，可视化分析输出，以及跟踪系统日志和使用信息等环节。它定义了用户（研究人员，医生和分析师）和数据集线器与负载编排器间的抽象层。
对应用中心要求
对应用中心的要求包括如下两点：
基于站点的目录功能：它可访问应用程序、工作流和数据集，并将它们可视化。监测功能：可监测、跟踪、报告和管理特定应用信息。
基于站点的目录功能
数据科学家通常想直观访问基因组工作流和数据集，而基因组分析通常极其复杂，为最大限度消除两者之间的障碍，应用中心目录应运而生。它提供了预编译和预验证的应用程序模板和工作流定义，用户能简单直接启动站点中的作业或工作流。
图9 应用中心基因组工作流
图中表示了端到端基因组工作流（BWA-GATK），通过应用中心站点被启动并可视化，从左侧开始依次为：
框1：数据到达后自动触发工作流开始工作。框2：使用BWA进行序列比对的动态子流。框3：使用Samtool进行作业数组后处理。框4：BAM文件再校准。框5：GATK进行变型提取。
应用中心目录可用云数据浏览器进行配置，来管理基因组计算需要的数据。在基于站点的浏览器中，用户可通过浏览和搜索所有远程或本地存储服务器（数据集线器）的文件和目录找到基因组数据。无论文件在哪里，都可以追加文件启动作业。使用数据浏览器，用户可通过标记文件目录快捷的找到它。例如，一个为基因组计算用户标记的可用目录能用来存储经常访问的参考数据集。
最后，数据浏览器也可以方便数据传输，用户可把文件从浏览器桌面拖放到当前远程目录以同时上传多个文件。
实时监控
应用中心监控还需提供了一个基于门户的仪表板，提供全面的负载监控、报告和管理功能。作为监控工具，不仅单方面专注于系统监控，还提供完整的、集成化的负载监控设施。通过基因组应用程序的多样化配置（如大内存、并行或单线程），跟踪和汇总同作业与应用程序相关的计算机CPU、内存和存储I/O实用信息，帮助提高应用程序效率。
结束语
为了满足基因研究对于速度、规模和智能化的苛刻需求，面向负责创建和提供生命科学解决方案的专业技术人员（如科学家，咨询顾问，IT架构师和IT专家等），该领域出现的端到端参考架构正结合各种基础设施和信息技术被部署到越来越多的研究机构中，而基于这种架构的客户和合作伙伴生态系统也在不断生长，逐步丰富着相应的解决方案和产品。随着技术的发展，基因药物有望彻底改变生物医学研究和临床护理。结合生物学途径、药物相互作用机理及环境因素对人类基因进行研究，使得基因科学家和临床医生有可能识别疾病高危人群，为他们提供基于生化标志的早期诊断，并推荐有效的治疗方法。
作者简介：仙伟(xianwxw@cn.ibm.com)，2011年加入IBM至今，从事软件研发工作，研究方向为自动化工作流管理和高性能计算。
本文来源于：CSDN
欢迎关注中科紫鑫人事招聘相关信息：http://www.ngscn.com/index.php/Job/employ
