大数据时代的炼金术
大数据(Big data)近年来快速成长，根据麦肯锡全球研究中心在2011年5月发表的全球大数据研究报告指出，全球资料量光是在2010年就增加了70亿GB，相当於4千座美国国会图书馆典藏资料的总和。
如何产生、消费和储存大数据，已经成为近年来企业IT应用的重要趋势。如在eBay上，平均每天有将近1亿名用户查询商品数百万次，更有上百万件商品在线上交易，导致eBay资料库每天新增的资料，超过1.5兆笔，每天增加的资料量超过50TB，这些大数据如果没有作进一步的分析应用，势必会影响eBay的企业营运。
DIGITIMES举办之「大数据炼金术」论坛活动，於1/17在台北六福皇宫盛大举办。多位产学专家专业演讲，逾400名听众报名参加!
应用大数据 提高企业竞争力
至於制造业，其实也会产生许多大数据，但宇清数位智慧总经理郭仲仁指出，许多企业却不见得会重新检视这些资讯，其实只要经过大数据技术分析，透过细微的观察分析及萃取，就可能从中找到提高生产力及缩短产品交期的资讯。
如晶圆代工、面板等产业，都会碰到等待时间不能超过特定时间的压力，偏偏有30~40%的机器，会有这方面的问题。如果有任何一种等待因素需要有三个共同部门负责，结果其实就可能不会有人负责，唯有让每一种等待因素都能被该负责的部门看到，才会有人愿意进一步的去分析每一种因素的相关数据。
郭仲仁认为，如果能找到一种大数据的分析方法，能够混和资料采矿过程，蒐集相关资料掌握下游如何影响上游，进行相关分析，让客户找到重点，并找到真正可以操作的KPI，才会有很大的机会，找到改善的重点及方法，而这也才是大数据分析应用的价值所在。
扩展企业IT架构 驾驭大数据
企业如果能够驾驭大数据，自然能够提升竞争力，但戴尔台湾分公司企业解决方案市场开发经理陈毅达指出，目前的资料，却已经超越传统资料库或现有资料管理工具能够处里的范围。因为在爆炸性的资料增长过程中，结构性资料的成长相当缓慢，反观非结构性的资料，包括视讯、网页、智慧型手机、消费资料、位置资料、财务服务资料，以及社会媒体资料等，陈毅达指出，至少有80%的数据，属於非结构化资料，大约500万亿个文档，而且资料量每两年增加一倍。
但目前的资料库解决方案，却主要是用来设计储存结构化资料，除了只能针对已知问题的回答速度进行优化外，架构本身往往就决定了内容形式，对於新资料型态与新问题，都有适应上的困难，加上扩展成本高昂，企业势必得寻求不同以往的资料处理解决方案，才能面对爆炸性的资料增长。
优化大数据 创造资料价值
事实上，资料成长的速度，确实相当惊人。根据IDC统计，数位世界的资讯容量将会从2009年的0.8ZB，在2020年成长到35ZB，等於每15秒就成长1PB，年复合成长率高达40%，而且这些数据资料不仅巨大而且不同，如何优化资料，方便且容易的搜寻到所需要的资讯，也变得更加困难。
丽台科技新事业处软体产品部业务副总经理万蕙如指出，前各产业平均资料储存量，以证券投资、银行居首，其次则是制造业、通讯媒体、国营事业、政府机构等，整个产业生态，需要更快速即时获取针对特定商业工作项目或流程的综合细部资讯。
因为在资讯暴增的时代，企业营运所面对的挑战，包括一直在更新的大量资料、更快速回应大量终端用户的需求，多数工作者都需要迅速且有效率地查询正确资讯，如何能更即时正确地传递关键资讯，以加强特定作业流程的产出与绩效，已是当前企业IT部门必须面对的问题。
万蕙如认为，企业想要优化大数据，应该要考量资讯搜寻技术的新世代应用。如Search-Based Applicatioin(SBA)，是一种使用最新进的搜索暨索引(Search and Index)技术作为结构、半结构和非结构资讯，汇整分析功能开发之基底平台的应用软体，这种资讯分析的新方法，可同时提供支援特定工作或流程，而量身订做的定量和定性资料图表分析，可全面强化企业日常业务即时决策的准确性。
应用虚拟化技术 提升大数据处理效能
除了资讯搜索技术外，虚拟化技术在大数据时代，也变得更加重要。事实上，虚拟化环境目前面对的最主要挑战之一，其实就是大数据时代的来临，让资料的储存及备份，变得更加困难。但群晖科技软体开发部经理张成钰指出，大数据对虚拟化储存，是挑战也是机会，只要能克服资料保护效率，做好多重复制的环境布署操作，仍能提供非常完整的资料保护虚拟环境。
张成钰表示，虚拟化的好处之一，就是IT资源的处理效能可以更好，因为再强的实体主机，运作效能还是有上限，其实储存设置也有强大的运算能力，可以分散运算工作，用来解决虚拟化环境的效能瓶颈。
要强化虚拟环境操作的效能，张成钰指出，除了产品应该专为虚拟环境量身打造，完整支援主流的虚拟化解决方案外，主要的虚拟储存进阶功能，也相当重要，如储存设备就需要面对传输效能的问题。张成钰指出，固态硬碟(SSD)可让虚拟化储存在面对大数据的挑战时，提供效能提升的重要帮助。如藉由安装SSD进行快取，可大幅提升读取效能，关键在於系统是否无须在成本与效能上妥协，使用少量的SSD，即可达到效能升级。
善用云端服务 处理大数据
事实上，在大数据时代，企业不仅要考量资料的储存及应用，传输技术也非常重要，尤其在云端运算时代，许多企业会将资料存放在云端，如果云端端服务业者，无法提供高品质的资料传输服务，企业就很难即时存取资料，用来作进一步的规划。
台湾恩悌悌业务部资深副理林志鸿指出，如果企业选择将资料储存在各地分公司或企业总部机房，势必会有人力、物力及金钱方面的投资成本，但如果将资料放在云端，在大数据时代，就需要大频宽，才能缩短传输时间，如NTT在2012年正式启用的ASE海缆，配合这几年在香港、东京、新加坡及马来西亚投资的机房建设，才能提供亚太地区所需要的高速资料传输服务。
此外，云端服务业者在资料派送服务的优化技术，也会影响大数据的应用。林志鸿表示，类似Youtube、PPS的串流技术，许多云端服务业者已经开始提供，可以提高传输效率，缩短资料传输的时间，可以减轻对频宽的压力。
驾驭大数据应用的关键技术
大数据不只是需要储存及传输，也需要做更深入的分析，才能让大数据更多的价值。淡江大学统计系副教授陈景祥指出，有没有必要使用全部资料，是许多企业可以思考的问题。思考的方向首先就是成本，而且除了有形的金钱成本外，时间及人力资源等无形成本，也都需要一并考量;其次是精确度会受到多少影响，造成的决策风险会有多高，最後则是软硬体方面的限制，是否真的有足够的能力使用全部资料，进行统计分析。
陈景祥强调，企业若要进行资料探勘，一定要先有目标设定，光是只有资料，是无法透过资料探勘获得所需要的资讯。其他还要考量的重点，还包括目前的科技限制，软硬体及人力时间成本等。值得注意的是，企业得到资料探勘结果後，并不是到此为止。陈景祥强调，资料探勘只是辅助，并非全部自动化，後续还是需要人力来执行归纳分析，才能真正发挥大数据的价值。
