攻克大数据——「数据科学家」的八种技能(上)
随着大数据渗透进各行各业,负责淘洗数据、从中精炼价值的数据科学家无疑是这几年最炙手可热的职位,《哈佛商业评论》将之誉为「21 世纪最性感工作」1,因为优异的数据科学家就像独角兽一样珍贵难寻,而且可不是只有科技公司在抢人,传统金融界、零售商、广告、教育,几乎所有产业都需要数据科学家从大量数据中萃取精华。根据去年七月 Indeed.com 的调查,美国数据科学家每年均薪 12.3 万美金2,比起整体均薪多出 113%——当然,还是比每年平均可以领 74 万美金的 CEO 还少,但也够让 99.99% 的上班族望尘莫及。
能领这么惊人的薪资,数据科学家的本领真的不是三言两语就能讲完。但是到底什么是数据科学家?顶尖的数据科学家最好统计、数学、程式能力最好都要掌握,而且要能从中洞察意义,并且拥有非凡的直觉,用数据数据发声,帮助公司制定重大决策。但是,其实就算同样都是寻找「数据科学家」,Google 跟沃尔玛超市要的人才,可能非常不一样。别因你好像缺了哪个专长而打退堂鼓,如果仔细阅读每家公司张贴的职缺叙述,你会发现说不定现有的技能就能进入数据科学的殿堂。Airbnb 数据科学家 Dave Holtz 把市场上所需的数据科学家概括成以下四类3:
四种数据科学家
菜鸟数据科学家说穿了就是数据分析师
有些公司需要的数据科学家,说白话就是数据分析师(data analyst),而数据分析师就是菜鸟数据科学家。你的工作包括从 MySQL 萃取数据或是一名 Excel 专家,也许要能绘制基础的数据视觉图表、分析 A/B 测试的结果或者管理公司的 Google Analytics 帐号。这种公司对抱负远大的数据科学家来说,是很不错的练功场所,当你变成老手了,也能开始尝试新事物,扩充技能组合。
来清理我们乱糟糟的数据!
公司发展到了一定规模之後,累积一堆尚未理清的数据,而且持续大幅增加,因此他们会需要一个能够建立数据基本设施(data infrastrucure)的人,以让他们在这个基础上继续成长。由於你是第一个或第一批获聘的数据相关人员,工作通常不会太难,不求统计学家或机器学习专家才能胜任。在这种公司里面,带有软体工程背景的数据科学家就很吃香了,重点任务是提供数据到 production code,关於数据的洞见与分析倒是其次。就像前面说的,你是这家公司的第一个数据探勘者,通常你不会获得太多上层的支援,虽然反而更有机会大放异彩,不过因为比较缺乏真正的挑战,也有可能面临停滞不前的窘境。
我们就是数据,数据就是我们
也有很多公司,主要的产品就是数据(或数据分析平台)。如果你想进入这种公司,那你势必要具备很高深的数据分析或机器学习功力。完美的人选应该是有正规的数学、统计、物理背景,而且有意继续朝学术面钻研。这些数据科学家的主要职责在於研发出色的数据产品,而非解答公司的营运问题。拥有大量消费者数据也以此作为主要营利来源的公司、或者提供基於数据的服务的公司,都归属此类。
产品并非数据、却以数据驱动产品的公司
很多公司都属这种类型。你可能会加入一组已经建立的数据科学家团队,这家公司很重视数据,但称不上一家数据公司。你既要能够进行数据分析、接触 production code、也能将数据视觉化。一般来说,这种公司要的人才要不是通才,就是他们团队缺乏的某种特殊专才,比如数据视觉化或机器学习。想要通过这类公司的考验,端看你对「大数据(比如 Hive 或 Pig)」工具的熟稔程度,以及过往处理杂乱无章数据的经验。
现在,你了解「数据科学家」的定义很浮动,即使公司开缺都以「数据科学家」为名,但是他们要找的人其实不太一样,不一样的技能组合、不一样专长、不一样的经验层级,却都能够称之「数据科学家」,因此找工作时,务必详读职位描述,搞清楚你会进入什么样的团队、发展什么样的技能。
连载阅读:攻克大数据——「数据科学家」的八种技能(下)