职业选择:数据工程师 or 数据科学家?

大家好,我是Lucy@FinTech社区。

大数据时代,是从事数据科学还是数据工程的工作?我们将与您分享为什么你应该考虑从事数据工程而非数据科学的原因

欢迎添加以下微信,加入FinTech 社区-数据群,提认知,攒人脉,求职招聘,投资有术!

 

01 数据工程根本上比数据科学更重要

一开始就很尖锐是吧!但是我们为什么这么说呢?

我们都听到过“garbage in, garbage out”的说法,但是直到最近,工业界才开始真正地理解这一点的含义:机器学习和深度学习可能很强大,但它们的强大经常仅限于非常特殊的情况

一个科技公司除了需要大量数据、机器学习、深度学习等人员之外,公司还需要有合理的数据人才层次结构。

作为社会人,我们需要首先满足生理需求(如食物和水等),之后才是社会需求(如社交等等)。

同样的一个公司的只有在通过数据工程建设好数据基础设施,数据科学尤其是机器学习、深度学习等等才有施展的空间。

没有良好的数据工程,得到的就是“garbage in, garbage out”的结果。

简而言之,没有数据工程就不可能有数据科学。数据工程是数据驱动公司成功的基础

 

02 工业界对数据工程师的需求正迅速增长

前面提到的,目前工业界正在意识到数据工程师的重要性。

因此,目前对数据工程师的需求不断增长

根据http://interviewquery.com的数据科学相关面试调查,从2019年到2020年,数据科学类工作的面试数量仅增长了10%,而数据工程类面试则同期数量却增长了40%

同样,有人对Y-Combinator的职位发布进行了分析,发现招聘的数据工程师的职位比数据科学家职位大约多70%

在国内某知名招聘网站上搜索数据库工程师和数据科学家的招聘信息,搜索出来的职位比更是接近40倍!

 

03 作为数据科学家,数据工程技能非常有用

在比较成熟的公司中,大家的工作通常是分开进行的,因此数据科学家可以专注于数据科学工作,而数据工程师可以专注于数据工程工作。

但对于大多数公司而言并非如此。也就是说,大多数公司实际上都要求他们的数据科学家了解一些数据工程技能。简而言之:大多数数据科学家最终需要数据工程技能

作为一名数据科学家,了解数据工程技能也非常有益。

举个例子:如果你是不了解SQL的业务分析师,则每次你想对业务作出分析的时候,你都必须要求数据分析师提供查询到的信息 ,这会在你的工作流程中造成瓶颈。

同样,如果你是一位没有数据工程基础知识的数据科学家,那么肯定会有很多时候你不得找人来进行ETL或清洗数据,而不是自己动手做。这都会严重影响工作效率!

 

04 数据科学比数据工程更容易学习

其实以数据工程师的身份学习数据科学要比以数据科学家的身份学习数据工程技能容易得多。

为什么?因为当前学习数据科学的资源很多,并且许多公司和开发者已经开发了许多工具和库来降低学习数据科学的难度。

因此,如果你即将开始自己的职业生涯,与数据科学相比,将时间花在学习数据工程上更值得,因为你有更多的时间进行投资

当你从事全职工作并进入职业生涯的几年后,你可能会发现自己没有能力或精力去投入大量时间进行学习。因此,从这个角度来看,最好先学习较难的领域。

 

05 数据工程还是一个尚未完全开发的市场

我们不想仅谈论工作机会,还想谈论利用新工具和方法进行创新并简化数据工程的可能。

最初大肆宣传数据科学时,人们发现学习数据科学应用存在的一些障碍,例如数据建模和模型部署。但是后来,出现了PyCaret和Gradio之类的公司解决了这些问题。

虽然我们正处于数据工程的起步阶段,但能预见未来会出现许多使数据工程更容易的工具。