应统问答室 | 统计学专业未来从事大数据方向有优势吗?来自统计学博士的回答
以下为一名来自统计学大一新生提出的关于统计就业相关的疑问,让我们来看看数学本科、统计研究生博士的学长是怎么回应的呢。
问
统计学专业未来从事大数据方向有优势吗?
我现在是一个普通211的统计学大一新生,学校统计学还比较强,去年被选入了一流学科。几个月前选择统计学主要是感觉现在是大数据时代,未来好就业待遇高,而且自己对这个学科并不反感。
学校的统计学是在数院下面的,偏数理统计,但我一开始没当回事,以为学好了理论知识在未来会更有优势。答主入学后学习得很认真吧,学了一个月大学数学适应了大学的学习方法,感觉学数学还挺有意思的。
但是慢慢地和一下学长学姐沟通后,发现大四的学长学姐都没有打算从事这个方向(我们学校比较小,每届统计学专业都是二十几个人,可能和人比较少也有关)。而且学长学姐也说从事大数据的主要是本科是计算机的,统计学过于理论,大数据关系没太大。于是这几天就有一些茫然。
虽然自己一直打算大一就练熟R,然后自学python,听听有关的网课(虽然编程是零基础,但是打算用寒暑假和周末时间多多学习,几年下来应该会有所得),然后读研或者读博的时候选择大数据方向。
但是我一直是希望以统计学专业知识和数学素养当做自己的核心竞争力的(自学的编程当然完全和本科计算机的比不了)。
可对于大数据工作,统计学和数学知识真的能成为很大的优势么?
希望从事大数据工作的前辈给予一下建议,也希望现在在就读大数据专业的同学们可以给一下建议,谢谢大家。
答
先说下背景,我是数学本科,研究生博士都是统计,正在从事大数据领域相关工作。作为一个统计系的学长,我曾经也对这个问题有很大疑问。我相信对于统计背景想从事大数据领域的同学来说,每个人在某些时刻都考虑过这个问题。
我从大四以来,周围的人就给我说:现在是大数据时代,而我未来就是大数据专家。仿佛我选择了一个21世纪最好的专业。只要认真学,就离走向人生巅峰不远了。
然鹅。。。现实往往是残酷的。
首先,如问题中的描述。大学的统计专业大多是数理统计,本科学的统计课程基本是概率论,数理统计,多元统计,时间序列分析等等。顶多会让你选修一下数据结构与算法分析,数据库sql之类的计算机课程。数学或统计系一般学业压力很重,而且没有实习要求,想要自学计算机的相关理论难度很大。
所以对于一个正常的甚至比较优秀的统计系学生来说,基本上就是会证明,会用某些常见的统计软件,能看懂常见的统计方法,但是。。。不会算法,不会java,scala,python也不熟练,还没有实习经历。
我们再看大数据开发工程师需要的是什么。ETL,hadoop,spark,kafka,hive,hbase,这些都是什么?统计系完全不学的好吗。。。所以我在本科甚至是研究生毕业的时候找工作情绪是崩溃的。。。
那么大数据相关的工作,为什么(至今为止)不怎么需要统计的人才呢?这里需要提一下一个公司大数据平台的重要组成部分。
首先,是数据基础和需求。这个公司得是一个能接触到或者产生大量数据的公司,比如谷歌,百度等的搜索数据,淘宝,亚马逊等的交易数据,以及苹果,华为等的手机用户使用数据。对于这样的公司,他们能收集到大量数据,且在应用层面已经形成数据驱动产品或者运营的逻辑,所以大数据可以对他们的业务带来很大帮助。
第二,是大数据平台的搭建以及运维。上面说的这些公司是最先尝试大数据平台的,也是最先也从大数据中获得了收益。之前所说的那些对于大数据开发工程师的技能的要求也主要是用在这个方面。但我不是做这个的,就不详说了。
近些年,由于大数据的火热,更多的公司也加入了数据中台或者数字化转型中来,凡是有一些数据储备和需求的公司都在努力的搭建自己的大数据平台。这里面有一些公司有明确的业务场景,但也有一些并不太清楚自身对数据的需求是什么,能带来多大价值。只是先把平台搭起来再说,别到时候需求有了发现自己没有平台。
这也就是为什么当前大数据开发工程师算是一个热门的岗位。如其他答案所说,这个岗位一般不是给统计毕业生准备的,但是如果一个统计毕业生想从事大数据领域,即使不是开发岗位,这里面的技能也是需要了解的。虽然不需要理解的那么深入,但一些基本的概念,比如分布运算,流数据这些概念是必须要懂的。
第三,平台搭建好了,我们才有业务。也就是大数据分析。相关的岗位包括数据科学家,数据挖掘工程师,大(云)数据分析师。一般来说,这个岗位才算是留给统计毕业生的。但是。。。很不幸的是,这部分的坑很少且对学历要求相当高。这里有几个原因。
1,至今为止,国内大多数的企业还没有发展到能利用大数据产生可观效益这一步。大多数还在摸索阶段。既然在初级阶段,自然需求少。
2,即便能产生效益的业务,通常也都是非常成熟的模型,能落地的业务一般也仅限于用户画像,推荐系统,报表分析等,相比运维和开发需要的人力,往往一个小的研发团队就可以做。绝大多数公司还远没有到需要研发团队创造业务的地步。还有一点,研发团队是比较花钱的且可能带来风险的,对于相当多的业务逻辑简单,风险容忍度较低的公司,一个报表分析团队一般就够了。
3,因此,能消化统计毕业生的大数据部门就只剩上面提到的大厂,他们有足够的数据需求,有成熟的大数据平台和团队,他们需要的是源源不断的新业务来扩大收益和份额,也需要精细化运营在越来越大的竞争中掌握先机。这里最典型的例子是亚马逊,他们已经从提供大数据平台服务拓展到提供大数据分析服务了。
这些公司作为互联网或者高科技企业的顶端,其分析团队的要求相当高,985硕士基本上是最低要求,名校博士再正常不过。他们也愿意且有能力花时间培养一个研发人员适应大数据的开发流程。
综上所述,统计本科生想从事大数据领域,可以考虑先读个硕士,然后自学hadoop等一系列数据工程师的技能。想早点就业的话,还有另外一条路,就是先从数据分析师开始,这个岗位薪水相比数据科学家低一些,但是需求更大,偏商业分析,报表分析,咨询,前景也不错,我觉得更适合统计毕业生,核心技能是excel,sql和tableau。
以上所说都是基于现在的一些情况来说,将来随着数字化,物联网,5G,人工智能的进一步发展,随着大数据平台的进一步成型,更多的自动化分析工具问世,也许大数据分析的前景会更好,也会更加面向统计系的硕士及本科生。题主才大一,不妨可以展望一下未来,但同时也要去了解工业界和学校所学的区别。
扫一扫,添加应统联盟官方微信 【小统】,在朋友圈遇见更多精彩内容~
微信扫码关注该文公众号作者