商务智能和数据科学都要求有干净的、有序的且可用的数据框架,而这通常是通过SQL服务器、甲骨文(Oracle)和SAP公司数据库来实现的。高水平的工程师需要掌握数据管理技能,熟悉提取转换加载过程,很多公司都急需这样的人才。事实上,很多首席数据官甚至认为,数据工程师才是大数据相关行业中最重要的职位。TOP4商务智能开发工程师商务智能开发工程师的最基本职能,是管理结构数据从数据库分配至终端用户的过程。
商务智能(BI)曾经只是商务金融的基础,现在已经独立出来,成为了单独的部门,很多商务智能团队正在搭建自服务指示板,这样运营经理就能快速且有效地获取高性能数据,评价公司运营情况。商务智能最重要的技术目前都掌握在主要科技巨头手中,包括微软商务智能软件包(SSIS/SSAS/SSRS/PowerBI),甲骨文(OBIEE,OBIA),SAP(BusinessObjects)和IBM(Cognos)。
TOP5数据可视化你可能会奇怪,我为什么把可视化摆在商务智能研发工程师前面。但是随着指示板和可视化工具的增多,商务智能“前端”研发工程师需要更熟练掌握Tableau、QlikView/QlikSense、SiSense和Looker。能够使用d3.js在网络浏览器中制作数据可视化的研发工程师也越来越受到公司欢迎。
很多大公司开出的年薪已经超过了7万5千英镑,平均日薪500多英镑。TOP6软件研发工程师这个也是大数据相关岗位?随着大数据的发展,很多公司都开始打造基于大数据平台的网页应用。除了掌握Javascript、C#、PHP和DiangoPython框架等传统软件研发工具,大数据软件研发工程师还需要熟练使用Pyramid或者Flask。
TOP7大数据工程师正如上文提到过的,数据工程师的工作是负责管理公司的数据,包括数据的收集,存储、处理和分析。从经验来看,这涉及到使用关系型数据库,来管理以表格方式存储的数据。有很多关于数据怎样才能被定义为大数据的讨论。为了得到这个问题的结论,必须综合考虑结构化和非结构化数据(图像,视频,音频文件等),它们往往是实时收集的,并且过于复杂,因此不能由传统数据结构处理。
大数据工程师需要能够搭建并维护大型异构数据框架,这些数据通常是在MongoDB等NoSQL数据库中。很多公司采用Hadoop框架和很多Hadoop次级软件包,如Hive(数据软件),Pig(数据流语言)和Spark(多编程模型),当然数据基础设施还远远不止这些。TOP8洞察分析师可能每个公司对这个职位的叫法不一样,但不可否认,现在具备执行力且精通技术的分析师炙手可热。
通常,他们都会和产品部门、市场部门紧密合作,运用数据编程工具来整合大数据集,得出分析结论,支持发展客户群,制定维持客户关系策略。从技术的角度来说,洞察分析师需要掌握各种数据编程工具,如SQL、SAS和SPSS等。但是很多公司都希望能够使用R和Python来获得更深度的分析,同时还要与RStudio等软件包配合使用,来生动地表达可视化数据分析结果。