首页 > 科技 > 问答 > 科技经验 > 大数据包括哪些工作内容,大数据开发主要做哪些工作

大数据包括哪些工作内容,大数据开发主要做哪些工作

来源:整理 时间:2022-05-05 22:11:42 编辑:科技知识 手机版

知道了大数据的概念,我们再来看看大数据包含了什么。大数据领域大概有四大工作方向。除了大数据平台的应用开发、大数据分析应用、大数据平台的整合运维,还有大数据平台架构和研发,除了以上四大工作方向,还有一个工作方向就是大数据技术的推广和培训,目前很多人都在从事。

大数据开发主要做哪些工作?

大数据开发主要做哪些工作

大家好,我是Lake,专注大数据技术程序员经验互联网科技见解分享。作为一个软件工程师,我个人目前从事的就是大数据方向。目前大数据可以分成很多具体的方向大数据平台开发大数据分析师(BI)大数据运维大数据处理(ETL)大数据组件开发(偏大数据组件底层)。不同的工作方向,其工作内容还是有一定差异的,下面我来说下不同工作岗位具体的工作内容大数据平台开发更偏向对整体数据平台功能性开发,比如离线计算平台实时计算平台算法推荐平台等等。

平时用的较多的语言是Java,其更偏向于Java开发。如果用户是上层用户,大数据相关组件作为最低层,大数据平台就桥接着用户和大数据组件,方便用户使用大数据组件的功能。大数据分析师(BI同学)更多的是对我们已有的线上数据进行价值分析,从相关的线上用户所产生的数据中,发现出一些潜在的商业价值,能够更好的去辅助决策层的战略决定。

BI需要对数据敏感细心,善于从数据中发现业务价值,平常很多工作就是数据可视化简单化深入化PPT化。大数据运维同学主要是保障公司相关机器集群的稳定,使得它们不能出现故障。当申请到新的机器时,会在新机器上面部署各种大数据组件组成的集群。同样,当有业务同学需要用到机器时,可以给大数据运维同学提需求。

当大数据组件集群突然因为什么变得集群不稳定时,运维同学需要去定位问题和解决问题,运维同学平时用的较多的Linux Shell脚本和命令行等,其职位更偏向于为其他同学提供机器稳定保障。ETL同学(数仓同学)则是对我们的线上数据进行数据加工,形成DWD层(公共明细层)DWS层(公共汇总层),形成统一的指标口径。

ETL同学会根据不同的业务需求,一般使用SQL进行数据指标的加工,指导业务同学更好的运营相关业务。同时ETL同学更关注业务指标的口径,在指标开发的过程中,使用数仓模型对业务数据进行建模,便于开发的指标数据更加统一,减少口径偏差。大数据组件开发,更多的是结合公司业务,对大数据基础组件进行定制化开发性能优化BUG修复等等。

同时,也需要对业务方接入进行问题答疑,指导他们使用大数据组件满足业务需求。同时,你也需要运维你的大数据组件,当出现故障BUG时,需要你能及时修复,保证大数据组件的稳定。大数据组件开发需要对你自己运维的组件原理掌握的很全很深,只有这样,你才能够更好的指导别人。总结大数据开发有很多方向,你可以结合你自己的兴趣,选择一个从事方向。

大数据主要涉及的内容有哪些?可以从事哪些岗位?

大数据主要涉及的内容有哪些可以从事哪些岗位

记得大学毕业的第一份工作,我们公司的业务就是做BI产品研发。哪时候互联网没有今天这样火热,也没有大数据移动互联网的概念。记得有一次和同事去华师后门买书,同事买了一本javascript,我买了一个ajax。那时候,我们产品的客户端是用Delphi开发的,其实买书就是为了补充一点新知识,工作中基本用不到。

在公司的第三年,公司要转做web的BI展示界面,我帮公司用svg做了两个展示组件,心里还是美滋滋的。随着时间的推移电商的发展,大数据云计算似乎成了每个互联网公司对外宣传的标准说法。如果不讲点这些概念,似乎给人感觉缺少些逼格。记得10年在公司的一次培训上,有个同事问,云计算是不是你搞出来的,就因为我姓云。

听到这个问题,我笑哭了。大数据这个概念喊了这么多年,很多人还是不知道大数据指的是什么。为了很好的回答这个问题,我还搜索了大数据的概念。说实话,就连从事互联网这么多年的人也没看懂百科的解释。大数据,IT行业术语,指的是在一定时间内,常规软件工具无法捕捉、管理和处理的数据集合。高增长率的海量信息资产和多样化的信息资产需要新的处理模式来拥有更强的决策能力、洞察和发现能力以及流程优化能力。

文章TAG:大数据包括哪些工作内容数据开发内容包括

最近更新

  • 有的商家发顺丰为什么可以发带电池的电子产品,商家竟然发的顺丰快递

    当时我们有一个食品分类组,里面很多商家,直接是厂家,占了店铺的一半。因为马云要动快递、三通一达的奶酪,无法独立生存。只是他被马云牵着鼻子走,结局肯定不好,最惨的是换成马云自建物流。 ......

    科技经验 日期:2022-06-08

  • 安卓系统为什么臃肿,安卓系统每年都说更流畅

    说实话,安卓这几年在系统流畅的线条上下了不少功夫。安卓不会自动清理后台。有的安卓手机厂商优化不了,或者用的人不知道怎么用好。久而久之,手机开始卡顿。熟悉Android系统开发的R ......

    科技经验 日期:2022-06-08

  • 苹果为什么嚣张,美国如此嚣张从哪儿来的底气

    卖猪肉的梁屠夫,告诉我为什么宇宙不是上帝主宰的。为什么现在科学在发展?反而有人认为宇宙是上帝主宰的。普朗克常数h定义的量子是宇宙中最小的粒子,是宇宙中最基本的变化载体。对宇宙真理的 ......

    科技经验 日期:2022-06-08

  • rx480 为什么没有了,rx480都8g显存了

    想象一下,一个花粉进华为手机专卖店,预算4000元买一部手机。推荐荣耀30Pro还是华为P40?华为和荣耀是同级还是上下级,华为和荣耀是什么关系,兄弟还是父子。买华为意味着产品力比 ......

    科技经验 日期:2022-06-08

  • 太阳为什么温度最高,为什么不会融化

    这也是不对的。如果时间拖得足够长,随着太阳物质核聚变的继续,物质元素融合成铁元素,基本停止反应。重的铁元素会落到太阳表面,或者形成一个固体的太阳球体。随着越来越多的铁落下,对底层的 ......

    科技经验 日期:2022-06-08

  • 流量卡为什么好卡,为什么移动的无限流量这么卡

    无线流量限速问题运营商提出的无线流量卡并不是真正的无限流量。你以为便宜的是垃圾物联网卡。这是惯例。我觉得12流量卡都是正规卡,去过无数坑,所以知道这个月租49块钱很贵,但是100g ......

    科技经验 日期:2022-06-08

  • 为什么火星叫火星,那么金星为什么不叫火星

    他实际上是苏联的二号人物。斯大林死后,他一度有可能成为苏联的领袖,但在他春风得意之时,却被昔日的战友处决了。苏联只用了20多年就赶上了美国。那么,你认为苏联的科技是先进还是落后?我 ......

    科技经验 日期:2022-06-08

  • 为什么摩拜单车变少了,摩拜单车为什么这么难骑

    没办法,穷成这样。买二手的,打折的就行。喜欢苹果手机的人有以下几种可能:全新的6800元左右,二手的4000元左右,没有五官的才2000多点。价格差别还是很大的,所以有些人喜欢便宜 ......

    科技经验 日期:2022-06-08