首页 > 手机 > 配件 > 数据架构师是做什么的,大数据架构师

数据架构师是做什么的,大数据架构师

来源:整理 时间:2022-04-07 18:14:32 编辑:华为40 手机版

如何快速的成长为一名优秀大数据架构师?

如何快速的成长为一名优秀大数据架构师

如何快速的成长为一名优秀大数据架构师?成为优秀的大数据架构师,没有捷径之说,要说快的话也就是在基础知识扎实的前提下,尽可能经历更多的练习和项目,学习尽可能多的相关知识。绝大部分优秀的专业人员基本上都是在学习和项目中锻炼出来的。大数据架构师职责:1、 基于大数据基础和数据资产积累,负责大数据应用整体技术架构的设计、优化,建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。

2、 负责制定大数据应用系统的数据安全管控体系和数据使用规范。 3、 作为大数据技术方案到产品实现的技术负责人,负责关键技术点攻坚工作,负责内部技术推广、培训及知识转移工作。 4、 负责大数据系统研发项目任务规划、整体进度、风险把控,有效协同团队成员并组织跨团队技术协作,保证项目质量与进度。 5、 负责提升产品技术团队的技术影响力,针对新人、普通开发人员进行有效辅导,帮助其快速成长。

从其职责就可以看出,大数据架构师不但要有技术,还要有一些管理及培训的能力。从其技术来看,主要要涉及到:1、大数据常用的处理平台,比如:Spark、Flink、Hadoop;2、分布式存储,比如:HDFS;3、资源调度,比如:Yarn、Mesos;4、机器学习工具;5、数据分析/数据仓库,SQL类比如:Pig、Hive、kylin、Spark SQL、Impala、Phoenix、ELK等;6、消息队列,比如:Kafka、ZeroMQ、ActiveMQ、RabbitMQ等等;7、流失计算,比如:Store/JStorm、Spark Streaming等;8、日志收集,比如Scribble、Flume等;9、编程语言,比如:Java、Python、R、Ruby、Scalable等;10、数据分析挖掘,比如:MATLAB、SPSS、SAS等;11、数据可视化,比如:R、D3.js、Echarts、Excel等;12、机器学习基础及工具;13、算法等;云计算,比如云服务:Saas、Paas、IaaS、Openstack等,当然还有一些相关的知识。

除了上述技术以外,在实际的工作中很多的大数架构师又要承担一部分项目管理的职能,以及培训新人指导新人的职能。所以这个工作其实要求还是蛮高的,但就以上的技术问题要达到优秀的程度,从学习到实际工作经验,都是要花相当长的时间的。但身处的环境不一样,经历的东西不一样,成长的速度就不一样。在一个高强度满负荷的工作环境中,实战经验比较足,如果再加上自己主动把基础知识搞扎实,成长速度就很惊人。

从事大数据与人工智能行业,一定要数学好吗?为什么

从事大数据与人工智能行业,一定要数学好吗为什么

谢谢邀请!我的研究方向是大数据和人工智能,目前我也在做大数据和人工智能方面的落地项目,所以我来回答一下这个问题。为了描述数学和大数据以及人工智能之间的关系,我们首先来简单的描述一下大数据和人工智能的研究内容以及工作岗位。大数据的研究内容紧紧围绕数据展开,大数据产业链涵盖了数据的采集、整理、传输、存储、安全、分析和呈现。

大数据的核心是数据价值化,数据价值化要通过数据分析来完成,数据分析的核心则是算法的设计与实现。所以做大数据一个核心的内容就是算法设计,但是大数据岗位并不是只有算法设计一个岗位,还包括数据采集、数据整理、数据呈现等多个岗位,这些岗位对数学的要求并不高,甚至是没什么要求。所以,如果数学基础比较薄弱,那么可以做非算法岗位,这些岗位同样是大数据产业链中不可或缺的。

人工智能的研究内容包括自然语言处理、知识表示、自动推理、机器学习、计算机视觉以及机器人学,这些内容大部分都要涉及到算法,因为人工智能的基础就包括数学。人工智能的步骤基本上都是以数据为基础进行算法设计、算法实现、算法训练以及算法验证和应用等步骤,可以说人工智能对算法的要求就更高也更具体了。同样,人工智能领域也有很多岗位对数学的要求并不高,比如做功能模块的实现以及网络工程和数据采集工程等岗位。

对于大数据和人工智能来说,数学是一个重要的基础,但是也有很多岗位对数学的要求并不高。对于从业者来说,如果要深入研究大数据和人工智能,那么数学是绕不过去的。我做大数据项目多年,我会陆续在头条上写一些关于大数据方面的科普文章,如果感兴趣的朋友可以关注我的头条号,相信一定会有所收获。如果有大数据方面的问题,也可以咨询我。

文章TAG:架构师数据

最近更新