”什么是大数据？大数据说的直白点，就是运用一套技术手段，把数据变成信息和知识的过程。数据对我们来说是没有价值的东西，我们要把数据加工成信息或者知识，才能被人类理解。举个例子：公司一天的考勤数据是意义不大的东西，但是我们通过一月考勤数据的分析和比较，我们发现张三这个员工老是迟到。那么，张三老是迟到这个信息就对公司的管理有帮助了，领导需要去了解下，是不是张三家有什么事？或者张三最近出现别的状况？大数据的“大”又如何理解呢？所谓“大”，一层含义指数据的体量大，在数据库时代数据以GB为单位，但在互联网时代以TB为单位，数据的体量升了一个数量级。
另一层含义指数据形式的多样化。在传统BI应用中，数据大多是存储在关系型数据库中，但在互联网时代，数据的形式变得多样化了，例如:文本、视频及数据库。明白了大数据的概念，我们下来看，大数据包含哪些内容。大数据的内涵大数据从技术的角度去看，包含两大分支：数据分析和数据挖掘。数据分析是对历史数据的分析，为管理提供辅助决策信息。
数据挖掘是研究趋势和未来的问题，主要应用在预测方面。从业务的时效性要求去看，分为：实时在线分析系统和离线分析系统。例如:网站的实时用户区域分佈狀況就是实时分析應用；2019年全國各省GDP排名分析就是離綫分析應用。从大数据项目的过程看，大数据包含：数据采集、数据收集、数据转化与存储、数据建模分析、上层应用展示等。
大数据的难点，在于海量数据的分析，这又涉及到海量数据存储及分析架构等问题。按照Hadoop的技术体系来讲，flume用来收集和转化存储在服务器各处的日志及数据，存储在以hdfs文件系统或者hive或者hbase等数据仓库中，再利用hadoop架构的规范，编写mapreduce作业，再把分析结果展示给用户。
当然，这里面设计到数据分析的各种算法。大数据相关的工作岗位下面介绍下，大数据相关的核心岗位：业务专家或者顾问：为大数据提供研发方向和确定研究主题，并为技术人员提供业务支持。数据分析师：从事数据收集、整理、分析并依据数据做出评估和预测的专业人员。数据挖掘工程师：从海量数据中发现规律，需要较好的算法和数学基础。
可视化工程师：提供美观、便于人们理解的分析的结果展示界面。维护工程师：负责服务器环境的配置、搭建和运维。每个公司采用的大数据技术线路不同，工作岗位会有所差距。感兴趣的朋友，可以自己去了解下，现有的几种大数据方案。随着5G网络的建设，接入网络的iot设备会越来越多，互联网所积累的数据，还会成级数增加。在未来几年，大数据行业依然是朝阳行业，需要的大数据人才会越来越多，希望本文对有意愿加入大数据行业的朋友，有所启发和帮助，也希望大家能对大数据的概念，有更清晰的认识。
大数据的来源有几种？不同来源的数据各有什么特点？
今天的大数据来源是，除了专业研究机构产生的大量数据（CERN的离子碰撞器每秒产生高达40TB的数据），与业务运营相关的大数据可分为四个来源：1.越来越多的机器配备了持续测量和报告操作条件的设备。几年前，跟踪遥测发动机的运行仅限于价值数百万美元的航天飞机。现在，汽车制造商已在其车辆中配备了监视器，以持续提供车辆机械系统的整体运行。
一旦数据可用，公司将尽一切可能从中获利。这些机器传感数据属于大数据范围。2.计算机生成的数据可能包含有关互联网和其他用户的行为和行为的有趣信息，提供对其愿望和需求的潜在有用的理解。3.用户自己生成的数据/信息。人们通过电子邮件，短信，微博等生成的文本信息。4.迄今为止最大的数据是音频，视频和符号数据。
这些数据结构松散且数量庞大，因此难以提取有意义的结论和有用的信息。大数据改变了公司在所有行业中的运作方式。 从了解市场到如何挖掘商业信息，大数据可以看到每一个变化。 致力于收集和分析大数据的行业已经形成，并对现有公司产生了深远的影响。 根据调查，10％的公司认为，在过去五年中，大数据彻底改变了他们的运营方式。
