很多公司都有自己大数据团队搭建的大数据平台，有点类似于运维工作。综上所述，大数据可以感性理解，即海量、丰富、准确、新鲜的数据。同时，它应该包含一系列能够高效处理这些数据的技术。大数据分析涉及大数据平台搭建、数据采集、算法设计、算法实现和结果呈现。目前，基于传统小数据分析的数据分析方法较多。使用机器学习来分析数据是一种常见的解决方案。
大数据是什么？
采集记录足够多的数据，使工作更加针对化和精准化，这是大数据吗？这不是大数据而只是数据化。什么是大数据呢？例如洛杉矶警方曾对以往的刑事案件做了统计，通过算法得出了第二天的高概率犯罪地点，然后有针对性的派警察去该处巡逻，从而使得当地的犯罪现象下降20%。这是大数据。再比如，经济学家都认为股票无法预测，而一位剑桥大学毕业的博士搞了个公司，对有史以来几乎所有的证券交易的数据进行记录，然后通过算法进行分析。
他对什么国家政策、公司业绩、行业走向等等一眼都不看，100%地排除主观意志的，只根据计算结果来进行投资，最后赚了大钱。这是大数据。大数据的精髓并不在于数据的精准和数量，而在于对内在规律的挖掘和对未来趋势的预测。其思路是：一个结果是有很多原因的，原因作用的强度可能是随机的，我们对其中作用的机理并不清楚。
我们难以找出规律性，但知道规律性就蕴含在结果数据之中，如果我们能建设合适的模型，写出好的算法，就有可能把这个规律性提炼出来，从而能科学地发现真相和预测未来。今天上午在贵州省大数据中心看到了大数据应用的事例。金润建设和鹏润达这两家企业分别投标200多次，一次也没中过，依然积极地投。投标是要成本的，这两家公司那里来的动力？通过大数据的知识挖掘技术，发现了它们总是陪着固定的一家公司一同招标，最后总是那家公司中标。
大数据化时代是如何产生的？
大数据时代的出现是信息化发展的必然结果，再具体点来说是物联网和云计算发展的直接结果，数据是各种社会活动结果的体现，所以通过数据也能发现很多有价值的规律，而这正是大数据的价值所在。其实早在大数据技术出现之前，大数据就广泛存在于社会活动中，但是大部分数据并没有被采集和存储，即使有一部分数据被存储了，但是也无法形成有效的利用，从而形成了一个个数据孤岛。
互联网的出现有效的解决了一部分信息孤岛问题，当云计算出现之后，信息孤岛问题有了根本的解决方案。而云计算与大数据在技术体系上是一脉相承，只是关注的点不同罢了，云计算关注于服务，而大数据关注于数据。目前大数据已经从概念向产业化过渡，以数据采集、数据整理、数据存储、数据安全、数据分析、数据呈现和应用为基础的大数据产业链正在形成和完善，形成了大数据平台研发、应用开发、数据分析、平台运维、大数据教育等一系列岗位。
目前大数据场景分析是大数据最为常见的落地应用之一，也是体现大数据价值最为直接的方式之一。大数据分析涉及到大数据平台的搭建、数据的收集、算法的设计、算法的实现以及结果的呈现，目前数据分析在传统小数据分析的基础之上也有了更多的分析方式，采用机器学习的方式来进行数据分析是一个比较常见的解决方案。看一个使用Numpy和Matplotlib完成数据呈现的小例子：大数据的应用将在未来发挥出更大的作用，数据的价值也将进一步得到体现，这些都会促使大数据形成一个庞大的产业，因此也需要大量的从业人员，所以学习大数据是目前一个比较不错的选择。
互联网时代，大数据充当怎样的角色？
人工智能是巧妇，大数据是米；大数据工程人员越来越有运维的味道，成为底层基础的技术；大数据与隐私的权衡，需要关注。从数据本身而言，大数据是人工智能的核心竞争资源有人说：数据、算法、算力是人工智能的核心三大模块。说是数据驱动的人工智能，不为过。没有数据，算法就是巧妇难为无米之炊，数据是知识的外在表现形式。
互联网时代，每个公司积累的大数据，是每个公司的战略物资。比如电商的用户行为数据，比如社交领域的用户通信数据。后续的机器学习、深度学习，从预测算法到客服机器人、人脸识别等等，背后模型都是以大量的数据为基础的。比如NLP领域：从GPT, BERT,GPT2, Transormer-XL, XLNET, RoBERTa, 模型背后的数据越来越多，模型越来越重，精度越来越高。
