大数据是一种资源，也是一种工具。大数据，顾名思义，是指在一定时间内，常规软件工具无法管理和处理的数据的聚合。超过这个比例，研究大数据就有价值了。相反，研究大数据只会得出扭曲的结论。大数据存储的三大缺陷。也相当于把煤按性质分类，比如焦煤、无烟煤、肥煤、瘦煤。有点类似。大数据不是大，而是有用。
大数据顾名思义是指无法在一定时间内用常规软件工具对其内容进行抓取管理和处理的数据总合。它对人类的贡献是好的，是有益的。大数据有五大特点即大量Volume高速Velocity多样Variety低价值密度Value真实性Veracity。它并没有统计学的抽样方法，只是观察和追踪发生的事情。
大数据的用法倾向于预测分析用户行为分析或其它领域发生的事件运用高级数据分析所获取的数据。现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。有人把数据比喻为蕴藏能量的煤矿。也相当于煤炭按照性质有焦煤无烟煤肥煤贫煤等分类，有点类似，大数据并不在大，而在于有用。
5G时代，大数据流存储平台Pravega诞生记随着5G网络容器云高性能存储硬件水平的不断提高，数据增长进入了空前的发展阶段。无处不在的物联网自动驾驶汽车等边缘计算所产生的数据源源不断，就像开着的水管，数据源一直在流出。这就给当前大数据处理系统无论何种架构提出了一个问题，计算是原生的流计算，而存储却不是原生的流存储。
因此目前大数据存储面临的三大缺陷。目前大数据处理平台最常见的是Lambda架构，它的优势在于满足了实时处理与批处理需求，但是，从存储的角度看Lambda有三个缺点第一实时处理批处理不统一，不同的处理路径采用了不同的存储组件，增加了系统的复杂度，导致了开发人员的额外学习成本和工作量。第二数据存储多组件化多份化，如下图，同样的数据会被存储在Elastic Search S3对象存储系统Kafka等多种异构的系统中，而且考虑到数据的可靠性，数据还都是多份冗余的，这就极大的增加了用户的存储成本。
而往往对于企业用户来说，0.1%的存储冗余都意味着损失。第三系统里存储的组件太多太复杂，也增加了使用的运维成本。并且大部分现有的开源项目还处于强运维的产品阶段，对于企业用户来说又是很大的开销。每种类型的数据都有其原生的属性和常用访问模式，对应有最佳的适用场景以及最合适的存储系统。这三大缺点带了存储过程中的三个问题，即开发成本存储成本以及运维成本。
那么如何降低开发成本减少存储成本与减少运维成本？在这里，从最新的数据类型出发，探讨5G时代下数据存储新思路。从存储的视角来说，存储架构的设计需要首先明确所存储的数据的特点。目前企业数据的存储模式为块存储文件存储和对象存储。而今天移动互联物联网的发展，在物联网自动驾驶汽车金融等实时应用场景中，需要存储的数据目前被称之为流数据，流数据一般被定义为流数据是一组顺序大量快速连续到达的数据序列，一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合。
四大存储类型上图将流数据定义为第四种数据类型，从左到右分布着四种最常见的存储类型。传统数据库这类基于事务的程序适合采用块存储系统。文件共享场景下需要在用户间共享文件进行读写操作，因此适合采用分布式文件 (NAS) 存储系统。而需要无限扩展并支持REST接口读写的非结构化的图像/音视频文件则非常适合采用对象存储系统。
对于流数据的应用场景，流数据存储需要满足以下要求:低延迟、高并发。
