首页 > 科技 > 问答 > 科技经验 > 列族数据库有哪些,列式数据库有哪些

列族数据库有哪些,列式数据库有哪些

来源:整理 时间:2022-04-24 16:25:05 编辑:科技知识 手机版

我知道大概有几种:1。关系数据库2。列数据库3。键值数据库4。图像和图形数据库5。分布式文档数据库。产品及其主要特点如下所述。列数据库列数据库一般用来对应大量的字符串数据,如HBase、cassandra、SybaseIQ、HPVertica、EMCGreenplum等。

大数据的数据库是什么

大数据的数据库是什么

大数据时代是当前最吃香的名词,其应用到世界的各个领域和行业。我知道大概有几种:1.关系数据库2.列式数据库3.键值数据库4.图像图形数据库5.分布式文档数据库下面分别一一说明其代表的产品以及其主要特点。关系数据库关系型数据一直为我们所用,比如Oracle,MySQL,SQL Server,Postgress.保存到关系数据库的数据必须满足一定要求,用通用的话来说就是满足一定的数据范式,比如主键,外键,数据的冗余;举个例子,学生的信息可以保存到数据库中,班级的信息也可以保存到数据库中,而且一个班级包括很多学生,他们之间通过外键还可以建立一种1对多的对应关系,这些信息和关系可以通过关系型数据库进行存储,值得注意的是,关系型数据库,需要预先定义其表结构,而且存储前需要定义其对应的数据类型或者长度,一旦有新的属性加入,就要修改其表的结构。

传统的关系型数据库其实就是行式数据库,就是一行一行的方式来存储信息的。列式数据库列式数据库一般应用于对应大量的字符串数据,实例如HBase,cassandra,Sybase IQ,HP Vertica、EMC Greenplum等。列式数据库从一开始就是面向大数据环境下数据仓库的数据分析而产生,主要适合于批量数据处理和即时查询。

下面这2张图形象的说明了什么是列式数据库,什么是行式数据库已经两者之间的区别。极高的装载速度 (最高可以等于所有硬盘IO 的总和,基本是极限了)适合大量的数据而不是小数据实时加载数据仅限于增加(删除和更新需要解压缩Block 然后计算然后重新压缩储存)高效的压缩率,不仅节省储存空间也节省计算内存和CPU,为什么具有高压缩率呢?因为存储的数据类型是一样的。

非常适合做聚合操作。键值数据库即Key-Value存储,简称KV存储。它是NoSQL存储的一种方式。它的数据按照键值对的形式进行组织,索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据,同时能有效减少读写磁盘的次数,比SQL数据库存储拥有更好的读写性能。典型的产品有: 亚马逊的DynamoDB,redis。

图形数据库图形数据库不是专门用来存储图形图像的,而是因为其用图状结构来维持其数据之间的关系,所以叫做图形数据库。Neo4j,Sones就是其典型代表。在图数据结构中,只有两种基本的数据类型 即节点(Node)和关系(Relationship),节点(Node)可以拥有属性,关系(Relationship)也可以拥有属性 ,属性都是以键值对的方式存储,节点(Node)与节点(Node)的联系通过关系(Relationship)进行建立,他们建立的关系是有方向的。

Neo4j是一个高性能的,NOSQL图形数据库,它将结构化数据存储在网络上而不是表中。Neo4j也可以被看作是一个高性能的图引擎,该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。Neo4j因其嵌入式、高性能、轻量级等优势,越来越受到关注。

其支持几乎所有的主流的开发语言分布式文档存储数据库不需要定义,应用灵活,文档存储支持对结构化数据的访问,不同于关系模型的是,文档存储没有强制的架构。与关系模型不同的是,文档存储模型支持嵌套结构。例如,文档存储模型支持XML和JSON文档,字段的“值”又可以嵌套存储其它文档。文档存储模型也支持数组和列值键。

与键值存储不同的是,文档存储关心文档的内部结构。这使得存储引擎可以直接支持二级索引,从而允许对任意字段进行高效查询。支持文档嵌套存储的能力,使得查询语言具有搜索嵌套对象的能力,XQuery就是一个例子。MongoDB通过支持在查询中指定JSON字段路径实现类似的功能。比如,CouchDB,MongoDB等。

大数据十亿级别以上数据既可查询详单又可汇总技术方案有哪些

大数据十亿级别以上数据既可查询详单又可汇总技术方案有哪些

在查询详单和汇总方面目前最火的技术非列式数据库clickhouse莫属了。单台机器就可以轻松支持亿级别的数据分页查询,即详单数据,而且对亿级别的groupby的速度也非常快,即汇总。目前已经有公司使用了单台clickhouse查询百亿级别的详单数据了。而且clickhouse默认支持绝大部分的sql,并且可以和mybatis和jpa等框架整合。

当单台的查询性能达到瓶颈,clickhouse还可以很轻松就能搭建出集群,从而大大扩展了整个系统的查询性能。dbeaver是支持clickhouse查询的客户端工具,其和mysql的客户端工具navicat类似。因此整个clickhouse的查询解决方案和我们平时使用的mysql没有太大的差别,基本上是无缝衔接的。

mongodb,redis,hbase,三者都是nosql数据库,他们的最大区别和不同定位是什么?

一、NoSQL的简介NoSQL比关系型数据库性能高数倍。NoSQL凭借 “易扩展、大数据、高可用、高性能、灵活性”特点强势引领全场。CP型分布式数据库,能够保证数据的强一致性和分区容忍性。二、NoSQL的常用种类1、mongodb优点:MongoDB最大的特点是表结构灵活可变,字段类型可以随时修改。MongoDB是高性能、无模式的文档型数据库,文件存储格式为BSON(二进制格式的JSON),支持二级索引,在事务、复杂查询应用下无法取代关系型数据库。

支持相比于HBase更复杂的集合查找。简而言之,往MySQL写数据像是在做填空题,你写入的数据必须与最早定义的表结构一致,而往MongoDB写数据就像是在做问答题,想怎么写就怎么写,这灵活度不要爽太多。缺点:比较消耗内存,有事务、join(全外连接)等短板。因此,如果你的数据的逻辑结构非常复杂,经常需要进行复杂的多表查询或者事务操作,那显然还是MySQL这类关系型数据库更合适。

使用场景:得益于MongoDB的这些特点,MongoDB很适合那些表结构经常改变,数据的逻辑结构没又没那么复杂不需要多表查询操作,数据量又比较大的应用场景。2、redisRedis是现在最热门的key-value数据库,是内存亦可持久化的日志型,读写性能最强。提供五种数据类型:String,hash,list,set及zset(sorted set)。

适合存储全局变量和高效的分布式缓存。当内存达到一定的阈值,数据可以定时持久化到硬盘中。优点:Redis的最大特点当然就是key-value存储所带来的简单和高性能了。适合读多写少的业务场景,支持操作原子性。缺点:不支持二级索引。也不适合做存储和分析。因此Redis无法提供常规数据库所具备的多列查询、区段查询等复杂查询功能。

同时,由于Redis需要把数据存在内存中,因此数据量要小于HBase与MongoDB。应用场景:Redis牺牲了常规数据库中的数据表、复杂查询等功能,换来了很大的性能提升,特别适合那些对读写性能要求极高,且数据表结构简单(key-value、list、set之类)、查询条件也同样简单的应用场景。如果你的数据表结构还挺复杂,你还经常需要做一些复杂查询操作,那你最好还是老老实实用MongoDB或者SQL吧。

3、HbaseHBase是Hadoop项目的一部分,HBase列式数据库,BigTable的一种实现。高效存储大量数据,支持列压缩,行事务。适合Schema-less的数据,适合稀疏表,一个表可以容纳上亿行、上百万列,用做超大数据量要求扩展简单的离线分析型应用。Hadoop的无缝集成,有数据可靠性和海量数据分析性能(MapReduce)的能力。

优点:HBase也继承了Hadoop项目的最大优点,那就是对海量数据的支持,以及极强的横向(存储容量)扩展能力。缺点:HBase的列式存储特性带来了海量数据规模的支持和极强的扩展能力,但是也给数据的读取带来很大的局限。由于只有同一列族的数据才会被存放在一起,而且所有的查询都必须要依赖Key,这就使得很多复杂查询难以进行。

应用场景:作为MapReduce的后台数据源(大规模数据集(大于1TB)的并行操作);HBase用于脸书的消息应用程序,包括消息、聊天、电子邮件和SMS系统。总结一下:如果你对数据的读写要求极高,并且你的数据规模不大,不需要长期存储,选择redis;如果你的数据规模很大,对数据的读取性能要求很高,需要经常改变数据表的结构,有时需要做一些聚合查询,那么选择MongoDB;如果你需要存储海量数据,甚至不知道未来你的数据规模会增长到多大,那就选择HBase。

文章TAG:数据库列式列族

最近更新

  • 有的商家发顺丰为什么可以发带电池的电子产品,商家竟然发的顺丰快递

    当时我们有一个食品分类组,里面很多商家,直接是厂家,占了店铺的一半。因为马云要动快递、三通一达的奶酪,无法独立生存。只是他被马云牵着鼻子走,结局肯定不好,最惨的是换成马云自建物流。 ......

    科技经验 日期:2022-06-08

  • 安卓系统为什么臃肿,安卓系统每年都说更流畅

    说实话,安卓这几年在系统流畅的线条上下了不少功夫。安卓不会自动清理后台。有的安卓手机厂商优化不了,或者用的人不知道怎么用好。久而久之,手机开始卡顿。熟悉Android系统开发的R ......

    科技经验 日期:2022-06-08

  • 苹果为什么嚣张,美国如此嚣张从哪儿来的底气

    卖猪肉的梁屠夫,告诉我为什么宇宙不是上帝主宰的。为什么现在科学在发展?反而有人认为宇宙是上帝主宰的。普朗克常数h定义的量子是宇宙中最小的粒子,是宇宙中最基本的变化载体。对宇宙真理的 ......

    科技经验 日期:2022-06-08

  • rx480 为什么没有了,rx480都8g显存了

    想象一下,一个花粉进华为手机专卖店,预算4000元买一部手机。推荐荣耀30Pro还是华为P40?华为和荣耀是同级还是上下级,华为和荣耀是什么关系,兄弟还是父子。买华为意味着产品力比 ......

    科技经验 日期:2022-06-08

  • 太阳为什么温度最高,为什么不会融化

    这也是不对的。如果时间拖得足够长,随着太阳物质核聚变的继续,物质元素融合成铁元素,基本停止反应。重的铁元素会落到太阳表面,或者形成一个固体的太阳球体。随着越来越多的铁落下,对底层的 ......

    科技经验 日期:2022-06-08

  • 流量卡为什么好卡,为什么移动的无限流量这么卡

    无线流量限速问题运营商提出的无线流量卡并不是真正的无限流量。你以为便宜的是垃圾物联网卡。这是惯例。我觉得12流量卡都是正规卡,去过无数坑,所以知道这个月租49块钱很贵,但是100g ......

    科技经验 日期:2022-06-08

  • 为什么火星叫火星,那么金星为什么不叫火星

    他实际上是苏联的二号人物。斯大林死后,他一度有可能成为苏联的领袖,但在他春风得意之时,却被昔日的战友处决了。苏联只用了20多年就赶上了美国。那么,你认为苏联的科技是先进还是落后?我 ......

    科技经验 日期:2022-06-08

  • 为什么摩拜单车变少了,摩拜单车为什么这么难骑

    没办法,穷成这样。买二手的,打折的就行。喜欢苹果手机的人有以下几种可能:全新的6800元左右,二手的4000元左右,没有五官的才2000多点。价格差别还是很大的,所以有些人喜欢便宜 ......

    科技经验 日期:2022-06-08