NoSQL与Memcached、Redis、MongoDB概述

2017-03-31 12:39

一、NoSQL介绍

   非关系型数据库(而mysql、oracle、sqlserver都是关系型数据库)


1. 特点

  • 数据之间无关系,随意扩展

  • 数据存储简单,可以存在内存中,读写速度快

  • 不需要建表、字段。自定义格式


2. 分类

  A. 键值(Key-Value)数据库:redis、memcached、riak

     redis/memcached 适合存储用户信息,比如会话、配置文件、参数、购物车等,这些信息一般和ID(键)挂钩


  B. 面向文档(Document-Oriented)数据库:MongoDB、CouchDB、RavenDB

    MongoDB将数据以文档形式存储,每个文档都是一系列数据项的集合,每个数据项都有一个名称与对应的值,值既可以是简单的数据类型,如文字、字符串、数字和日期等,也可以是复杂的类型,如有序列表和关联对象。数据存储的最小单位是文档,同一个表中存储的文档属性可以是不同的,数据可以使用XML、JSON或JSONB等多种形式


  C. 列存储(Wide Column Store/Column-Family)数据库:Cassandra、HBase


  D. 图(Graph-Oriented)数据库:Neo4J、Infinite Graph、OrientDB



二、Memcached介绍

    国外Live Journal团队开发,通过缓存数据库查询结果,减少数据库的访问次数(写入减少不了),从而提高动态Web站点性能。数据存在内存中,重启服务器即数据消失


1. 特点

  • 基于c/s架构,协议简单

  • 基于libevent的事件处理

  • 自主内存存储处理(slab allocation)

  • 数据过期方式:Lazv Expiration和LRU


2. Memcationed流程图

 


3. Slab allocation原理

  • 将分配的内存分割成各种尺寸的块(chunk),把尺寸相同的分成组,即chunk的集合,每个集合称为slab

  • Memcached的内存分配以Page为单位,Page默认值为1M,可以在启动时通过参数-l来指定

  • Slab由多个Page组成

    

    一个Chunk最大不能超过1M,即一个Page

    一个Slab可能有多个Page


   原理图:

   


4. Growth factor

      Memcached在启动时可以通过-f参数可以指定Growth Factor因子(即Chunk之间的的增长比例),默认为1.25,通过memcached-tool 可以查看指定的memcached实际的不同slab状态


      命令:memcached-tool 127.0.0.1:11211 display


5. Memcached数据过期方式

  • Lazy Expiration:memcached内部不会监视是否过期,而是get时查看记录的时间戳,检查记录是否过期。这种技术称为lazy expiration。优点:memcached不会在过期监视上耗费CPU时间


  • LRU:memcached优先使用已超时的记录空间,会发生追加新记录空间不足的情况。从最近未被使用的记录中搜索,并将其空间分配给新的记录(即删除最近使用最少的记录的机制)。从缓存的使用角度看,该模型很理想



三、Redis介绍

    属于key-value存储系统,和memcached相似,但是支持数据持久化(重启服务器,数据还是存在)


   A. value类型:

        string、hash、lists(链表)、sets(集合)、sorted sets(有序集合)

   B. 文件格式:

       RDB(全量数据)把内存中的数据写入磁盘,下次读取文件时,进行加载

       aof(增量请求)内存中的数据有序化为操作请求,用于读取文件进行replay得到数据,相当于mysql的二进制日志

   C. 存储方式:

       内存存储、磁盘存储、log文件



四、MongoDB介绍

  • 由C++语言编写,是一套基于分布式文件存储的开源数据库系统,属于NoSQL

  • 高负载的情况下,可以添加更多的节点,保证服务器性能

  • 旨在为Web应用提供可扩展的高性能数据存储解决方案

  • 数据存储为一个文档,数据结构由键值对(key=>value)组成,文档类型于JSON对象。字段值可以包含其它文档,数组及文档数组


   和关系型数据库对比:

SQL 说明 MongoDB 说明
database 数据库 database 数据库
table collection 集合
row 记录行 document 文档
column 字段 field
index 索引 index 索引
table joins 表连接

primary key 主键 primary 自动将_id字段设置为主键