Redis 简介

一、Redis简介

MySQL的数据都是存放在磁盘中的，缓存数据库极大的缓解了压力。

主流应用架构

客户端和存储端之间的缓存层。

缓存中间件——Memcache和Redis的区别

Memcache：代码参差类似Hash

支持简单数据类型
不支持数据持久化存储
不支持主从
不支持分片

Redis

数据类型丰富
支持数据磁盘持久化存储
次吃主从
支持分片

为什么Redis能这么快

100000+QPS（QPS即query per second, 每秒内查询次数）

完全基于内存，绝大部分请求是存粹的内存操作，执行效率高

Redis采用单进程单线程模型的数据库，读写数据的时候不会受到硬盘IO的限制

数据结构简单，对数据操作也简单

不使用表，存储结构就是键值对

采用单线程，单线程也能处理高并发请求，想多核也可以启动多实例

避免频繁创建和销毁进程，主线程周期地处理

使用多路I/O复用模型，非阻塞IO

多路I/O复用模型

FD：File Descriptor , 文件描述符

一个打开地文件通过唯一的描述符进行引用，该描述符是打开文件地元数据到文件本身地映射

在Linux内核中用FD描述

传统地阻塞I/O模型

传统阻塞I/O模型

会影响其他FD对应的服务

适合Redis的多路I/O复用模型

Select系统调用（最重要的函数调用）

Select系统调用

能够同时监控多个文件描述符的可读可写情况，Select负责监听文件是否可读可写。

Redis 采用的I/O多路复用函数：epoll/kqueue/evport/select ?

因地制宜

Redis会根据编译平台的不同，采用不同的I/O多路复用函数

优先选择时间复杂度为O(1)的I/O多路复用函数作为底层实现
以时间复杂度为O(n)的select 作为保底案
基于react设计模式监听I/O事件

二、Redis常见数据类型

供用户使用的数据类型

String ：字符串，最基本的数据类型，二进制安全

K-V键值对，最大能存储512M ，可以包含任何数据，如jpg 图片或者序列化的对象。

PS C:\Users\> redis-cli
127.0.0.1:6379> ping
PONG
127.0.0.1:6379> set name "redis"
OK
127.0.0.1:6379> get name
"redis"
127.0.0.1:6379> set name "memcache"
OK
127.0.0.1:6379> get name
"memcache"
127.0.0.1:6379> set count 1
OK
127.0.0.1:6379> incr count
(integer) 2
127.0.0.1:6379> get count
"2"
127.0.0.1:6379> incr userId211020
(integer) 1
127.0.0.1:6379>

String 底层的简单动态字符串sds

Hash：散列，String元素组成的字典，适合用于存储对象

127.0.0.1:6379> hmset lilei name "Lilei" age 26 title "Senior"
OK
127.0.0.1:6379> hget lilei age
"26"
127.0.0.1:6379> hget lilei title
"Senior"
127.0.0.1:6379> hset lilei title "Pricipal"
(integer) 0
127.0.0.1:6379> hget lilei title
"Pricipal"

和实体类对象很相似

List：列表，按照String元素插入顺序排序（简单的字符串列表）

127.0.0.1:6379> lpush mylist aaa
(integer) 1
127.0.0.1:6379> lpush mylist bbb
(integer) 2
127.0.0.1:6379> lpush mylist ccc
(integer) 3
127.0.0.1:6379> lrange mylist 0 10
1) "ccc"
2) "bbb"
3) "aaa"

后进先出，容量很大，可以实现最新消息排行榜

Set：集合，String元素组成的无序集合，通过哈希表实现，不允许重复

127.0.0.1:6379> sadd myset 111
(integer) 1
127.0.0.1:6379> sadd myset 222
(integer) 1
127.0.0.1:6379> sadd myset 333
(integer) 1
127.0.0.1:6379> sadd myset 222
(integer) 0
127.0.0.1:6379> smember myset
(error) ERR unknown command `smember`, with args beginning with: `myset`,
127.0.0.1:6379> smembers myset
1) "111"
2) "222"
3) "333"
127.0.0.1:6379> sadd myset abc
(integer) 1
127.0.0.1:6379> sadd myset abd
(integer) 1
127.0.0.1:6379> sadd myset abb
(integer) 1
127.0.0.1:6379> smembers myset
1) "333"
2) "222"
3) "abc"
4) "abb"
5) "abd"
6) "111"

集合无序，不允许重复

Sorted Set：有序集合，通过分数来为集合中的成员进行从小到大的排序

127.0.0.1:6379> zadd myzset 3 abc
(integer) 1
127.0.0.1:6379> zadd myzset 3 abd
(integer) 1
127.0.0.1:6379> zadd myzset 3 abb
(integer) 1
127.0.0.1:6379> zadd myzset 2 abb
(integer) 0
127.0.0.1:6379> zadd myzset 2 abe
(integer) 1
127.0.0.1:6379> zadd myzset 1 egg
(integer) 1
127.0.0.1:6379> zrangebyscore myzset 0 10
1) "egg"
2) "abb"
3) "abe"
4) "abc"
5) "abd"

后面还有用于计数的HyperLogLog ，位图，用于支持存储地理位置信息的Geo地理坐标，流四种数据类型。

Redis的底层数据类型基础

简单动态字符串
链表
字典
跳跃表
整数集合
压缩列表
对象

三、从海量key(数据)里查询出某一固定前缀的Key

留意细节

摸清数据规模，即问清楚边界

使用keys对线上的业务的影响

KEYS pattern ：查找所有符合给定模式pattern的key

用于生产环境不好，花费时间长，可能卡顿

SCAN cursor [MATCH pattern] [COUNT count]

基于游标的迭代器，需要基于上一次的游标延续之前的迭代过程
以0作为游标开始一次新的迭代，直到命令返回游标0完成一次遍历
不保证每次执行都返回某个给定数量的元素，支持模糊查询
一次返回的数量不可控，只能是大概率符合count参数

scan

四、如何通过Redis 实现分布式锁

分布式所需要解决的问题

互斥性任意时刻只能有一个客户端获取锁，不能有两个客户端获取到锁
安全性锁只能由持有该锁的客户端删除
死锁避免死锁
容错部分节点宕机客户端仍然能够得到锁

通过Redis实现

SETNX key value ：如果key不存在，则创建并赋值

时间复杂度：O(1)
返回值：设置成功，返回1；设置失败，返回0

127.0.0.1:6379> get locknx
(nil)
127.0.0.1:6379> setnx locknx test
(integer) 1
127.0.0.1:6379> setnx locknx test
(integer) 0
127.0.0.1:6379> setnx locknx task
(integer) 0
127.0.0.1:6379> get locknx
"test"

setnx 有上述功能，并且操作时原子性的，初期用来实现分布式锁。

用setnx 对某个key赋值，如果赋值成功，则没有别的线程在执行该段代码。

如何解决SETNX长期有效的

EXPIRE key second ：

设置key的生存时间，当key过期时（生存时间为0），会被自动删除
缺点：原子性得不到满足

127.0.0.1:6379> get locknx
"test"
127.0.0.1:6379> expire locknx 2
(integer) 1
127.0.0.1:6379> setnx locknx task
(integer) 1
127.0.0.1:6379> get locknx
"task"
127.0.0.1:6379>

Redis原子性实现分布式锁

SET key value [EX second] [PX milliseconds] [NX|XX]

EX second：设置键的过期时间为second秒
PX millisecond ：设置键的过期时间为millisecond毫秒
NX：只在键不存在时，才对键进行设置操作
XX：只在键已经存在时，才对键进行设置操作
SET操作成功完成时，返回OK，否则返回nil

127.0.0.1:6379> set locktarget 12345 ex 10 nx
OK
127.0.0.1:6379> set locktarget 12345 ex 10 nx
(nil)
127.0.0.1:6379>
127.0.0.1:6379> set locktarget 12345 ex 10 nx
OK

大量的key同时过期的注意事项

集中过期，由于清除大量的key很耗时，会出现短暂的卡顿现象

解决方案：在设置key的过期时间的时候，给每个key加上随机值

五、如何使用Redis实现异步队列

使用List作为队列，RPUSH生产消息，LPOP消费消息

127.0.0.1:6379> rpush testlist aaa
(integer) 1
127.0.0.1:6379> rpush testlist bbb
(integer) 2
127.0.0.1:6379> rpush testlist ccc
(integer) 3
127.0.0.1:6379> lpop testlist
"aaa"
127.0.0.1:6379> lpop testlist
"bbb"
127.0.0.1:6379> lpop testlist
"ccc"

缺点：LPOP不会等待队列里面有值就直接消费
弥补：可以通过在应用层引入Sleep机制去调用LPOP重试

别的方法：不用Sleep机制

BLPOP key [key…] timeout ：阻塞直到队列有消息或者超时

两个客户端

//生产者
127.0.0.1:6379> lpop testlist
(nil)
127.0.0.1:6379> blpop testlist 30
1) "testlist"
2) "aaa"
(13.63s)
127.0.0.1:6379>

//消费者
127.0.0.1:6379> lpop testlist
(nil)
127.0.0.1:6379> rpush testlist aaa
(integer) 1

缺点：只能供一个消费者进行消费

一对多的主题订阅模式

pub/sub：主题订阅者模式

Redis主题订阅者模式

//发布者
127.0.0.1:6379> publish myTopic "Hello ,I'm SaiLaoDa"
(integer) 2
127.0.0.1:6379> publish myTopic "I love you"
(integer) 2
127.0.0.1:6379>

//接收者
127.0.0.1:6379> subscribe myTopic
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "myTopic"
3) (integer) 1
1) "message"
2) "myTopic"
3) "Hello ,I'm SaiLaoDa"
1) "message"
2) "myTopic"
3) "I love you"

主题订阅者模式

pub/sub的缺点

消息的发布是无状态的，无法保证可达

要解决这一问题可以用专用的消息队列如卡夫卡等

一旦服务器进程退出，数据库的数据就会丢失，三种持久化方式

六、Redis持久化方式之RDB

RDB（快照）持久化：保存某个时间点的全量数据快照

在一个特定的间隔保存时间点的全量数据的快照。

eg: 在redis.conf中，

save 900 1                   //一段时间内有一条数据写入，每900s创建一条快照
save 300 10
save 60 10000


stop-writes-on-bgsave-error yes    //表示当备份进程出错时，主进程停止接受写入操作

rdbcompression yes       //备份时进行rdb压缩

SAVE：阻塞Redis的服务器进程，直到RDB文件被创建完毕
BGSAVE：Fork出一个子进程来创建RDB文件，不阻塞服务器进程。（客户端不会被卡顿）

lastsave 输出上次备份的时间。

自动化触发RDB持久化的方式

根据redis.conf配置里的SAVE m n 定时触发（用的是BGSAVE）
主从复制时，主节点自动触发
执行Debug Relog
执行Shutdown且没有开启AOF持久化

BGSAVE原理

系统调用fork()：创建进程，实现了Copy-on-Write

Copy-on-Write(写实复制，COW )

如果有多个调用者同时要求相同资源（如内存或磁盘上的数据存储），他们会共同获取相同的指针指向相同的资源，直到某个调用者试图修改资源的内容时，系统才会真正复制一份专用副本给该调用者，而其他调用者所见到的最初的资源仍然保持不变。

父子进程共享相同的物理空间

缺点

内存数据的全量同步，数据量大会由于I/O而严重影响性能
可能会因为Redis挂掉而丢失从当前至最近一次快照期间的数据

七、Redis持久化方式AOF以及混合模式

AOF(Append-Only-File)持久化：保存写状态

记录下除了查询以外的所有变更数据库状态的指令
以append的形式追加保存到AOF文件中

//redis.conf
appendonly yes         //从No设置成Yes

appendfilename "appendonly.aof"

appendfsync everysec       //aof文件的写入方式 ：每隔一秒写入磁盘

//redis-cli
config set appendonly yes 
OK

set aofTest "hehe"
OK

exit

日志重写解决AOF文件大小不断增加的问题，原理如下：

调用fork() ，创建一个子进程
子进程把新的AOF写到一个临时文件里，不依赖原来的AOF文件
主进程持续将新的变动同时写到内存和原来的AOF里
主进程获取子进程重写AOF的完成信号，往新AOF同步增量变动
使用新的AOF文件替换掉旧的AOF文件

（可以手工触发，bgrewriteaof）

Redis数据的恢复

RDB和AOF文件共存情况下的恢复流程

数据恢复

优先AOF文件

RDB和AOF的优缺点

RDB优点：全量数据快照，文件小，恢复快
RDB缺点：无法保存最近一次快照之后的数据
AOF优点：可读性高，适合保存增量数据，数据不易丢失
AOF缺点：文件体积大，恢复时间长

RDB-AOF混合持久化方式

使用RDB作为全量备份，AOF增加增量备份。

混合模式

BGSAVE做镜像全量持久化，AOF做增量持久化

八、Pipeline及主从同步

使用Pipeline的好处

Pipeline和Linux的管道类似
Redis基于请求/响应模型，单个请求处理需要一一应答
Pipeline批量执行指令，节省多次IO往返的时间
有顺序依赖的指令建议分批发送

Redis的同步机制

主从同步原理

MS模型

M主节点来写操作，S从节点来读操作

全量同步过程

Salve发送sync命令到Master
Master启动一个后台进程，将Redis中的数据快照保存到文件中
Master 将保存数据快照期间收到的写命令缓存起来
Master完成写文件操作后，将该文件发送给Salve
使用新的AOF文件替换掉旧的AOF文件
Master将这期间收集的增量写命令发送给Salve端

增量同步过程

Master接受到用户的操作指令，判断是否需要传播到Slave
将操作记录追加到AOF文件
将操作传播到其他Slave：1、对齐主从库；2、往响应缓存写入指令
将缓存中的数据发送给Slave

主从模式的弊端就是不具备高可用性，当Master挂掉之后，Redis无法对外写入

Redis Sentinel（分布式系统）

解决主从同步Master宕机后的主从切换问题：

监控：检查主从服务器是否运行正常
提醒：通过API向管理员或者其他应用程序发送故障通知
自动故障迁移：主从切换

流言协议Gossip

在杂乱无章中寻求一致

每个节点都随机地与对方通信，最终所有节点的状态达到一致
种子节点定期随机向其他节点发送节点列表以及需要传播的消息
不保证信息一定会传递给所有节点，但是最终会趋于一致

九、Redis集群

Redis的集群原理

如何从海量数据里快速找到所需：

分片：按照某种规则去划分数据，分散存储在多个节点上
常规的按照哈希划分无法实现节点的动态增减

一致性哈希算法：

对2^32取模，将哈希值空间组织成虚拟的圆环

虚拟圆环

2^32个点组成的圆环

下一步将各个服务器使用哈希进行一个哈希的变换，使用服务器的IP或者主机名作为关键字进行哈希，来确定其在哈希环上的位置

将数据key使用相同的函数Hash计算出哈希值

哈希定位

将对应的数据分散存储到这四个node上去了，假设Node C 宕机，数据将会存储到离他顺时针最近的Node节点上；

存储数据

新增服务器Node x

如果新增一个Node x ，受影响的数据只新服务器到其环空间中的前一台服务器。

新增服务器

有较好的容错性和拓展性。

问题

Hash环的数据倾斜问题

在服务器节点很少的时候，容易因为节点分布不均匀造成数据倾斜，

被缓存的数据被集中缓存在其中部分服务器上，可能将Node A 撑爆。

数据倾斜问题

解决数据倾斜问题

引入虚拟节点解决数据倾斜的问题

一致性哈希算法引入虚拟节点的机制，对每一个服务器节点计算多个Hash，计算结果位置都放置一个此服务器节点，称为虚拟节点。

可以在服务器IP或者主机名后面增加编号来实现，只需要增加虚拟节点的映射。

引入虚拟节点