缓存面试题之一

发表于 阅读次数： 评论数： 本文字数： 2.2k 阅读时长 ≈ 2 分钟

Redis

持久化机制

RDB 与 AOF

  • RDB（Redis DataBase）持久化，是在指定的时间间隔内将内存中的数据集快照写入磁盘（point-in-time snapshot）。在 Redis 运行时，RDB 程序将当前内存中的数据集快照保存到磁盘文件中，在 Redis 重启动时，RDB 程序可以通过载入 RDB 文件来还原数据库的状态
  • AOF（Append Only File）持久化，以日志的形式来记录每个写操作，将 Redis 执行过的所有写指令记录下来，同时只许追加文件不能改写文件。当 Redis 重新启时，程序就可以通过重新执行 AOF 文件中的命令来达到重建数据集的目的

RDB 的优缺点

  • RDB 的优点

    • 节省磁盘空间
    • 数据恢复速度快

  • RDB 的缺点

    • 在一定的时间间隔做一次备份，如果 Redis 以为 down 掉的话，那么最后一次持久化后的数据可能会丢失
    • 虽然 Redis 在 fork 时使用了写时拷贝技术，但是如果数据量较大时，比较耗性能，可能会导致 Redis 在数毫秒或者几秒内不能响应客户端的请求

AOF 的优缺点

  • AOF 的优点

    • 可读的日志文件
    • 备份机制更稳健，丢失数据的概率更低

  • AOF 的缺点

    • 数据恢复速度较慢
    • 对于相同的数据集来说，与 RDB 比较，占用更多的磁盘空间
    • 若同步策略为每次写入都同步的话，有一定的性能压力，尤其是处理巨大的写入时

五大数据类型的应用场景

Redis 支持的键值数据类型包括：字符串类型、散列类型、列表类型、集合类型、有序集合类型。

数据类型常用操作命令应用场景
Stringget、SET、incr、decr、mget 常规的 key-value 缓存应用：IP 屏蔽；常规计数：微博数、粉丝数
Hashhget、hSET、hgetall 存储部分频繁变更的数据，如用户信息等
ListLPUSH、rpush、lpop、rpop、lrangeTwitter 的关注列表，微博粉丝列表，最新消息排行榜，作为栈、消息队列使用
SETsadd、spop、smembers、sunion 求差集、交集、并集，例如：微博的共同关注、共同喜好、二度好友等功能
Sorted SETzadd、zrange、zrem、zcard 商品的综合排名、价格排名、优先级队列

Redis 实现优先级队列

通常使用 List 类型来实现队列操作，这样有一个小限制，所有的任务统一都是先进先出，如果想优先处理某个任务就不太好处理了，这就需要让队列有优先级的概念，支持优先处理高级别的任务，具体实现方式有以下几种。

单一列表实现

队列正常的操作是 左进右出（LPUSH，rpop），为了先处理高优先级任务，在遇到高级别任务时，可以直接插队，即直接将任务放入队列头部（rpush），这样从队列头部（右侧）获取任务时，取到的就是高优先级的任务（rpop）。相当于普通任务按照队列结构，碰到高优先级任务，就按照栈结构（先进后出）。优点是实现简单，缺点是高级别任务总是后进先出，而且高优先级的任务之间的执行顺序是先进后出的，这样保证不了高优先级任务之间的执行顺序。适用于简单的队列需求，例如高优先级任务较少的情况。

多队列实现

使用两个队列，一个普通队列，一个高级队列，针对任务的级别放入不同的队列。获取任务时也很简单，Redis 的 BRPOP 命令可以按顺序从多个队列中取值。BRPOP 命令会按照给出的 key 顺序查看，并在找到的第一个非空 List 的尾部弹出一个元素，而且 BRPOP 命令是阻塞式的。

1
redis> BRPOP list1 list2 0

其中 list1 做为高优先级任务队列，list2 做为普通任务队列，这样就实现了先处理高优先级任务，当没有高优先级任务时，就去获取普通任务。

使用权值实现

如果优先级比较复杂，比如假设有个这样的场景，优先级不是简单的高中低或者 0-10 这些固定的级别，而是类似 0-99999 这么多级别，使用多队列的方式实现起来就不太方便了。

思路一、基于 List 类型 + 多队列 + 二分法：

虽然 Redis 有 Sorted SET 这样的可以排序的数据类型，很可惜它没有阻塞版的接口，因此只能使用 List 类型通过其他方式来完成目的。简单的做法可以只设置一个队列，并保证它是按照优先级排序的；然后通过二分查找法查找一个任务合适的位置，并通过 LSET 命令将任务插入到相应的位置。例如队列里面包含着写优先级的任务 [1, 3, 6, 8, 9, 14]，当有个优先级为 7 的任务过来，通过二分算法一个个从队列里面取数据出来和目标数据比对，计算出相应的位置然后插入到指定位置即可。因为二分查找是比较快的，并且 Redis 的数据也都在内存中，理论上速度是可以保证的。但是如果说数据量确实很大的话也可以通过额外方式来调优，比如与 “多队列实现方案” 结合起来就会很大程度上减少开销。假设数据量十万的队列，它们的优先级也是随机 0-10W 万的区间。可以设置 10 个或者 100 个不同的队列，0-1W 的优先级任务投放到 1 号队列，2W-3W 的任务投放到 2 号队列。这样将一个队列按不同等级拆分后，它单个队列的数据量就减少许多，这样二分法查找匹配的效率也会高一点。但是数据所占的资源基本是不变的，十万数据该占多少内存还是多少，只是系统里面多了一些队列而已。

思路二、基于 List 类型（存疑）：

假设有 3 个级别，用权值来表示为 1、2、3，此时有 4 个元素需要入队，分别是：a-1，b-2，c-3，d-3。

首先使用 LPUSH 把元素放入队列中，同时设置权值：

1
2
3
4
5
6
7
8
9
10
11
redis> LPUSH mylist a
redis> SET mylist_score_a 1

redis> LPUSH mylist b
redis> SET mylist_score_b 2

redis> LPUSH mylist c
redis> SET mylist_score_c 3

redis> LPUSH mylist d
redis> SET mylist_score_d 3

根据权值排序，并取出排名第一的元素（c）：

1
redis> SORT mylist by mylist_score_* limit 0 1

元素获取完成后，要移除该元素（c）：

1
redis> LREM mylist 0 c

特别注意：由于 SORT 命令与 LREM 命令是前后执行的，并不是原子操作，所以此方案并不是线程安全的。