关于 list

关于 list 底层数据结构的实现，随着版本的更替有所不同。

• 早期版本使用 linkedlist（双端列表）和 ziplist（压缩列表）
• 从 redis 3.2 开启，使用 linkedlist + ziplist 组成的 quicklist。
• 从 redis 7.0 开始，还是使用 quicklist，只不过将 ziplist 替换为 listpack

ziplist 基本结构

zset、hash 或 list 都直接或间接使用了 ziplist。当zset、hash 中的元素个数较少且都是短字符串时，Redis 的底层会使用 ziplist 作为其底层的数据。而 list 则使用了 quicklist 这种数据结构。

Q：什么是 ziplist？

本质上就是一个字节数组，是 Redis 为了节约内存而设计的一种线性数据结构，可以包含多个元素，每个元素可以是一个字节数组或一个整数。

在配置文件中，有相关的配置参数：

192.168.100.3:6379> config get *ziplist*
 1) "list-max-ziplist-size"
 2) "-2"
 3) "hash-max-ziplist-entries"  // hash 包含的最大 field-value 数量
 4) "512"
 5) "zset-max-ziplist-value"  // zset 单个成员的最大长度
 6) "64"
 7) "hash-max-ziplist-value"  // hash 单个 fileld-value 的最大长度
 8) "64"
 9) "zset-max-ziplist-entries"   // zset 包含的最大成员数量
10) "128"

前面《Redis理论篇02—hash 数据类型的底层》提到，C 语言当中的数组元素被保存在一块连续的内存区域当中，目的就是为了快速找到对应的数组元素。

同样的，ziplist 的这三大块也保存在连续的内存区域中：

• head。head 主要是包括一些信息，其由三部分组成：
  • zlbytes：ziplist 整体数据结构的字节长度，占用 4 字节。
  • zltail：ziplist 最后一个 元素 在整个数据结构中的偏移量，占用 4 字节，目的是为了方便找到最后一个元素。
  • zllen：ziplist 的元素个数，占用 2 字节，即最多可以有 2^16-1 个元素。
• entries。存放着元素，可以是字节数组或者整数，长度不限。entries由三部分构成：
  • prevlength：用于记录上一个 entry 的长度，以实现逆序遍历（即从最后一个元素开始一直遍历到第一个元素），默认长度为 1 字节。当上一个 entry 的长度小于 254 字节，prevlength 就占 1 字节，否则自动扩展为 3 字节
  • encoding：用于标志后面 data 的具体类型。如果 data 为整数类型，则占用固定长度为 1 字节；如果 data 为字符串类型，则可能占用 1 字节、2 字节或 5 字节
  • data：真正存储的数据。可以是整数型，也可以是字符串类型。
• end。ziplist 的结尾标记，只包含 zlend 这部分， 占用 1 字节，固定为 255。

可用如下图表示：

listpack 数据结构

从 Redis 7 开始，使用 listpack 这种数据结构替换了 ziplist，为什么？简单一句话说明——为防止 级联更新 的出现，重写了 ziplist，并命名为 listpack。

问题就出在这个 prevlength 这里，因为是记录上一个 entry 的长度。比如你使用 list 数据类型，有这些的一些数据：

192.168.100.3:6379> select 5
OK
192.168.100.3:6379[5]> keys *
(empty array)
192.168.100.3:6379[5]> rpush empname:ShangHai  Leeo Frank David
192.168.100.3:6379[5]> LRANGE empname:ShangHai 0 -1
1) "Leeo"
2) "Frank"
3) "David"

# 比如我将其中某个元素修改，导致其长度变更
192.168.100.3:6379[5]> lset empname:ShangHai 1 FrankNewName
# 或者在某个元素的前面插入一个字符串元素
192.168.100.3:6379[5]> linsert empname:ShangHai  before FrankNewName Jessica
1) "Leeo"
2) "Jessica"
3) "FrankNewName"
4) "David"

这两种情况都会导致 prevlength 发生变更，而这种情况就涉及到级联操作了（级联更新），在高并发的场景下，这会显著降低 Redis 的性能，于是决定重写 ziplist，并命名为 listpack。在 Redis 7 中，ziplist 已经全部被替换为 listpack，但为了兼容性考虑，部分与 ziplist 相关的配置参数还保留着。

192.168.100.3:6379[5]> type empname:ShangHai
list
192.168.100.3:6379[5]> object encoding empname:ShangHai
"listpack"

192.168.100.3:6379[5]> config get *listpack*
 1) "zset-max-listpack-value"  // zset 单个成员的最大长度
 2) "64"
 3) "list-max-listpack-size"
 4) "-2"
 5) "set-max-listpack-value"
 6) "64"
 7) "set-max-listpack-entries"
 8) "128"
 9) "hash-max-listpack-entries"  // hash 包含的最大 field-value 数量
10) "512"
11) "hash-max-listpack-value"  // hash 单个 fileld-value 的最大长度
12) "64"
13) "zset-max-listpack-entries"  // zset 包含的最大成员数量
14) "128"

listpack 的结构与 ziplist 差不多，其三大块也保存在连续的内存区域中：

• head。两部分组成：
  • totalBytes：用于存放 listpack 整体数据结构所占的字节数，占用 4 字节。
  • elemNum：用于存放列表包含的 entry 个数。占用 2 字节。与 ziplist 当中的 zllen 意义相同。
• entries。存放着元素，可以是字节数组或者整数，长度不限。entries由三部分构成：
  • encoding：用于标志后面 data 的具体类型。如果 data 为整数类型，则可能占用 1 、2、3、4、5、9 字节；如果 data 为字符串类型，则可能占用 1 字节、2 字节或 5 字节
  • data：真正存储的数据。可以是整数型，也可以是字符串类型。
  • element-total-len：记录当前 entry 的长度，用于实现逆序遍历，可能占用 1、2、3、4、5 字节
• end。listpack 的结尾标记，只包含 zlend 这部分， 占用 1 字节，固定为 255。

ziplist 与 listpack 的对比图如下所示：

赞赏