Redisobject 对象
对象分为键对象和值对象
键对象一般是string类型
值对象可以是string,list,set,zset,hash
q:redisobj的结构
typedef struct redisObject {
//类型
unsigned type:4;
//编码
unsigned encoding:4;
//指向底层实现数据结构的指针
void *ptr;
//引用计数,垃圾回收的时候使用
int refcount;
//最近被使用的时间,内存淘汰的时候用
unsigned lru;
} robj;
q:数据类型,编码和数据结构之间的对应 关系?
Redis对象和数据结构的关系
键总是一个字符串对象
而值可以是五种中的一种
type 命令 得到的结果就是值的类型
可以用object encoding命令查看编码
list数据类型的编码由linkedlist和ziplist编码合并成了quicklist编码
q: 通用数据类型命令
keys * //查看当前库所有key (匹配:keys *1)
exists key //判断某个key是否存在,如果键存在则返回1,不存在则返回0:
type key //查看你的key是什么类型
del key //删除指定的key数据,del是一个通用命令,无论值是什么数据结构类型,del命令都可以将其 删除,返回结果为成功删除键的个数,假设删除一个不存在的键,就会返回 0
unlink key //根据value选择非阻塞删除,仅将keys从keyspace元数据中删除,真正的删除会在后续异步操作。
expire key 10 //10秒钟:为给定的key设置过期时间
ttl key //查看还有多少秒过期,-1表示永不过期,-2表示已过期
select number //命令切换数据库
dbsize //查看当前数据库的key的数量
flushdb //清空当前库
flushall //通杀全部库
命令在执行前都会判断 参数是否是自己可以接收,否则会返回错误
数据类型
string 字符串
q: 特点
其value是字符串,不过根据字符串的格式不同,又可以分为3类:
-
string:普通字符串
-
int:整数类型,可以做自增、自减操作
-
float:浮点类型,可以做自增、自减操作
q: 适用场景?
String 的常见应用场景如下:
- 常规数据(比如 session、token、序列化后的对象、图片的路径)的缓存;
- 计数比如用户单位时间的请求数(简单限流可以用到)、页面单位时间的访问数;
- 分布式锁(利用
SETNX key value
命令可以实现一个最简易的分布式锁);
q:常用命令?
set <key> <value> //添加键值对
*NX:当数据库中key不存在时,可以将key-value添加数据库
*XX:当数据库中key存在时,可以将key-value添加数据库,与NX参数互斥
*EX:key的超时秒数
*PX:key的超时毫秒数,与EX互斥
get <key> //查询对应键值
append <key> <value> //将给定的<value> 追加到原值的末尾,返回长度
strlen <key> //获得值的长度
setnx <key> <value> //只有在 key 不存在时 设置 key 的值
incr <key> //将 key 中储存的数字值增1 只能对数字值操作,如果为空,新增值为1
decr <key> //将 key 中储存的数字值减1 只能对数字值操作,如果为空,新增值为-1
incrby / decrby <key> <步长> //将 key 中储存的数字值增减。自定义步长。
mset <key1><value1><key2><value2> ..... //同时设置一个或多个 key-value对
mget <key1><key2><key3> ..... //同时获取一个或多个 value
msetnx <key1><value1><key2><value2> ..... //同时设置一个或多个 key-value 对,当且仅当所有给定 key 都不存在。 原子性,有一个失败则都失败
getrange <key><起始位置><结束位置> //得值的范围,类似java中的substring,前包,后包
setrange <key><起始位置><value> //用 <value> 覆写<key>所储存的字符串值,从<起始位置>开始(索引从0开始)。
setex <key><过期时间><value> //设置键值的同时,设置过期时间,单位秒。
getset <key><value> //以新换旧,设置了新值同时获得旧值。
q:底层编码方式和数据结构?
- 当存储的是long 数字的时候,使用int编码,prt直接存储数字
不包括浮点数
- 当存储的字符串小于44个字节的时候,使用embstr编码,字符串和redisobject存储在一起
- 当存储的字符串大于44个字节的时候,使用raw编码,prt存储的是sds的地址指针
set 集合
q: 特点
-
无序
-
元素不可重复
-
查找快
-
支持交集、并集、差集等功能
q: 适用场景?
应用场景:
- 需要存放的数据不能重复的场景
- 不可重复下单
- 点赞
- 需要获取多个数据源交集、并集和差集的场景
- 共同好友(交集)、共同粉丝(交集)、共同关注(交集)、好友推荐(差集)、音乐推荐(差集)、订阅号推荐(差集+交集) 等场景。
- 需要随机获取数据源中的元素的场景
- 抽奖系统、随机点名等场景。
- 相关命令:
SPOP
(随机获取集合中的元素并移除,适合不允许重复中奖的场景)、SRANDMEMBER
(随机获取集合中的元素,适合允许重复中奖的场景)。
q:常用命令?
sadd <key><value1><value2> ..... //将一个或多个 member 元素加入到集合 key 中,已经存在的 member 元素将被忽略
smembers <key> //取出该集合的所有值。
sismember <key><value> //判断集合<key>是否为含有该<value>值,有1,没有0
scard<key> //返回该集合的元素个数。
srem <key><value1><value2> .... //删除集合中的某个元素。
spop <key> //随机从该集合中吐出一个值。
srandmember <key><n> //随机从该集合中取出n个值。不会从集合中删除 。
smove <source><destination>value //把集合中一个值从一个集合移动到另一个集合
sinter <key1><key2> //返回两个集合的交集元素。
sunion <key1><key2> //返回两个集合的并集元素。
sdiff <key1><key2> //返回两个集合的差集元素(key1中的,不包含key2中的)
q:底层编码方式和数据结构?
- 当存储的所有数据都是整数,元素数量不超过set-max-intset-entries时,Set会采用IntSet编码,以节省内存,底层数据结构是intset
- 当存储的所有数据不都是整数,或元素数量超过set-max-intset-entries时,set采用hashtable编码,底层是Dict中的key用来存储元素,value统一为null。
hash 哈希
q: 特点
hash也叫散列, 是一个键值对集合。
q: 适用场景?
hash特别适合用于存储对象。
q:常用命令?
hset <key><field><value> <field2><value2> //给<key>集合中的 <field>键赋值<value>
hget <key1><field> //从<key1>集合<field>取出 value
hmset <key1><field1><value1><field2><value2>... //批量设置hash的值,hmset被弃用,可以用hset做到
hexists<key1><field> //查看哈希表 key 中,给定域 field 是否存在。
hkeys <key> //列出该hash集合的所有field
hvals <key> //列出该hash集合的所有value
hincrby <key><field><increment> //为哈希表 key 中的域 field 的值加上增量 1 -1
hsetnx <key><field><value> //将哈希表 key 中的域 field 的值设置为 value ,当且仅当域 field 不存在 .
q:底层编码方式和数据结构?
-
Hash结构默认采用ZipList编码,用以节省内存。 ZipList中相邻的两个entry 分别保存field和value;底层数据结构式ziplist
-
当数据量较大时,Hash结构会转为hashtable编码,底层数据结构是Dict,触发条件有两个:
- ZipList中的元素数量超过了hash-max-ziplist-entries(默认512)
- ZipList中的任意entry大小超过了hash-max-ziplist-value(默认64字节)
节点过多,或单个节点过大
zset/sorted set 有序集合
q: 特点
- 无重复
- 有序
每个成员都关联了一个评分(score),这个评分(score)被用来按照从最低分到最高分的方式排序集合中的成员。
集合的成员是唯一的,但是评分可以是重复了 。
q: 适用场景?
适合范围或者排序的应用场景:
- 排行榜
q:常用命令?
zadd <key><score1><value1><score2><value2>… //将一个或多个 member 元素及其 score 值加入到有序集 key 当中。
zrange <key><start><stop> [WITHSCORES] //返回有序集 key 中,下标在<start><stop>之间的元素,带WITHSCORES,可以让分数一起和值返回到结果集。
zrangebyscore key minmax [withscores] [limit offset count] //返回有序集 key 中,所有 score 值介于 min 和 max 之间(包括等于 min 或 max )的成员。有序集成员按 score 值递增(从小到大)次序排列。
zrevrangebyscore key maxmin [withscores] [limit offset count] //同上,改为从大到小排列。
zincrby <key><increment><value> // 为元素的score加上增量
zrem <key><value> //删除该集合下,指定值的元素
zcount <key><min><max> //统计该集合,分数区间内的元素个数
zrank <key><value> //返回该值在集合中的排名,从0开始。
q:底层编码方式和数据结构?
- 当满足下面条件时,采用ziplist编码,底层数据结构是ziplist
- 元素数量小于zset_max_ziplist_entries,默认值128
- 每个元素都小于zset_max_ziplist_value字节,默认值64
ziplist本身没有排序功能,而且没有键值对的概念,因此需要有zset通过编码实现:
- ZipList是连续内存,因此score和element是紧挨在一起的两个entry, element在前,score在后
- score越小越接近队首,score越大越接近队尾,按照score值升序排列
- 否则采用zset编码,底层是zset数据结构,zset的数据结构又指向skiplist和dict
- SkipList:可以排序,并且可以同时存储score和ele值(member)
- Dict:可以键值存储,并且可以根据key找value,实现O(1)的查找
二者实际上共用对象,不会造成内存的浪费
list 列表
q: 特点
双向链表结构。既可以支持正向检索和也可以支持反向检索。
特征也与LinkedList类似:
- 单键多值
- 有序
- 元素可以重复
- 插入和删除快
- 查询速度一般
q: 适用场景?
应用场景:
- 常用来存储一个有序数据,例如:朋友圈点赞列表,评论列表等。
- 可以用来做消息队列,只是功能过于简单且存在很多缺陷,不建议这样做。
q:常用命令?
lpush/rpush <key><value1><value2><value3> //.... 从左边/右边插入一个或多个值。lpush是头插法
lpop/rpop <key> //从左边/右边吐出一个值。值在键在,值光键亡。
rpoplpush <key1><key2>从<key1> //列表右边吐出一个值,插到<key2>列表左边。
lrange <key><start><stop> //按照索引下标获得元素(从左到右)
lrange <key> 0 -1 //0左边第一个,-1右边第一个,(0 -1表示获取所有)
lindex <key><index> //按照索引下标获得元素(从左到右)
llen <key> //获得列表长度
linsert <key> before/after <value><newvalue> //在<value>的前面、后面插入<newvalue>插入值
lrem <key><n><value> //从左边删除n个value(从左到右)
lset<key><index><value> //将列表key下标为index的值替换成value
q:底层编码方式和数据结构?
- List的编码方式是quicklist,底层数据结构为快速链表quickList,quicklist的节点又指向了ziplist
Redis 3.2 之前,List 底层实现是 LinkedList 或者 ZipList。 Redis 3.2 之后,引入了 LinkedList 和 ZipList 的结合 QuickList,List 的底层实现变为 QuickList。
文章来源地址https://www.toymoban.com/news/detail-652164.html
首先在列表元素较少的情况下会使用一块连续的内存存储,这个结构是ziplist,也即是压缩列表。(它将所有的元素紧挨着一起存储,分配的是一块连续的内存。)
当数据量比较多的时候才会改成quicklist。
因为普通的链表需要的附加指针空间太大,会比较浪费空间。比如这个列表里存的只是int类型的数据,结构上还需要两个额外的指针prev和next。
Redis将链表和ziplist结合起来组成了quicklist。也就是将多个ziplist使用双向指针串起来使用。这样既满足了快速的插入删除性能,又不会出现太大的空间冗余。
数据结构
sds 简单动态字符串
q:sds的结构
sds的结构
struct sdshdr {
//记录buf数组中已使用字节的数量
//等于SDS所保存字符串的长度
int len;
//记录buf数组中未使用字节的数量
int free;
//字节数组,用于保存字符串
char buf[];
};
q: sds和c字符串的区别
相同点:
- 都是用char数组来记录字符,最后都有一个
\0
来代表字符串结束
sds最后也用
\0
代表结束,是为了重用c语言字符串的一些函数,例如printf打印,而不用重写所有的函数
不同点
肯定是c语言字符串存在一定的缺陷,redis才会重写,那么这些既是redis和c语言字符串的不同点,也是redis sds的优点
- 常数级别获取字符串长度,sds获取字符串长度的时间复杂度是O(1),c语言是O(n),通过len的冗余存储来实现
- 杜绝缓冲区溢出,字符串在拼接之前可以做内存检查,确保空间充足,否则进行扩充;不会像c语言一样造成内存溢出
- 减少修改字符串时带来的内存重分配次数,预分配空间free,来减少内存重分配的次数,可以提升性能
-
二进制安全,c语言字符串通过
\0
空字符来标志字符串结束,因此不能包含空字符;而sds通过len来表示字符串结束,可以包含空字符,可以存储图片等二进制信息,因此是二进制安全的
q: 容量扩充机制?
如图中所示,内部为当前字符串实际分配的空间capacity一般要高于实际字符串长度len。
- 当字符串长度小于1M时,扩容都是加倍现有的空间
- 如果超过1M,扩容时一次只会多扩1M的空间。需要注意的是字符串最大长度为512M。
intset 正数集合
q: intset的结构
typedef struct intset {
//编码方式
uint32_t encoding;
//集合包含的元素数量
uint32_t length;
//保存元素的数组
int8_t contents[];
} intset;
- 数组升序排列
- 没有重复
q: 如何升级?
当新元素很大的时候,集合要升级成更大的编码方式
升级整数集合并添加新元素共分为三步进行:
1)根据新元素的类型,扩展整数集合底层数组的空间大小,并为新元素分配空间。
2)将底层数组现有的所有元素都转换成与新元素相同的类型,并将类型转换后的元素放置到正确的位上,而且在放置元素的过程中,需要继续维持底层数组的有序性质不变。
3)将新元素添加到底层数组里面。
❑升级操作为整数集合带来了操作上的灵活性,并且尽可能地节约了内存。
❑整数集合只支持升级操作,不支持降级操作。
dictht 哈希表
typedef struct dictht {
//哈希表数组
dictEntry **table;
//哈希表大小
unsigned long size;
//哈希表大小掩码,用于计算索引值
//总是等于size-1
unsigned long sizemask;
//该哈希表已有节点的数量
unsigned long used;
} dictht;
哈希表结点
typedef struct dictEntry {
//键
void *key;
//值
union{
void *val;
uint64_tu64;
int64_ts64;
} v;
//指向下个哈希表节点,形成链表
struct dictEntry *next;
} dictEntry;
q:如何解决哈希冲突?
用拉链法的头插法解决哈希冲突
dict 字典
typedef struct dict {
//类型特定函数
dictType *type;
//私有数据
void *privdata;
//哈希表
dictht ht[2];
// rehash索引
//当rehash不在进行时,值为-1
in trehashidx; /* rehashing not in progress if rehashidx == -1 */
} dict;
ht有两个,一般只使用第一个,第二个哈希表只在rehash的时候用
插入数据的时候,先计算哈希值,再计算索引值,再插入到指定位置
q : 如何rehash?
随着操作的不断执行,哈希表保存的键值对会逐渐地增多或者减少,为了让哈希表的负载因子(load factor)维持在一个合理的范围之内,当哈希表保存的键值对数量太多或者太少时,程序需要对哈希表的大小进行相应的扩展或者收缩。
扩展和收缩哈希表的工作可以通过执行rehash(重新散列)操作来完成,Redis对字典的哈希表执行rehash的步骤如下:
1)为字典的ht[1]哈希表分配空间,这个哈希表的空间大小取决于要执行的操作,以及ht[0]当前包含的键值对数量(也即是ht[0].used属性的值):
❑如果执行的是扩展操作,那么ht[1]的大小为第一个大于等于ht[0].used*2的2 n(2的n次方幂);
❑如果执行的是收缩操作,那么ht[1]的大小为第一个大于等于ht[0].used的2 n。
2)将保存在ht[0]中的所有键值对rehash到ht[1]上面:rehash指的是重新计算键的哈希值和索引值,然后将键值对放置到ht[1]哈希表的指定位置上。
3)当ht[0]包含的所有键值对都迁移到了ht[1]之后(ht[0]变为空表),释放ht[0],将ht[1]设置为ht[0],并在ht[1]新创建一个空白哈希表,为下一次rehash做准备。
为ht[1]分配空间,复制ht[0]的数据到ht[1],释放ht[0],把ht[1]设为ht[0],ht[1]创建一个空哈希表
q:什么时候rehash
哈希表的扩展与收缩
哈希表的扩展与收缩当以下条件中的任意一个被满足时,程序会自动开始对哈希表执行扩展操作:
1)服务器目前没有在执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于1。
2)服务器目前正在执行BGSAVE命令或者BGREWRITEAOF命令,并且哈希表的负载因子大于等于5。
为什么rehash是渐进式?
如果ht[0]的数据非常多,那么把数据全部转移到ht[1]将会非常耗费时间,因此这个过程是分多次,渐进式完成的
rehashidx记录了正在转移的索引下标,当转移完成,会置为-1
因为在进行渐进式rehash的过程中,字典会同时使用ht[0]和ht[1]两个哈希表,所以在渐进式rehash进行期间,字典的删除(delete)、查找(find)、更新(update)等操作会在两个哈希表上进行。例如,要在字典里面查找一个键的话,程序会先在ht[0]里面进行查找,如果没找到的话,就会继续到ht[1]里面进行查找,诸如此类。
另外,在渐进式rehash执行期间,新添加到字典的键值对一律会被保存到ht[1]里面,而ht[0]则不再进行任何添加操作,这一措施保证了ht[0]包含的键值对数量会只减不增,并随着rehash操作的执行而最终变成空表。
ziplist 压缩列表
q: ziplist的结构?
每个压缩列表节点可以保存一个字节数组或者一个整数值
q: ziplist过大的时候有什么缺点?
当ziplist变得很⼤的时候,它有如下几个缺点:
- 每次插⼊或修改引发的realloc操作会有更⼤的概率造成内存拷贝,从而降低性能。
- ⼀旦发生内存拷贝,内存拷贝的成本也相应增加,因为要拷贝更⼤的⼀块数据。
- 当ziplist数据项过多的时候,在它上⾯查找指定的数据项就会性能变得很低,因为ziplist上的查找需要进行遍历。
skiplist 跳表
skiplist是多层级不同跨度的链表
q: skiplist的结构?
zsikpList
typedef struct zskiplist {
//表头节点和表尾节点
structz skiplistNode *header, *tail;
//表中节点的数量
unsigned long length;
//表中层数最大的节点的层数
int level;
} zskiplist;
zskipListNode
typedef struct zskiplistNode {
//层
struct zskiplistLevel {
//前进指针
struct zskiplistNode *forward;
//跨度
unsigned int span;
} level[];
//后退指针
struct zskiplistNode *backward;
//分值
double score;
//成员对象
robj *obj;
} zskiplistNode;
每个结点的成员对象是唯一的,但是分值可以相同,分值相同就按照成员对象由小到大排序,整个链表都是按照分值由小到大排序
q: skiplist如何遍历?
遍历:
首先遍历高层级跨度大的指针,如果过大,就遍历下一层级
zset
q:zset的结构?
typedef struct zset {
zskiplist *zsl;
dict *dict;
} zset;
- SkipList:可以排序,并且可以同时存储score和ele值(member)
- Dict:可以键值存储,并且可以根据key找value,实现O(1)的查找
二者实际上共用对象,不会造成内存的浪费
quicklist 快表
q:quicklist的结构
quicklist 实际上是 zipList 和 linkedList 的混合体,它将 linkedList 按段切分,每一段使用 zipList 来紧凑存储,多个 zipList 之间使用双向指针串接起来。文章来源:https://www.toymoban.com/news/detail-652164.html
typedef struct quicklist {
quicklistNode *head;
quicklistNode *tail;
unsigned long count; /* total count of all entries in all ziplists */
unsigned long len;
} quicklist;
typedef struct quicklistNode {
struct quicklistNode *prev; //上一个node节点
struct quicklistNode *next; //下一个node
unsigned char *zl; //保存的数据 压缩前ziplist 压缩后压缩的数据
unsigned int sz; /* ziplist size in bytes */
unsigned int count : 16; /* count of items in ziplist */
} quicklistNode;
到了这里,关于Redis对象和五种常用数据类型的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!