Redis集群搭建

thcjp 阅读:60 2022-07-27 19:10:54 评论:0

当并发量大于单机 Redis 的并发量时,或者数据量大于单机内存的容量,就可以采用加机器分布式集群的方式来解决。

在 Redis 中,集群是 3.0 以后加入的,3.0——5.0 之间需要采用了 ruby 脚本实现集群,而 5.0 之后就内置了。

一、数据分布

假设全量的数据非常大,500G,单机已经无法满足,我们就需要进行分区,分到若干个子集中去

分区方式有主要有两种:顺序分区和哈希分区

顺序分区

原理:例如,100个数据分到3个节点上 
	1--33第一个节点 
    34--66第二个节点 
    67--100第三个节点 
     
特点: 
	数据分散度易倾斜,键值义务相关,可以按顺序访问,支持批量操作 
	数据分散度易倾斜,就是说,例如:当注册的1--100个用户在这个库访问比较高,而注册101--200之间的用户访问另一个比较低 

哈希分区

原理:hash分区,节点取余,假设3台机器,hash(key)%3,给到不同的节点上 
	通过 hash 算法算一下 key 并取余,等于几就给到那个节点上。 
 
特点: 
	数据分散度高,键值分布于业务无关,无法按照顺序访问,支持批量操作 

哈希分区又分为节点取余分区

一致性哈希分区:每个节点负责一部分数据,对 key 进行 hash,得到的结果在节点1和节点2之间,那么就给节点2

虚拟槽分区:因为 Redis 使用的是虚拟槽分区,所以就具体看看虚拟槽分区

三、虚拟槽分区

虚拟槽分区是属于哈希分区中的一种

在 Redis 中一共有 16384 (0--16383) 个虚拟槽。

原理:

  • 假设我们有三个 Redis 主机做了集群,就会把这 16384 个槽平均分配到每个节点(主机节点)上。
  • 当客户端创建一个( set name xiaoyang )数据发送给任意节点,那么 key (也就是name)会根据哈希算法 CRC16(key)%16383 就会得到一个值,这个值就会在 0--16383这个范围,这个值在那个节点的范围内,那么这个数据就会保存在那个节点上。
  • 因为节点之间是共享的,所以该节点知道那个节点负责那些槽。
  • 取值的时候也是,当( get name )获取数据的时候,会先对 key 进行 CRC16 计算并取余,通过计算后的值去对应的节点获取数据

四、Redis Cluster架构搭建

首先,Redis Cluster 有这样几个名词:

节点:

就是指集群中的Redis主机 

meet:

例如有这样三个节点,节点A、节点B、节点C: 
A meet 一下 C,C 回复一下 A 
A meet 一下 B,B 回复一下 A 
这样 B 和 C 就也能互相感知 
那么 A B C 之间就能互相交互数据,所有节点共享消息。 

指派槽:

在Redis中总共有16384个指派槽,它会被平均分配到每个节点上 

5.0以后集群搭建

Redis Cluster 在5.0之后取消了 ruby 脚本的支持,但是还要手动命令行添加集群,集群合到了 redis-cli 里面,可以直接使用 redis-cli 的参数 --cluster 来代替。

1、写入配置 7000--70005 六个文件

# redis-7000.conf 
port 7000 
daemonize yes 
dir "/root/redis/data/" 
logfile "7000.log" 
dbfilename "dump-7000.rdb" 
 
# masterauth  123456					# 集群搭建时,主的密码 
cluster-enabled yes						# 开启 cluster 
cluster-node-timeout 15000 				# 故障转移,超时时间 15s 
cluster-config-file nodes-7000.conf		# 给 cluster 节点增加一个配置文件 
cluster-require-full-coverage yes 		# yes 只要有一个节点故障,整个集群就不对外提供服务了 
 
# 快速生成其他配置 
sed 's/7000/7001/g' redis-7000.conf > redis-7001.conf 
sed 's/7000/7002/g' redis-7000.conf > redis-7002.conf 
sed 's/7000/7003/g' redis-7000.conf > redis-7003.conf 
sed 's/7000/7004/g' redis-7000.conf > redis-7004.conf 
sed 's/7000/7005/g' redis-7000.conf > redis-7005.conf 

2、启动

redis-server redis-7000.conf 
redis-server redis-7001.conf 
redis-server redis-7002.conf 
redis-server redis-7003.conf 
redis-server redis-7004.conf 
redis-server redis-7005.conf 

3、创建集群主从节点

格式: 
redis-cli --cluster create --cluster-replicas 1 节点1ip:端口 节点2ip:端口 节点3ip:端口 节点4ip:端口 节点5ip:端口 节点6ip:端口 
            
redis-cli --cluster create --cluster-replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 
         
# 参数 --cluster-replicas 
如果是1 ,那就是需要给每个主节点配置一个从节点,由于 Redis 集群最少需要三个主节点,所以配置 replicas 就需要6个节点,如果是2,那么就还需要多加3个节点 

4、操作

存放数据需要连接如下:-c 表示集群模式 
redis-cli -c -p 7000	# 不这样连接,存放数据的时候,key算的值不在该节点中不可以存放 
127.0.0.1:7000> set name xiaoyang	# 可以成功, 
 
 
127.0.0.1:7000> CLUSTER NODES  	# 集群节点信息 
127.0.0.1:7000> CLUSTER SLOTS	# 查看槽的信息 

创建集群主节点:所有节点都是主节点

格式: 
redis-cli --cluster create 节点1ip:端口 节点2ip:端口 节点3ip:端口 

五、集群扩容

集群扩容需要迁移槽和数据来实现扩容

启动两个节点:

redis-server redis-7006.conf  
redis-server redis-7007.conf  

状态:

redis-cli -p 7006 cluster nodes	# 现在他们的状态都是他们自己,没有加入集群 

加入集群

#1.直接meet一下 
redis-cli -p 7000 cluster meet 127.0.0.1 7006 
redis-cli -p 7000 cluster meet 127.0.0.1 7007 
# 或者连接到 7000 上去 meet 一下 7006 和 7007 
127.0.0.1:7000> cluster meet 127.0.0.1 7006 
 
     
     
#2.还需要把 7007 做为 7006 的从 
# 进入7007节点配置 
127.0.0.1:7007> cluster replicate 7006的id 
# 或者 
redis-cli -p 7007 cluster replicate 7006的id 
 
 
 
#3.迁移槽和数据 
执行——>: redis-cli --cluster reshard 127.0.0.1:7000  
希望迁移多少个槽:4096 
希望那个id是接收的:7006的id 
传入source id(意思就是你希望从节点1上迁移多少个,节点2迁移多少个...) :all (all代表平均迁移) 

六、集群缩容

集群缩容,先把需要缩容节点上的槽和数据迁移到其他的节点上

redis-cli --cluster reshard --cluster-from 7006的id --cluster-to 7000的id --cluster-slots 1366 127.0.0.1:7000 
yes 
 
redis-cli --cluster reshard --cluster-from 7006的id --cluster-to 7001的id --cluster-slots 1366 127.0.0.1:7001 
yes 
 
redis-cli --cluster reshard --cluster-from 7006的id --cluster-to 7002的id --cluster-slots 1365 127.0.0.1:7002 
yes 
 
# 删除集群节点,关闭节点,注意:先下从,再下主,因为先下主会触发故障转移 
redis-cli --cluster del-node 127.0.0.1:7000 要下线的7007id   
redis-cli --cluster del-node 127.0.0.1:7000 要下线的7006id  

七、python连接

# pip install redis-py-cluster 
 
from rediscluster import RedisCluster 
startup_nodes = [{"host":"192.168.88.131", "port": "7000"},{"host":"192.168.88.131", "port": "7001"},{"host":"192.168.88.131", "port": "7002"}] 
 
rc = RedisCluster(startup_nodes=startup_nodes) 
 
rc.set("name", "xiaoyang") 
print(rc.get("name")) 

本文参考链接:https://www.cnblogs.com/XiaoYang-sir/p/15069694.html
标签:RedisNosql
声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

搜索
关注我们

一个IT知识分享的公众号