Pika 双主文档

可用版本: 2.3.0 ~ 3.0.11

介绍

为了避免额外的维护成本, Pika在之前主从的逻辑设计上支持了双主架构, 通过conf文件配置双主模式. 在双主建立成功的模式下, 仍然可以通过slaveof为两个master增加slave节点。

使用方法

  • 通过pika.conf文件配置双主模式

修改双主A的pika.conf配置文件

	...
	# server-id for hub
	server-id : 1
 ...
 # The peer-master config
 double-master-ip : 	192.168.10.2 	配置另一个主的ip
 double-master-port : 9220		配置另一个主的port
 double-master-server-id :	2	配置另一个主的server id (注意不要与本机server id和已经连接的slave的sid重复)

修改双主B的pika.conf配置文件

 ...
 # server-id for hub
 server-id : 2
 ...
 # The peer-master config
 double-master-ip : 	192.168.10.1	配置另一个主的ip
 double-master-port : 9220		配置另一个主的port
 double-master-server-id :	1	配置另一个主的server id (注意不要与本机server id和已经连接的slave的sid重复)
  • 分别启动两个Pika实例, 使用info查看信息

查看192.168.10.1的info信息

  ...
  # DoubleMaster(DOUBLEMASTER)
  role:double_master
  the peer-master host:192.168.10.2
  the peer-master port:9220
  double_master_mode: True
  repl_state: 3
  double_master_server_id:2
  double_master_recv_info: filenum 0 offset 0

其中repl_state为3代表双主连接建立成功

双主启动时binlog偏移校验失败

  • 双主分别启动时会检验对端实例的binlog偏移量, 如果两端binlog偏移量相差过大会造成双主连接建立失败.

IOFO级别日志会报

  pika_admin.cc:169] Because the invalid filenum and offset, close the connection between the peer-masters

利用info命令查看实例信息

  # DoubleMaster(MASTER)
  role:master
  the peer-master host:192.168.10.2
  the peer-master port:9220
  double_master_mode: True
  repl_state: 0
  double_master_server_id:2
  double_master_recv_info: filenum 0 offset 0

其中repl_state为0代表双主建立失败

  • 假如双主建立失败, 无需停机可以通过slaveof命令以某一个双主实例的为基准做数据全同步

例如192.168.10.2以192.168.10.1的数据做全同步

  slaveof 192.168.10.1

断开双主连接

双主的两个节点分别执行slaveof no one用来断开连接.

测试场景以及测试结果

- 场景 测试结果 备注
正确性测试
1 双主单边写入 测试两次,分别使用12和64线程,key数量30w-100w不等,未发现key丢失,校验value相等 通过
2 双主同时写入(不操作相同key) 测试3次,key数量60w左右,两边key数量相同,校验value相等 通过
3 双主同时写入(相同key) 测试2次,key数量40w左右,两边key数量相同,校验value相等 通过
4 双主同时写入(不操作相同key),使用iptables模拟网络延迟 测试3次,key数量60w左右,两边key数量相同,校验value相等 通过
5 双主同时写入(相同key),使用iptables模拟网络延迟 测试2次,key数量40w左右,两边key数量相同, 但部分key的value不同 通过
6 双主同时写入(相同key),挂载两个从库 key数量20w左右,两边key数量一致,值也相同 通过
运维测试
7 单主写入,shutdown其中一个主库,然后挂载新从库重新搭建双主 key数量100w左右,两边key数量一致,值也相同 通过
8 单主写入,重启其中一个主库 key数量100w左右,两边key数量一致,值也相同 通过

FAQ

  • 双主模式下如何避免数据循环传播?

每个双主实例内部会维护另一个master的信息, 通过binlog中的server id字段来判断是否需要同步给另一个master

  • 如何关闭双主模式?

双主关系可以随时取消, 只需要把其中一个节点停止即可

  • 双主模式下是否支持双写?

双主模式下支持双写

  • 双主的两个实例能否同时操作更新同一个key?

双主模式下操作同一个key, 不保证value的最终一致

  • 双主模式下如何增加slave节点

使用正常的主从配置方法即可

  • 双主A,B 因为意外情况,B实例因为宕机过久, 重启后因为binlog偏移相差过大双主模式建立失败, 怎么恢复?

以A实例为基准做全同步, 直接利用slaveof命令做全同步后会自动恢复双主连接