Docker 搭建KingbaseES主备流复制

news/2024/7/5 20:30:47 标签: docker, 容器, 运维, kingbase

author: aming
email: jikcheng@163.com
title: Docker 安装KingbaseES读写分离集群
creation_date: 2023-02-16 13:59
Last modified date: 2023-02-16 19:18
tags: Docker 安装KingbaseES读写分离集群
File Folder with relative path: reading notes/doc/Docker技术入门与实战
remark:
other:

本章背景知识

大体步骤参考：[[流复制–V8R6手工搭建]]
docker安装集群 - 技术干货 - 金仓社区 (kingbase.com.cn)
本章使用三节点容器搭建主备流复制集群。

一、容器节点 IP规划

IP规划：
192.168.20.111	--节点一主机IP（主节点）
192.168.20.112	--节点二主机IP（备节点）
192.168.20.113	--节点三主机IP（备节点）

二、容器信息规划

部分说明
IP: 端口192.168.20.111:54321，192.168.20.112:54322，192.168.20.113:54 323。
主机名称c_node1，c_node2，c_node3。
容器名称kcm_kingbase01，kcm_kingbase02，kcm_kingbase03。

三、宿主机环境准备

1、下载网盘中的镜像 kignbase.v8r6c5b23.tar
2、将镜像导入 Docker 服务器中。

$ docker load -i kignbase.v8r6c5b23.tar

3、查看是否导入成功。

$ docker images
REPOSITORY    TAG        IMAGE ID       CREATED         SIZE
kesimg86523   latest     64f5d3730270   24 hours ago    2.6GB

4、创建 Docker 容器私有网络。

$ docker network create --subnet=192.168.20.0/24 kcmnet

编者注：由于 Docker 自带的网络接口不允许指定静态 IP 地址，所以需要新建私有网络。

LAB01-Docker 容器准备

如果需要清空环境则需要执行以下命令。
```bash
docker rm -f `docker ps -aq`
```
此命令非常危险请只在测试环境上操作。

1、创建流复制所需的容器。

docker run -itd --privileged -h c_node1 --name kcm_kingbase01 --net kcmnet --ip 192.168.20.111  -p 54321:54321   --restart=on-failure:3  kesimg86523:latest /usr/sbin/init


docker run -itd  --privileged -h c_node2 --name kcm_kingbase02  --net kcmnet --ip 192.168.20.112  -p 54322:54321   --restart=on-failure:3  kesimg86523:latest /usr/sbin/init

docker run -itd  --privileged -h c_node3 --name kcm_kingbase03 --net kcmnet  --ip 192.168.20.113  -p 54323:54321   --restart=on-failure:3  kesimg86523:latest /usr/sbin/init

2、命令说明。

选项说明
-it使用 tty 伪终端，并进入交互式模式。
-d使用守护进程运行容器。
-h容器主机名。
–restart-=on-faulure: 3当容器故障退出，重启 3 次，3 次之后不会再重启。
–net kcmnet指定流复制私有网络环境。

LAB02-备节点数据目录清空

1、请执行以下操作进入 kcm_kingbase02, kcm_kingbase03 容器。
2、删除 kcm_kingbase02 数据目录。

docker$ docker exec -u kingbase -it kcm_kingbase02 /bin/bash
<contanier>$ sys_ctl stop 
<contanier>$ rm -rf /home/kingbase/data/*
<contanier>$ rm -rf /home/kingbase/data/.wallet
<contanier>$ exit

3、删除 kcm_kingbase03 数据目录。

docker$ docker exec -u kingbase -it kcm_kingbase03 /bin/bash
<contanier>$ sys_ctl stop 
<contanier>$ rm -rf /home/kingbase/data/*
<contanier>$ rm -rf /home/kingbase/data/.wallet
<contanier>$ exit

LAB03-容器主机名解析

一、所有容器配置 host 文件

1、c_node1。

$ docker exec -u root -it kcm_kingbase01 vi /etc/hosts

------------------写入以下内容------------------
192.168.20.111 c_node1
192.168.20.112 c_node2
192.168.20.113 c_node3

2、c_node2。

$ docker exec -u root -it kcm_kingbase02 vi /etc/hosts
------------------写入以下内容------------------
192.168.20.111 c_node1
192.168.20.112 c_node2
192.168.20.113 c_node3

3、c_node3。

$ docker exec -u root -it kcm_kingbase03 vi /etc/hosts
------------------写入以下内容------------------
192.168.20.111 c_node1
192.168.20.112 c_node2
192.168.20.113 c_node3

二、验证主机名解析正确

1、node1。

docker exec -u root -it kcm_kingbase01 ping -c 4 c_node1
docker exec -u root -it kcm_kingbase01 ping -c 4 c_node2
docker exec -u root -it kcm_kingbase01 ping -c 4 c_node3

2、node2。

docker exec -u root -it kcm_kingbase02 ping -c 4 c_node1
docker exec -u root -it kcm_kingbase02 ping -c 4 c_node2
docker exec -u root -it kcm_kingbase02 ping -c 4 c_node3

3、node3。

docker exec -u root -it kcm_kingbase03 ping -c 4 c_node1
docker exec -u root -it kcm_kingbase03 ping -c 4 c_node2
docker exec -u root -it kcm_kingbase03 ping -c 4 c_node3

LAB04-配置主节点（c_node 1）

一、配置归档及流复制参数

1、进入 kcm_kingbase01 容器。

$ docker exec -u kingbase -it kcm_kingbase01 /bin/bash

2、配置流复制参数。

<contanier>$ cat >> $KINGBASE_DATA/kingbase.conf <<EOF
wal_log_hints=on
wal_level = replica             # minimal, replica, or logical
max_wal_senders = 10            # max number of walsender processes
max_replication_slots = 10
wal_keep_segments = 1024	# in logfile segments, 16MB each; 0 disables 
hot_standby = on
synchronous_commit = on
synchronous_standby_names = '1(c_node1,c_node2,c_node3)'
hot_standby_feedback=on
fsync=on
EOF
echo ''

二、配置主节点 sys_hba. conf 支持 replication

<contanier>$ cat >> $KINGBASE_DATA/sys_hba.conf <<EOF
host replication system 127.0.0.1/32 md5
host replication system 0.0.0.0/0 md5
EOF
echo ''
grep -Ev "^$|#" $KINGBASE_DATA/sys_hba.conf

三、重启主节点数据服务

<contanier>$ sys_ctl restart -D $KINGBASE_DATA

四、在主节点上创建 replication 复制槽

1、查看当前复制槽

$ docker exec -u kingbase -it kcm_kingbase01 /bin/bash
<contanier>$  ksql  -U system -d test
# \x 
SELECT * FROM sys_replication_slots;

2、创建复制槽

<contanier>$  ksql  -U system -d test
test# SELECT * FROM sys_create_physical_replication_slot('slot_node2');
test# SELECT * FROM sys_create_physical_replication_slot('slot_node3');
test# SELECT slot_name, slot_type, active FROM sys_replication_slots;

LAB05-配置备节点 (c_node 2)

一、用sys_basebackup全量传输

1、进入 kcm_kingbase 02 备节点。

$ docker exec -u kingbase -it kcm_kingbase02 /bin/bash

2、全量传输数据。

<contanier>$ sys_basebackup -h c_node1 -p 54321 -U system -Fp -X stream -v -P -D $KINGBASE_DATA
ls -lh $KINGBASE_DATA
du -sh $KINGBASE_DATA

kingbase_conf_230">二、配置 kingbase. conf

<contanier>$ cat >> $KINGBASE_DATA/kingbase.conf << EOF 
primary_conninfo='port=54321 host=c_node1 user=system password=kingbase application_name=c_node2' 
recovery_target_timeline='latest' 
primary_slot_name ='slot_node2'
EOF
touch $KINGBASE_DATA/standby.signal

三、启动备节点并开启流复制

sys_ctl start -D $KINGBASE_DATA
tail -f $KINGBASE_DATA/sys_log/kingbase*.log

LAB06-配置备节点 (c_node 3)

一、用 sys_basebackup 全量传输

1、进入kcm_kingbase02备节点

$ docker exec -u kingbase -it kcm_kingbase03 /bin/bash

2、全量传输数据。

<contanier>$ sys_basebackup -h c_node1 -p 54321 -U system -Fp -X stream -v -P -D $KINGBASE_DATA
ls -lh $KINGBASE_DATA
du -sh $KINGBASE_DATA

kingbaseconf_262">二、配置 kingbase.conf

<contanier>$ cat >> $KINGBASE_DATA/kingbase.conf << EOF 
primary_conninfo='port=54321 host=c_node1 user=system password=kingbase application_name=c_node3' 
recovery_target_timeline='latest' 
primary_slot_name ='slot_node3'
EOF
touch $KINGBASE_DATA/standby.signal

三、启动备节点并开启流复制

sys_ctl start -D $KINGBASE_DATA
tail -f $KINGBASE_DATA/sys_log/kingbase*.log

LAB07- 验证流复制环境

一、在主节点查看流复制状态

1、进入 kcm_kingbase 01 主节点。

$ docker exec -u kingbase -it kcm_kingbase01 /bin/bash

2、查看 replication 进程 (主节点上可以看到正在向从节点发送数据流

$ ps -ef|grep -v grep|grep -E 'sender|receiver'

3、查看流复制状态

ksql -U system -d test 
SELECT * FROM sys_stat_replication;

4、查看复制槽信息。

SELECT * FROM sys_replication_slots;

二、在主节点创建测试数据

1、进入 kcm_kingbase01 容器。

$ docker exec -u kingbase -it kcm_kingbase01 /bin/bash

2、生成测试数据。

<contanier>$ ksql -U system -d test 
CREATE database prod01; 
TEST=# \c prod01 system
CREATE table t01 (id int ,name text);
INSERT INTO t01 SELECT generate_series(1,1000),md5(random());
SELECT * FROM t01 limit 2;

三、在主节点创建测试数据 (c_node 2)

1、进入 kcm_kingbase01 容器。

$ docker exec -u kingbase -it kcm_kingbase02 /bin/bash

2、查看数据。

SELECT * FROM t01 limit 2;

四、在主节点创建测试数据 (c_node 3)

1、进入 kcm_kingbase01 容器。

$ docker exec -u kingbase -it kcm_kingbase03 /bin/bash

2、查看数据。

SELECT * FROM t01 limit 2;

http://www.niftyadmin.cn/n/75257.html

相关文章

【Spark分布式内存计算框架——Spark SQL】8. Shuffle 分区数目、Dataset（上）

【Spark分布式内存计算框架——Spark SQL】8. Shuffle 分区数目、Dataset（上）

4.4 Shuffle 分区数目 运行上述程序时&#xff0c;查看WEB UI监控页面发现&#xff0c;某个Stage中有200个Task任务&#xff0c;也就是说RDD有200分区Partition。 原因&#xff1a;在SparkSQL中当Job中产生Shuffle时&#xff0c;默认的分区数&#xff08;spark.sql.shuffle.p…
阅读更多...
图学习——03预备知识

图学习——03预备知识

本章我们介绍关于图的基础知识&#xff0c;包括图的定义、类型和性质、图谱理论、图的傅里叶分析等。在之后介绍图神经网络会基于这些基础知识展开&#xff0c; 想要简单运用图神经网络&#xff0c;这部分知识可以不用学。想要系统的理解图神经网络的来源和本质&#xff0c;这…
阅读更多...
Java 超级质数

Java 超级质数

问题描述如果一个质数 PP 的每位数字都是质数, 而且每两个相邻的数字组成的两位 数是质数, 而且每三位相邻的数字组成的三位数是质数, 依次类推, 如果每相 邻的 kk 位数字组成的 kk 位数都是质数, 则 PP 称为超级质数。如果把超级质数 PP 看成一个字符串, 则这个超级质数的每个…
阅读更多...
代码随想录算法训练营第三十一天 | 贪心专题-理论基础，455.分发饼干，376. 摆动序列，53. 最大子序和

代码随想录算法训练营第三十一天 | 贪心专题-理论基础，455.分发饼干，376. 摆动序列，53. 最大子序和

一、参考资料理论基础https://programmercarl.com/%E8%B4%AA%E5%BF%83%E7%AE%97%E6%B3%95%E7%90%86%E8%AE%BA%E5%9F%BA%E7%A1%80.html 分发饼干https://programmercarl.com/0455.%E5%88%86%E5%8F%91%E9%A5%BC%E5%B9%B2.html 摆动序列https://programmercarl.com/0376.%E6%91%86…
阅读更多...
如何优雅的导出函数

如何优雅的导出函数

在开发过程中&#xff0c;经常会引用外部函数。方法主要有两种&#xff1a; 方法一&#xff1a;包含头文件并制定lib位置 优点&#xff1a;使用简单缺点&#xff1a;lib和vs版本有关&#xff0c;不同的版本和编译模式可能导致编译失败 方法二&#xff1a;GetProcAddress 优…
阅读更多...
matlab-汽车四分之一半主动悬架模糊控制

matlab-汽车四分之一半主动悬架模糊控制

1、内容简介汽车四分之一半主动悬架模糊控制651-可以交流、咨询、答疑2、内容说明半主动悬架汽车 1/4 动力学模型建立 本章主要对悬架类型进行简要介绍&#xff0c;并对其进行对比分析&#xff0c;提出半主动悬架的优越性&#xff0c;论述半主动悬架的工作原理&#xff0c;并对…
阅读更多...
JavaWeb4-线程常见构造方法

JavaWeb4-线程常见构造方法

目录 1、2种上一篇文章有讲&#xff0c;此处不再赘述 3.Thread(String name) 4.Thread(Runnable target, String name) 5.Thread(ThreadGroup group, Runnable target) 前四种的具体使用&#xff1a; Thread t1 new Thread(); Thread t2 new Thread(new MyRunnable()); T…
阅读更多...
java中调用配置文件中的数据库路径及账号密码

java中调用配置文件中的数据库路径及账号密码

项目场景&#xff1a; 有的时候因为项目的需求,所以需要隐藏数据库的路径,账号密码 解决方案&#xff1a; 话不多说直接上代码 这个分情况而定的: 在jdbc框架中获取方法: 1.获取数据库 Class.forName("oracle.jdbc.OracleDriver"); 2.获取路径,账号,密码 Properti…
阅读更多...
最新文章

Copyright @ 2022~2023