在RHEL或CentOS上使用Patroni部署PostgreSQL实现高可用性¶
本指南提供了如何在Red Hat Enterprise Linux或CentOS上使用Patroni建立高可用的PostgreSQL集群的说明。
先决条件¶
对于这个设置,我们将使用运行在CentOS 8上的节点作为基本操作系统,并具有以下IP地址:
| 主机名 | 公网IP地址 | 内部IP地址 |
|---|---|---|
| node1 | 157.230.42.174 | 10.104.0.7 |
| node2 | 68.183.177.183 | 10.104.0.2 |
| node3 | 165.22.62.167 | 10.104.0.8 |
| etcd | 159.102.29.166 | 10.104.0.5 |
| HAProxy-demo | 134.209.111.138 | 10.104.0.6 |
请注意
在生产(甚至非生产)设置中,PostgreSQL和ETCD节点将在一个私有子网中,没有任何到Internet的公共连接,而HAProxy将在另一个子网中,只允许客户端流量来自选定的IP范围。为了简单起见,我们在DigitalOcean VPS环境中实现了这种架构,每个节点都可以通过其内部私有IP访问其他节点。
中设置主机名设置文件¶
为了使节点能够相互感知并允许它们无缝通信,需要将它们的主机名解析为它们的公共IP地址。修改设置每个PostgreSQL节点的主机名和IP地址。以下是设置文件node1:
127.0.0.1 localhost node1 10.104.0.7 node1 10.104.0.2 node2 10.104.0.8 node3
的设置文件HAProxy-demo所有PostgreSQL节点的节点主机名和IP地址:
127.0.1.1 HAProxy-demo HAProxy-demo 127.0.0.1 localhost 10.104.0.6 HAProxy-demo 10.104.0.7 node1 10.104.0.2 node2 10.104.0.8 node3
保持设置文件etcd节点不变。
配置ETCD分布式存储¶
分布式配置存储有助于在故障转移期间在节点之间建立共识,并将管理三个PostgreSQL实例的配置。尽管Patroni可以与其他分布式共识商店(即Zookeeper, Consul等)一起工作,但最常用的是etcd。
在这个设置中,我们将在专用节点上配置ETCD。
安装
etcd在ETCD节点上。对于CentOS 8, etcd包可以从Percona存储库中获得:雷竞技下载官网启用存储库:
美元sudo雷竞技下载官网percona-release设置ppg14使用如下命令安装etcd包:
美元sudo百胜安装etcdpython3-python-etcd修改
/etc/etcd/etcd.conf配置文件:
[员]ETCD_DATA_DIR = " / var / lib / etcd /违约。etcd" ETCD_LISTEN_PEER_URLS="http://10.104.0.5:2380,http://localhost:2380" ETCD_LISTEN_CLIENT_URLS="http://10.104.0.5:2379,http://localhost:2379" ETCD_NAME="default" ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.104.0.5:2380" ETCD_ADVERTISE_CLIENT_URLS="http://10.104.0.5:2379" ETCD_INITIAL_CLUSTER="default=http://10.104.0.5:2380" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new"
启动
etcd要应用更改:美元sudosystemctl启用etcd美元sudosystemctl开始etcd美元sudosystemctl状态etcd查看etcd集群成员。
美元sudoetcdctl成员列表输出如下所示:
21d50d7f768f153a: name=default peerURLs=http://10.104.0.5:2380 clientURLs=http://10.104.0.5:2379 isLeader=true
为Postgre雷竞技下载官网SQL安装Percona发行版¶
为Postgre雷竞技下载官网SQL安装Percona Distributionnode1,node2和node3从Perc雷竞技下载官网ona存储库:
- 安装
雷竞技下载官网percona-release。 启用存储库:
美元sudo雷竞技下载官网percona-release设置ppg14
重要的
不初始化集群并启动postgresql服务。集群初始化和设置由Patroni在引导阶段处理。
配置Patroni¶
在每个PostgreSQL节点上安装Patroni:
美元sudo百胜安装雷竞技下载官网percona-patroni安装Python模块,使Patroni能够与ETCD通信。
美元sudopython3- m皮普安装patroni(etcd]创建Patroni所需的目录
- 创建用于存储配置文件的目录,并使其属于
postgres用户。
美元sudomkdir- p/etc/patroni/美元sudo乔恩- rpostgres: postgres/etc/patroni/- 为Patroni创建数据目录。将其所有权更改为
postgres用户并限制对它的访问
美元sudomkdir/数据/ patroni- p $sudo乔恩- rpostgres: postgres/数据/ patroni $sudo修改文件权限700/数据/ patroni- 创建用于存储配置文件的目录,并使其属于
创建
patroni.yml配置文件。美元苏postgres美元vim/etc/patroni/patroni.yml指定以下配置:
范围:postgres名称空间:/ pg_cluster /名字:node1restapi:听:10.104.0.7:8008# PostgreSQL节点IP地址connect_address:10.104.0.7:8008# PostgreSQL节点IP地址etcd:宿主:10.104.0.5:2379# ETCD节点IP地址引导:#初始化新集群后,此节将被写入Etcd:/<命名空间>/<作用域>/configdcs:ttl:30.loop_wait:10retry_timeout:10maximum_lag_on_failover:1048576postgresql:use_pg_rewind:真正的use_slots:真正的参数:wal_level:副本hot_standby:“上”logging_collector:“上”max_wal_senders:5max_replication_slots:5wal_log_hints:“上”# initdb的一些选项initdb:#注意:它需要是一个列表(一些选项需要值,其他是开关)-编码:use UTF8-data-checksumspg_hba:#运行'initdb'后在pg_hba.conf中添加以下行-主机复制复制器127.0.0.1/32 md5-主机复制复制器10.104.0.2/32 md5-主机复制复制器10.104.0.8/32 md5-主机复制复制器10.104.0.7/32 md5-主机所有所有0.0.0.0/0 md5# - hostssl all all 0.0.0.0/0 md5#一些额外的用户初始化新集群后需要创建的用户用户:管理:密码:管理选项:-createrole-createdbpostgresql:听:10.104.0.7:5432# PostgreSQL节点IP地址connect_address:10.104.0.7:5432# PostgreSQL节点IP地址data_dir:/数据/ patroni#你创建的datadirbin_dir:/usr/pgsql-14/binpgpass:/ tmp / pgpass0身份验证:复制:用户名:复制因子密码:复制因子超级用户:用户名:postgres密码:postgres参数:unix_socket_directories:“。”标签:nofailover:假noloadbalance:假clonefrom:假nosync:假为创建配置文件
node2和node3。的节点和IP地址node1对于那些node2和node3,分别。创建systemd单元文件
patroni.service在/etc/systemd/system。美元sudovim/etc/systemd/system/patroni.service在文件中增加如下内容:
(单位)描述=运行器来编排一个高可用性PostgreSQL后=syslog。目标network.target(服务)类型=简单的用户=postgres集团=postgres#启动patroni进程ExecStart=/bin/patroni /etc/patroni/patroni.yml#发送HUP从patroni.yml重新加载ExecReload=/bin/kill -s HUP $MAINPID#只杀死patroni进程,而不是它的子进程,所以它会优雅地停止postgresKillMode=过程给服务器合理的启动/关闭时间TimeoutSec=30.#如果服务崩溃,不要重新启动服务,我们希望在失败时手动检查数据库重新启动=没有(安装)WantedBy=multi-user.target让systemd知道新服务:
美元sudosystemctldaemon-reload美元sudosystemctl启用patroni美元sudosystemctl开始patroni故障排除Patroni
为了确保Patroni已经正常启动,请使用以下命令检查日志:
美元sudojournalctl- upatroni.service- nOne hundred.- f输出不应该显示任何错误:
…Sep 23 12:50:21 node01 systemd[1]:已启动PostgreSQL高可用性管理器。Sep 23 12:50:22 node01 patroni[10119]: 2021-09-23 12:50:22,022 INFO: Selected new etcd server http://10.104.0.2:2379 Sep 23 12:50:22 node01 patroni[10119]: 2021-09-23 12:50:22,029 INFO: No PostgreSQL configuration items changed, nothing to reload。Sep 23 12:50:22 node01 patroni[10119]: 2021-09-23 12:50:22,168 INFO:锁的所有者:无;I am node1 Sep 23 12:50:22 node01 patroni[10119]: 2021-09-23 12:50:22,177 INFO: trying to bootstrap a new cluster Sep 23 12:50:22 node01 patroni[10140]:属于该数据库系统的文件将由用户"postgres"拥有。Sep 23 12:50:22 node01 patroni[10140]:该用户还必须拥有服务器进程。Sep 23 12:50:22 node01 patroni[10140]:数据库集群将初始化区域设置为“C.UTF-8”。Sep 23 12:50:22 node01 patroni[10140]:默认的文本搜索配置将被设置为“english”。Sep 23 12:50:22 node01 patroni[10140]:启用数据页校验和。Sep 23 12:50:22 node01 patroni[10140]: creating directory /var/lib/postgresql/12/main…ok Sep 23 12:50:22 node01 patroni[10140]: creating subdirectories… ok Sep 23 12:50:22 node01 patroni[10140]: selecting dynamic shared memory implementation ... posix Sep 23 12:50:22 node01 patroni[10140]: selecting default max_connections ... 100 Sep 23 12:50:22 node01 patroni[10140]: selecting default shared_buffers ... 128MB Sep 23 12:50:22 node01 patroni[10140]: selecting default time zone ... Etc/UTC Sep 23 12:50:22 node01 patroni[10140]: creating configuration files ... ok Sep 23 12:50:22 node01 patroni[10140]: running bootstrap script ... ok Sep 23 12:50:23 node01 patroni[10140]: performing post-bootstrap initialization ... ok Sep 23 12:50:23 node01 patroni[10140]: syncing data to disk ... ok Sep 23 12:50:23 node01 patroni[10140]: initdb: warning: enabling "trust" authentication for local connections Sep 23 12:50:23 node01 patroni[10140]: You can change this by editing pg_hba.conf or using the option -A, or Sep 23 12:50:23 node01 patroni[10140]: --auth-local and --auth-host, the next time you run initdb. Sep 23 12:50:23 node01 patroni[10140]: Success. You can now start the database server using: Sep 23 12:50:23 node01 patroni[10140]: /usr/lib/postgresql/14/bin/pg_ctl -D /var/lib/postgresql/14/main -l logfile start Sep 23 12:50:23 node01 patroni[10156]: 2021-09-23 12:50:23.672 UTC [10156] LOG: redirecting log output to logging collector process Sep 23 12:50:23 node01 patroni[10156]: 2021-09-23 12:50:23.672 UTC [10156] HINT: Future log output will appear in directory "log". Sep 23 12:50:23 node01 patroni[10119]: 2021-09-23 12:50:23,694 INFO: postprimary pid=10156 Sep 23 12:50:23 node01 patroni[10165]: localhost:5432 - accepting connections Sep 23 12:50:23 node01 patroni[10167]: localhost:5432 - accepting connections Sep 23 12:50:23 node01 patroni[10119]: 2021-09-23 12:50:23,743 INFO: establishing a new patroni connection to the postgres cluster Sep 23 12:50:23 node01 patroni[10119]: 2021-09-23 12:50:23,757 INFO: running post_bootstrap Sep 23 12:50:23 node01 patroni[10119]: 2021-09-23 12:50:23,767 INFO: Software Watchdog activated with 25 second timeout, timing slack 15 seconds Sep 23 12:50:23 node01 patroni[10119]: 2021-09-23 12:50:23,793 INFO: initialized a new cluster Sep 23 12:50:33 node01 patroni[10119]: 2021-09-23 12:50:33,810 INFO: no action. I am (node1) the leader with the lock Sep 23 12:50:33 node01 patroni[10119]: 2021-09-23 12:50:33,899 INFO: no action. I am (node1) the leader with the lock Sep 23 12:50:43 node01 patroni[10119]: 2021-09-23 12:50:43,898 INFO: no action. I am (node1) the leader with the lock Sep 23 12:50:53 node01 patroni[10119]: 2021-09-23 12:50:53,894 INFO: no action. I am (node1) the leader with the一个常见的错误是Patroni抱怨pg_hba.conf文件中缺少适当的条目。如果看到此类错误,必须手动添加或修复该文件中的条目,然后重新启动服务。
改变守护神。yml文件和重新启动服务在这里不会有任何影响,因为bootstrap部分指定了在节点中首次启动PostgreSQL时应用的配置。即使修改了Patroni配置文件并重新启动了服务,它也不会重复该过程。
如果Patroni已经正常启动,您应该能够使用以下命令本地连接到PostgreSQL节点:
美元sudopsql- upostgres psql(141。)类型“帮助”为的帮助。postgres=#在其余节点上配置、启用和启动Patroni。
- 当所有节点都启动并运行时,可以使用以下命令检查集群状态:
美元sudopatronictl- c/etc/patroni/patroni.yml列表
输出:
+集群:postgres (7011110722654005156 ) -----------+ | 员| TL | | | |主机角色状态滞后MB | +--------+-------+---------+---------+----+-----------+ | node1 | node1 | |领袖运行| 1 | | | node2 | node2 | | |运行复制品1 | 0 | | node3 | node3 | | | 1 | 0运行复制品 | +--------+-------+---------+---------+----+-----------+
HAProxy配置¶
HAProxy节点将接受客户端连接请求,并将其路由到PostgreSQL集群的主节点。这样,客户机应用程序就不必知道底层集群中的哪个节点是当前的主节点。它所需要做的就是访问一个HAProxy URL并在那里发送读/写请求。在幕后,HAProxy将连接路由到健康节点(只要至少有一个健康节点可用),并确保客户端应用程序请求永远不会被拒绝。
HAProxy能够以轮询方式将写请求路由到主节点,将读请求路由到辅助节点,这样就不会不必要地加载辅助实例。为了实现这一点,在HAProxy配置文件中提供不同的端口。在此部署中,写操作路由到端口5000,读操作路由到端口5001。
上安装HAProxy
HAProxy-demo节点:美元sudo百胜安装雷竞技下载官网percona-haproxyHAProxy的配置文件路径为:
/etc/haproxy/haproxy.cfg。在此文件中指定以下配置。100年全球maxconn默认日志全球模式tcp重试2客户机超时30 m超时连接4 s超时服务器30 m超时检查5 s听统计模式http绑定*:7000年统计数据支持数据uri /听主要结合*:5000选项httpchk /一级http-check期待地位200默认的服务器国米3 s下降3上升2 on-marked-down shutdown-sessions服务器node1 node1:5432 maxconn 100检查端口8008服务器node2 node2:5432 maxconn 100检查端口8008服务器node3 node3:5432 maxconn 100检查端口8008Listen standby balance roundrobin bind *:5001 option HTTPCHK /replica http-check expect status 200 default-server inter 3s fall 3 rise 2 on-标记-down shutdown-sessions server node1 node1:5432 maxconn 100 check port 8008 server node2 node2:5432 maxconn 100 check port 8008 server node3 node3:5432 maxconn 100 check port 8008HAProxy将使用Patroni托管的REST api来检查每个PostgreSQL节点的健康状态,并适当地路由请求。
启用SELinux布尔值,允许HAProxy绑定到非标准端口:
美元sudosetsebool- phaproxy_connect_any在HAProxy重启:
美元sudosystemctl重新启动haproxy检查HAProxy日志,看看是否有任何错误:
美元sudojournalctl- uhaproxy.service- nOne hundred.- f
创建:2021年12月15日