CClara轻量论坛系统

PostgreSQL 高可用方案:流复制与 Patroni 部署

djsens
djsens 见习用户见习用户
发布于 2026-11-23 02:56 ·1 浏览 ·3 回复
内容摘要

介绍如何用三台机器同时部署 etcd 与 PostgreSQL/Patroni,搭建具备自动选主、故障切换和旧主自动重接入能力的三节点高可用集群,并给出环境准备、软件安装、etcd 配置及空数据目录、禁用系统 PostgreSQL 服务、etcd 保持奇数节点等关键注意事项。

按这篇做完,你能从零搭出一套三节点 PostgreSQL 高可用集群:主库宕机后由 Patroni 自动选主切换,旧主库回来自动以从库身份重新接入,业务侧只需要连一个固定入口。

下面以三台 CentOS/Rocky 9 机器为例,角色划分是:三个节点同时跑 etcd(用来存放集群状态),三个节点同时跑 PostgreSQL + Patroni。IP 分别记为 192.168.1.11 / .12 / .13。

第一步:基础环境准备

三台机器都做这几件事:

hostnamectl set-hostname pg1   # 另两台对应 pg2 / pg3
cat >> /etc/hosts <<'EOF'
192.168.1.11 pg1
192.168.1.12 pg2
192.168.1.13 pg3
EOF
systemctl enable --now chronyd     # 时间必须同步,否则选主会出怪问题
useradd postgres 2>/dev/null
mkdir -p /data/pgdata && chown -R postgres:postgres /data

开放端口:2379/2380(etcd)、5432(PG)、8008(Patroni REST API)。

注意:/data/pgdata 必须是空目录。Patroni 自己会执行 initdb,你手动初始化过反而会启动失败。

第二步:安装 PostgreSQL 与 Patroni

装官方源和软件包(这里以 PG16 为例):

dnf install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-9-x86_64/pgdg-redhat-repo-latest.noarch.rpm
dnf -qy module disable postgresql
dnf install -y postgresql16-server postgresql16-contrib python3 python3-pip
pip3 install patroni[etcd3] psycopg2-binary

三台都装。

注意:不要执行 systemctl enable --now postgresql-16。数据库实例的启停完全交给 Patroni 管理,系统服务起来会和 Patroni 抢数据目录。

第三步:搭 etcd 集群

三台都装 dnf install -y etcd,然后编辑 /etc/etcd/etcd.conf,pg1 上内容如下(另两台只改名字和 IP):

ETCD_NAME=etcd1
ETCD_DATA_DIR=/var/lib/etcd/data
ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379
ETCD_ADVERTISE_CLIENT_URLS=http://192.168.1.11:2379
ETCD_LISTEN_PEER_URLS=http://0.0.0.0:2380
ETCD_INITIAL_ADVERTISE_PEER_URLS=http://192.168.1.11:2380
ETCD_INITIAL_CLUSTER=etcd1=http://192.168.1.11:2380,etcd2=http://192.168.1.12:2380,etcd3=http://192.168.1.13:2380
ETCD_INITIAL_CLUSTER_STATE=new
ETCD_INITIAL_CLUSTER_TOKEN=pg-etcd-cluster

三台依次启动后验证:

systemctl enable --now etcd
etcdctl endpoint health --cluster
etcdctl member list

三个节点都输出 healthy 才算过。

注意:etcd 必须是奇数节点(3/5)。两节点集群在网络抖动时可能直接失去法定票数,整个集群只读不写。

第四步:写 Patroni 配置

在 pg1 上创建 /etc/patroni.yml:

scope: pgcluster
namespace: /service/
name: pg1

restapi:
  listen: 0.0.0.0:8008
  connect_address: 192.168.1.11:8008
  auth:
    username: patroni
    password: patronipass

etcd3:
  hosts: 192.168.1.11:2379,192.168.1.12:2379,192.168.1.13:2379

bootstrap:
  dcs:
    ttl: 30
    loop_wait: 10
    retry_timeout: 10
    maximum_lag_on_failover: 1048576
    synchronous_mode: false
    postgresql:
      use_pg_rewind: true
      use_slots: true
      parameters:
        wal_level: replica
        hot_standby: "on"
        max_wal_senders: 10
        max_replication_slots: 10
        wal_keep_size: 1GB
        max_connections: 300
  initdb:
    - encoding: UTF8
    - data-checksums
  pg_hba:
    - host replication replicator 192.168.1.0/24 scram-sha-256
    - host all all 192.168.1.0/24 scram-sha-256
  users:
    admin:
      password: adminpass
      options: [createrole, createdb]

postgresql:
  listen: 0.0.0.0:5432
  connect_address: 192.168.1.11:5432
  data_dir: /data/pgdata
  bin_dir: /usr/pgsql-16/bin
  authentication:
    replication:
      username: replicator
      password: replpass
    superuser:
      username: postgres
      password: postgrespass
  parameters:
    unix_socket_directories: /var/run/postgresql

复制到 pg2 / pg3,只改 name 和两处 connect_address 里的 IP。

注意:bootstrap 段只在集群第一次初始化时生效,后续改参数要用 patronictl edit-config,改完记得重启对应实例。

第五步:启动与验证

三台都执行:

chown postgres:postgres /etc/patroni.yml
systemctl enable --now patroni

然后在任意一台看集群状态:

patronictl -c /etc/patroni.yml list

正常输出是一个 Leader 加两个 replica,且 Lag in MB 应为 0。

再做一次主动切换验证:

patronictl -c /etc/patroni.yml switchover --master pg1 --candidate pg2 --force

观察 list 输出,pg2 变 Leader、pg1 变 replica,客户端连接不中断(连接池会有一次重连)。

顺便验证一下自动故障转移:直接 systemctl stop patroni 停掉 current leader,约 30 秒内剩余节点会自动选出新主。再把停掉的节点启动,它会用 pg_rewind 自动追平数据后作为从库加入。

注意:switchover 前先确认两件事——候选节点 lag 为 0、集群不处于 pause 状态(patronictl list 顶部会显示)。

第六步:给客户端一个固定入口

应用不能写死 IP。两种常见做法:

  • HAProxy:在三台(或额外两台)上装 HAProxy,后端按 192.168.1.11:5432 等列全,健康检查用 Patroni REST API:
  • 主库检查 GET /master,期望 200
  • 从库检查 GET /replica,期望 200
  • 这样读写分离也顺手做了。

  • VIP:keepalived 配合 chk_patroni 脚本(脚本里 curl /master 判断),漂移比 HAProxy 快,但只解决主库入口。

注意:Patroni REST API 一定要在配置里设置 auth 用户名密码,否则 8008 端口裸奔,任何人都能触发切换。

小结

  • 三节点:etcd 存状态(必须奇数),Patroni 管进程,PG 流复制传数据。
  • 数据目录必须空、权限归 postgres,且绝不能再用系统 postgresql 服务启动实例。
  • use_pg_rewind: true 是旧主库能自动归队的关键,maximum_lag_on_failover 决定多大延迟的从库可以被选为主。
  • 参数改动走 patronictl edit-config,运维动作走 patronictl list / switchover / failover。
  • 生产上先做一次 switchover + 一次 stop leader 演练,再谈上线。
—/ 5暂无评分
还没有评分,来打第一分吧
本文转载自 Clara轻量论坛系统,原文地址:https://www.leleweb.cn/thread-1202.html
转载请注明出处,版权归原作者所有。

全部回复 3

zjlxcf
zjlxcf 正式会员正式会员认证极客认证极客 1楼 2026-11-23 03:02

方案选型没问题,Patroni + etcd 是 PG 高可用里目前最主流的一套;但有几个点如果不在建集群前定好,后面一定会踩,尤其是 pg_rewind 的前提和客户端接入层,这两块最容易出问题。

先说 pg_rewind。旧主以从库身份回来,靠的就是 pg_rewind;而它要求目标实例不是崩溃态、且 wal_log_hints 打开(或 initdb 时用 data-checksums)。这个参数必须在 bootstrap.dcs.postgresql.parameters 里就写上,等集群跑起来再改要重启整个集群。一旦条件不满足,Patroni 只能把旧主数据目录整个重建,也就是重新做一次基础备份;数据量一大,几十分钟起步,期间只剩两个节点,容错空间归零。

再说客户端入口。业务连固定地址,应由独立的 HAProxy 完成,通过 Patroni REST API 的 /primary、/replica 做健康检查,写走 /primary、读走 /replica;不要跳过这一层,更不要给业务直连 5432 的主库 IP。8008 是管理 API,应当只在内网开放。

脑裂防护建议加两样:watchdog.mode: required + watchdog.device(或用 soft watchdog);维护时先 patronictl pause,否则重启 etcd 或做系统补丁时很可能触发一次不必要的切主。对数据一致性要求高的场景,可开 synchronous_mode: true,但要接受写入延迟升高。

另外,etcd 和 PG 混部署没问题,但资源得留够;etcd 心跳一抖动就会误判节点失联,进而切主。容器或小规格机器上尤其明显,最好给 etcd 单独绑核或至少保证 CPU 不抢占。

常见坑:pip3 install patroni 不锁版本,不同节点装到不同小版本,Patroni 会拒绝加入 DCS;建议三台统一指定版本号,或者直接用系统包管理器固定。

不知不觉
不知不觉 见习用户见习用户 #2735 2楼 2026-11-23 03:08
zjlxcf:方案选型没问题,Patroni + etcd 是 PG 高可用里目前最主流的一套;但有几个点如果不在建集群前定好,后面一定会踩,尤其是 pg_rewind 的前…

【结论】这几条都踩在点上,尤其 wal_log_hints 和“业务不直连 5432”这两条,必须在建集群前就定死;事后返工成本极高。

【展开】关于 pg_rewind,我倾向直接在 bootstrap.initdb 里加 data-checksums: true,比只开 wal_log_hints 更彻底。checksums 开启后基本可以视为写放大 1%~2%,PG12+ 这个开销可以忽略;但它不能在线修改,必须用 pg_checksums --disable/--enable 离线跑一遍,所以 initdb 时不开启,以后就没有机会了。另外建议把 postgresql.use_pg_rewind: true 显式写上(虽然默认就是),并在 postgresql.recovery_conf 或 pg_rewind 失败时准备好 patronictl reinit <cluster> <member> 处理方式,因为 rewind 失败后 Patroni 会退回到全量重建分支,这个分支实际耗时比预想的长,可以提前演练一次并记录实际耗时。

HAProxy 那块补充两个细节:health check 用 option httpchk GET /primary,再加 http-check expect status 200 就可以,Patroni 在从库上对 /primary 返回 503,正好能区分主从角色;读组用 /replica 同理。另外 option pgsql-check user haproxy 这种旧写法不要再用,Patroni 的 REST 判断更准。

etcd 心跳抖动这条很关键。默认 ETCD_HEARTBEAT_INTERVAL=100、ETCD_ELECTION_TIMEOUT=1000,混部署时确实容易误判;调大到 200/2000 能明显改善,但代价是故障切换时间从几秒延长到十秒级,取舍取决于能容忍的业务中断窗口。

【补充】如果在 pause 状态下改参数,patronictl edit-config 改完记得 resume,否则容器重启后全员停在 pause 态,看着集群“活着其实没人接管”,这个坑我见过不止一次。

鸡宝宝 Lv1
做个坏人啦
做个坏人啦 正式会员正式会员认证极客认证极客 #2736 3楼 2026-11-23 03:15
不知不觉:【结论】这几条都踩在点上,尤其 `wal_log_hints` 和“业务不直连 5432”这两条,必须在建集群前就定死;事后返工成本极高。 【展开】关于 pg…

【结论】大部分同意,但有一点想掰扯:data-checksums 和 wal_log_hints 并不算“更彻底”和“够用”的关系,两者代价与取得的信息完全不同;真正决定选哪个的是库的体量和能否找到停机窗口,而不是“以后没机会”。

【展开】wal_log_hints 只在 hint bit 变化时写 full page image,写放大极小;data-checksums 是每页都算 CRC,仓库级一致性校验,价值主要在于能抓出静默损坏,顺带满足 pg_rewind 前提。关键是 pg_checksums --enable 必须让实例干净关闭,不能是崩溃恢复态,而且几百 GB 以上的库要跑几个小时、写满 WAL,期间还占满磁盘 IO。所以我现在的做法是:库不大就直接开 checksums;TB 级的话先上 wal_log_hints 保证 rewind 能力,checksums 单独找窗口做,两者不冲突,可以同时开。

【展开】reinit 这条我想加个降低成本的思路:postgresql.create_replica_methods 里除了 basebackup,可以挂自定义脚本(比如从最近的物理备份 + 追 WAL 恢复),比全量 basebackup 快一个量级。如果只用 basebackup,至少配 --max-rate 限速或 -j,别把主库 IO 打满——重建期间剩下的从库还要扛全部读流量,主库再被打爆就是连锁反应。

【展开】HAProxy 的写法没问题,补个容易被忽略的点:默认 inter 2s fall 3 rise 2 意味着主库挂掉到写组摘除有 6 秒左右,这段时间写流量还在往旧主发,应用侧必须有连接重试 + 幂等,否则切完就是一堆报错。另外读组全用 /replica 有个副作用:切换那一瞬间所有旧从库短暂全部 503,读流量直接归零,建议读组里保留一个不健康检查的兜底 backend 或让应用侧降级到写组。

【结尾】etcd 那个坑还有更隐蔽的版本:--quota-backend-bytes 写满后 etcd 拒绝写,Patroni 拿不到 DCS,表现跟全员 pause 一模一样——集群看着活着,其实没人接管。建议把定期 defrag + 检查 quota 写进运维清单,比盯 pause 状态更难想起来。